ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

MacやUbuntuでgrepでひらがな・カタカナ・漢字を検索する

過去の記憶では下記のように実行するとうまくいった覚えがあるようなないような。。。 $ cat hogehoge.csv | grep -E '[ぁ-んァ-ン0-9]' | head grep: Invalid collation character しかし、Ubuntuで実行するとよくわからんエラーが。。。 で、色々探した…

BigQueryで半角文字を全角にする

JavaScriptが使える(°Д°; この記事を参考にしました。 qiita.com CREATE TEMPORARY FUNCTION normalize2(str STRING) RETURNS STRING LANGUAGE js AS """ if (str === null) return; var kanaMap = { 'ガ': 'ガ', 'ギ': 'ギ', 'グ': 'グ', 'ゲ': 'ゲ', 'ゴ…

Pythonのmodule「psycopg2」を使ってPostgreSQLへ接続する

PostgreSQLがインストールできたので今度はPythonから実行してみる 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 $ python -V Python 3.4.5 :: Anaconda custom (x86_64) $ psql --version psql (PostgreSQL) 10.1 …

serialを使っているテーブル名を変更するときの注意

PostgreSQLこんなテーブルを作った create table site_categories ( id bigserial primary key, site_name varchar(200) unique, created timestamp, update timestamp ); で、途中で名前を間違えていることに気づいた。サイトのカテゴリではなくて、サイト…

macでpostgresqlを試す

初めて使う 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 試す $ brew install postgresql 文字コードをUTF8で初期化する(?) $ initdb /usr/local/var/postgres -E utf8 $ postgres --version postgres (Postgre…

2017年まとめ

時間もないので雑にまとめます ダイエット 豆腐とバナナで人は痩せる(確信) -> 2ヶ月で10kg落ちましたが、お腹壊しました。やっぱりバランス大事なので気をつけて。 東京にいるとき激やせしましたが、沖縄に戻ってきたらまた70kgに。。。運動しま…

Pythonでsocket通信UDPでnumpyのデータを送受信するためにやったこと

雑メモ 送信するときに大きい画像とだとエラーになる場合がある。その場合はデータを分割して送りましょう 分割して送った場合、1つのデータがどこからどこまでなのか、受信側は判断する必要がある。今回のコードは任意の文字列で判断していますが、よく考…

【Ubuntu】間違ってデータ削除してしまって一部復旧した

環境 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS" Ubuntuです。 やってしまったこと $ rm -rf logs/ * この世の終わりかと思った (過去の記憶を頼りに)ググった記…

Kerasのモデル・レイヤー周りの話

これはKerasアドベントカレンダー2017 16日目の記事です。 こんにちは。アイパー隊長です。 今年4月に転職して、3ヶ月ぐらいKerasと毎日をともにしてきました。 モデルを構築したり、学習したり、学習途中をデバッグしたり、学習結果を確認したりと。 その…

手っ取り早くjupyter notebookをサーバで使いたい

セキュリティ皆無 インストール $ pip install jupyter 起動 $ jupyter notebook --NotebookApp.token='xxx' --ip=0.0.0.0 --port=9999 あとはサーバ側にポート開ければおk

やっぱり面白かった「シン・ゴジラ」!!!

映画ブログあるけど、ここに書く。 おもしろかったあああああああ!!!! 初代を感じさせるスタート。初代のリスペクトを感じます。今みたらモノクロだし特撮っぽさがあるからミニチュアな造形でリアリティないけど、当時の人たちはこのシン・ゴジラと同じ…

部分読み「データ分析基盤構築入門」

仕事でElastic Searchを使うことになりそうなので、読めということで読んでいる。 データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21…

TypeError: 'RingBuffer' object does not support item assignment

今日は朝からKeras rlをいじっていた。まだおわらん。。。。 TypeError: 'RingBuffer' object does not support item assignment 何このエラー...つらい 特殊メソッド名 - Dive Into Python 3 日本語版 特殊メソッドを実装すればよいとのこと。確かにこのRin…

【自分用メモ】AWSのp2インスタンスにdockerを使ったディープラーニングの環境を作る手順

タイトル長い 自分用メモです。参考にはいいと思いますが、この手順でやらないでください。 というのも、dockerのコンテナ上ではGPUを認識してくれますが、何故かTensorflowがhostでGPUを認識してくれないのです。。。正確にはシンボリックエラーが発生して…

初心に返りましょう

仕事ミスりました。 技術系は失敗しても取り戻せることが多いですが、いかんせん営業系は中々難しい。人の初見って大事だと思ってて、自分も一度ついたイメージは中々取ることができない。 そんな感じでやってしまった。一緒のメンバーにも迷惑をかけてしま…

Sphinxでインラインコードサンプル(?)

なんてよぶかわからんが、こんなやつ => text Sphinxのドキュメント読むとバッククオート2つで囲めばいいらしい. ほげほげ``text``ですね。 こう書いたら、表示もされないしワーニングも発生. WARNING: Inline interpreted text or phrase reference start-s…

モジュール`google-cloud`をインストールしたらエラー

googlecloudplatform.github.io $ pip install google-cloud # ... File "/Users/user/.pyenv/versions/3.6.1/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2120, in _rebuild_mod_path orig_path.sort(key=position_in_sys_path) Attribu…

手を動かすべき【マンガでわかる線形代数】読書ログ2日目

読んでる。 マンガでわかる線形代数作者: 高橋信,井上いろは,トレンドプロ出版社/メーカー: オーム社発売日: 2008/11/01メディア: 単行本購入: 3人 クリック: 21回この商品を含むブログ (10件) を見る 図にするの面倒なのでnumpyでやる。(numpyだったらわか…

漫画は楽しい(違うそうじゃない)【マンガでわかる線形代数】読書ログ1日目

線形代数ってなんでしょうか? 数学赤点マンには一生わからない・出会わないジャンルだと思っていましたが、さすがに仕事で使うものでわからないはまずいかなと思って、勉強しようと思いました。 で、オススメされた本がこちら。 マンガでわかる線形代数作者…

自分の仕事を家族に理解してほしいという悩み

自分の仕事は基本はプログラマですが、色々やっています。 最近よく言われます。「あなたの仕事は何?」と。特に親に、じいちゃんたちに。 ここ数年はそう言われるとずっと「IT!」って答えて逃げていたのですが(説明しない俺も悪いかもしれない)、もうすで…

【雑感】「Effective Python」

Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見る 今さっき読み終わった。感想をつらつらと書く。 Pyth…

今「Effective Python」って本読んでいるけど面白い : 【Effective Python】読書ログ1日目

Pythonの技術書ってなんだかんだはじめて読んだかも。 Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見…

久々にPHP叩こうとしたらPHP動かんかった

PHP

こんなエラーが… $ php -v dyld: Library not loaded: /usr/local/opt/jpeg/lib/libjpeg.9.dylib Referenced from: /usr/local/bin/php Reason: image not found Trace/BPT trap: 5 qiita.com $ brew switch jpeg 9b Cleaning /usr/local/Cellar/jpeg/8d Cle…

Google Vision API Detect textで精度向上のために参考にした記事

GCP

線削除 answers.opencv.org OCR精度向上の参考 stackoverflow.com stackoverflow.com groups.google.com

Numpy <-> Pillow <-> Python file object

集中切れたからブログ書く. これが良い手法かどうかわからないが、numpyからpillowいったり、Python file objectからpillowいったり、pillowからPython file objectへコンバートしてみた。 環境 Python2.7.11 numpy==1.13.1 Pillow==4.2.1 多分だけど、3系も…

Pythonでシングルトン

速度計測したかったので、時間を測るログクラスを用意することにしたけど、毎回呼ぶところを固定するのも面倒だったのでシングルトンがあるじゃん!ってことで試してみた。けど、理解するのなかなか難しかった… 環境 Python 2.7.11 実装 # -*- coding:utf8 -…

ここ最近でPythonの覚えたこと

ざつーな俺用まとめ。見てもいいことないのでブラウザバック。 python2.7.13 Interactiveで試した やったことをどっかに残して置きたかっただけなのと、それぞれ個別に記事を投稿するのがめんどかったから。はい。 dictionaryのkey一覧がみたい でかいレスポ…

リモートワークをちょっと経験中

リモートワークの会社ではありませんが、諸事情あって、只今リモートワーク中です。 以前こんな本を読んだことがあります。 リモートチームでうまくいく作者: 倉貫義人出版社/メーカー: 日本実業出版社発売日: 2015/12/17メディア: 単行本この商品を含むブロ…

aws s3へupload, downloadのコマンド

個人メモ $ aws s3 cp file.txt s3://bucket_name/path # 一気にあげるとき $ aws s3 sync logs/ s3://bucket_name/path --include "*" # ダウンロード $ aws s3 cp s3://bucket_name/path/file.txt .

最近のことをつらつらと

4ヶ月前74kg。8kg痩せた。現在66kg お金なかったから牛丼やらラーメンやら酒飲まなくなったら痩せた 卵と豆腐ばっか食ってたら痩せた 沖縄いるとき頑張って走っていたけど、結局のところ食事制限でどうにかなるのね 今お金あるから戻らないようにジムで調整…