ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

rsyncのオプション`--exclude-from`で指定するファイルの書き方

ちゃんと理解していないけど、とりあえず動いたのでメモしておく。休みの日にでも理解したい。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1212 $ rsync -av --dry-run --exclude-from=rsync-ignore . ${USER}@${HOST}:~/a/…

【PlayFramework2】Scalaテンプレートで動的処理を書くと改行されるやつを回避する方法

ない。 github.com Closing. I would suggest using another templating language or post-processing your template output to remove the newlines. (Google翻訳)閉鎖。別のテンプレート言語を使うか、テンプレート出力を後処理して改行を削除することを…

Siv3Dさわってみた

今度、PyData.OkinawaでLT大会があるのでネタ探ししている。 C++で簡単にゲーム作れないかな?って検索したらこんなのがあった。 github.com 面白そうなので触ってみた(ちなみにC++は全然触ったことがない) ダウンロード scrapbox.io 自分のPCはmacなので…

平均と分散と標準偏差

統計検定3級の問題といてみた。点数ひくかったので、復習中。 データの用意 >>> import numpy as np >>> a = np.random.randint(0, 100, (100,)) 平均 全部の数字を足し合わせて、数字の数で割った値. >>> a.mean() 46.100000000000001 >>> np.sum(a) / len…

最近ブログ書いていない

ネタはいっぱいあるんだけど。 2月から案件が3つあったけど、いまは1つになりつつある。今月の後半まだ見えないので怖いけど、俺はがんばった!!! ○ロモンよー!!!もうちょいでやすめるぞー!(違 とまぁ。仕事中にゴミ文を投稿する。

matploblibで日本語化

Ubuntuの環境でPython3にインストールされたmatplotlibを日本語化したかったのよね。 ぐぐったらこの記事が参考になった。 kaisk.hatenadiary.com しかーし、何故かうまくいかなかったので、メモする。 configファイルが変わっている? 記事に書いてあるとお…

MacやUbuntuでgrepでひらがな・カタカナ・漢字を検索する

過去の記憶では下記のように実行するとうまくいった覚えがあるようなないような。。。 $ cat hogehoge.csv | grep -E '[ぁ-んァ-ン0-9]' | head grep: Invalid collation character しかし、Ubuntuで実行するとよくわからんエラーが。。。 で、色々探した…

BigQueryで半角文字を全角にする

JavaScriptが使える(°Д°; この記事を参考にしました。 qiita.com CREATE TEMPORARY FUNCTION normalize2(str STRING) RETURNS STRING LANGUAGE js AS """ if (str === null) return; var kanaMap = { 'ガ': 'ガ', 'ギ': 'ギ', 'グ': 'グ', 'ゲ': 'ゲ', 'ゴ…

Pythonのmodule「psycopg2」を使ってPostgreSQLへ接続する

PostgreSQLがインストールできたので今度はPythonから実行してみる 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 $ python -V Python 3.4.5 :: Anaconda custom (x86_64) $ psql --version psql (PostgreSQL) 10.1 …

serialを使っているテーブル名を変更するときの注意

PostgreSQLこんなテーブルを作った create table site_categories ( id bigserial primary key, site_name varchar(200) unique, created timestamp, update timestamp ); で、途中で名前を間違えていることに気づいた。サイトのカテゴリではなくて、サイト…

macでpostgresqlを試す

初めて使う 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 試す $ brew install postgresql 文字コードをUTF8で初期化する(?) $ initdb /usr/local/var/postgres -E utf8 $ postgres --version postgres (Postgre…

2017年まとめ

時間もないので雑にまとめます ダイエット 豆腐とバナナで人は痩せる(確信) -> 2ヶ月で10kg落ちましたが、お腹壊しました。やっぱりバランス大事なので気をつけて。 東京にいるとき激やせしましたが、沖縄に戻ってきたらまた70kgに。。。運動しま…

Pythonでsocket通信UDPでnumpyのデータを送受信するためにやったこと

雑メモ 送信するときに大きい画像とだとエラーになる場合がある。その場合はデータを分割して送りましょう 分割して送った場合、1つのデータがどこからどこまでなのか、受信側は判断する必要がある。今回のコードは任意の文字列で判断していますが、よく考…

【Ubuntu】間違ってデータ削除してしまって一部復旧した

環境 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS" Ubuntuです。 やってしまったこと $ rm -rf logs/ * この世の終わりかと思った (過去の記憶を頼りに)ググった記…

Kerasのモデル・レイヤー周りの話

これはKerasアドベントカレンダー2017 16日目の記事です。 こんにちは。アイパー隊長です。 今年4月に転職して、3ヶ月ぐらいKerasと毎日をともにしてきました。 モデルを構築したり、学習したり、学習途中をデバッグしたり、学習結果を確認したりと。 その…

手っ取り早くjupyter notebookをサーバで使いたい

セキュリティ皆無 インストール $ pip install jupyter 起動 $ jupyter notebook --NotebookApp.token='xxx' --ip=0.0.0.0 --port=9999 あとはサーバ側にポート開ければおk

やっぱり面白かった「シン・ゴジラ」!!!

映画ブログあるけど、ここに書く。 おもしろかったあああああああ!!!! 初代を感じさせるスタート。初代のリスペクトを感じます。今みたらモノクロだし特撮っぽさがあるからミニチュアな造形でリアリティないけど、当時の人たちはこのシン・ゴジラと同じ…

部分読み「データ分析基盤構築入門」

仕事でElastic Searchを使うことになりそうなので、読めということで読んでいる。 データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21…

TypeError: 'RingBuffer' object does not support item assignment

今日は朝からKeras rlをいじっていた。まだおわらん。。。。 TypeError: 'RingBuffer' object does not support item assignment 何このエラー...つらい 特殊メソッド名 - Dive Into Python 3 日本語版 特殊メソッドを実装すればよいとのこと。確かにこのRin…

【自分用メモ】AWSのp2インスタンスにdockerを使ったディープラーニングの環境を作る手順

タイトル長い 自分用メモです。参考にはいいと思いますが、この手順でやらないでください。 というのも、dockerのコンテナ上ではGPUを認識してくれますが、何故かTensorflowがhostでGPUを認識してくれないのです。。。正確にはシンボリックエラーが発生して…

初心に返りましょう

仕事ミスりました。 技術系は失敗しても取り戻せることが多いですが、いかんせん営業系は中々難しい。人の初見って大事だと思ってて、自分も一度ついたイメージは中々取ることができない。 そんな感じでやってしまった。一緒のメンバーにも迷惑をかけてしま…

Sphinxでインラインコードサンプル(?)

なんてよぶかわからんが、こんなやつ => text Sphinxのドキュメント読むとバッククオート2つで囲めばいいらしい. ほげほげ``text``ですね。 こう書いたら、表示もされないしワーニングも発生. WARNING: Inline interpreted text or phrase reference start-s…

モジュール`google-cloud`をインストールしたらエラー

googlecloudplatform.github.io $ pip install google-cloud # ... File "/Users/user/.pyenv/versions/3.6.1/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2120, in _rebuild_mod_path orig_path.sort(key=position_in_sys_path) Attribu…

手を動かすべき【マンガでわかる線形代数】読書ログ2日目

読んでる。 マンガでわかる線形代数作者: 高橋信,井上いろは,トレンドプロ出版社/メーカー: オーム社発売日: 2008/11/01メディア: 単行本購入: 3人 クリック: 21回この商品を含むブログ (10件) を見る 図にするの面倒なのでnumpyでやる。(numpyだったらわか…

漫画は楽しい(違うそうじゃない)【マンガでわかる線形代数】読書ログ1日目

線形代数ってなんでしょうか? 数学赤点マンには一生わからない・出会わないジャンルだと思っていましたが、さすがに仕事で使うものでわからないはまずいかなと思って、勉強しようと思いました。 で、オススメされた本がこちら。 マンガでわかる線形代数作者…

自分の仕事を家族に理解してほしいという悩み

自分の仕事は基本はプログラマですが、色々やっています。 最近よく言われます。「あなたの仕事は何?」と。特に親に、じいちゃんたちに。 ここ数年はそう言われるとずっと「IT!」って答えて逃げていたのですが(説明しない俺も悪いかもしれない)、もうすで…

【雑感】「Effective Python」

Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見る 今さっき読み終わった。感想をつらつらと書く。 Pyth…

今「Effective Python」って本読んでいるけど面白い : 【Effective Python】読書ログ1日目

Pythonの技術書ってなんだかんだはじめて読んだかも。 Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見…

久々にPHP叩こうとしたらPHP動かんかった

PHP

こんなエラーが… $ php -v dyld: Library not loaded: /usr/local/opt/jpeg/lib/libjpeg.9.dylib Referenced from: /usr/local/bin/php Reason: image not found Trace/BPT trap: 5 qiita.com $ brew switch jpeg 9b Cleaning /usr/local/Cellar/jpeg/8d Cle…

Google Vision API Detect textで精度向上のために参考にした記事

GCP

線削除 answers.opencv.org OCR精度向上の参考 stackoverflow.com stackoverflow.com groups.google.com