ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

子供が生まれた

父になった 嫁と一緒に病院にいるのでまだまだ実感はない。明日退院して家に来る。 名前もちゃんと決まっていない。候補はあるけど名前決まった。 ログ(当時) 深夜1時。破水は突然。嫁に起こされる。ちなみにお互い寝たのは0時。予定日は来週だった。 男な…

10月2週の振り返り

体調管理 ダメダメ 技術 数学 やってない 個人開発 4日コミットした 個人サービス以外なものでコミット -> モチベーションが下がりつつあるやばい aws athenaとredashで遊んだ 本 読んでない 仕事 外的要因でモチベがあがらない どやってするため or コテン…

jqコマンドをcentos6系にインストール

yumではできなかった. $ wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 $ sudo mv jq-linux64 /bin/jq $ sudo chmod 755 /bin/jq

10月1週の振り返り

体調管理 運動全くやっていない。ダメダメ ひたすらとったカロリーをアプリで入力し続ける日々 技術 数学 (今頃)対数を理解 個人開発 2日コミットした 雑にリリースしようとしたけど、モチベーションさがりそうだから、何か一つ完成させてからリリースするに…

bs4でscript,style,commentタグを除去する

from bs4 import BeautifulSoup, Comment def preprocessing(soup): # コメントタグの除去 for comment in soup(text=lambda x: isinstance(x, Comment)): comment.extract() # scriptタグの除去 for script in soup.find_all('script', src=False): script.…

アウトドア用のSNS?「The dyrt」

thedyrt.com 英語読めないからはっきりとはわからんが、キャンプ地のレビューだったり、なにかポイントためたりすることができるっぽい。こんなサービスもあるのね ビジネスモデルってなんじゃろと調べているがよくわからん。これ英語勉強する必要があるな。…

TF-IDFを理解しようと頑張った

先月ぐらいから自然言語処理頑張ろうとして入門っぽいTF-IDFをPythonから理解しようとしたけど使いどころわからんくて無事死亡。 今日は式から理解しようとしてやってみた。 対数がわからん やさしく学ぶ 機械学習を理解するための数学のきほん ~アヤノ&ミオ…

読んだ「PythonによるWebスクレイピング」

PythonによるWebスクレイピング作者: Ryan Mitchell,嶋田健志,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/03/18メディア: 大型本この商品を含むブログ (2件) を見る これこれ。 ざっと感想としては、自然言語処理以外はよかったかなーという…

リアルタイム犯罪通知アプリ「Citizen」

www.citizen.com おもろい。ニューヨーク市でしか利用できないのかな? 多分実験しているんだろうと思う。 近くで事件が発生したら、アプリで通知され、ユーザーはそれを確認し行動に移すことができる。 日本だとどうなるんかな。万引き犯とかコンビニ間だけ…

経営・営業企画に使える情報を活用できる「SPEEDA」

面白い!って思ったサービスの紹介をやろうと思った。 一番はビジネスモデルの情報収集を習慣にするため。本当は気になるものだけをやりたいけど、それじゃ自分のスコープ外は追えないと思うので、適当に気になった、得た情報を書いてく。 目標はビジネスを…

特に目標がない

面接で3年後5年後、あなたはどうなりたいですか?って聞いたときに( ゚д゚)ハッ!とした。 そういえば目標がない。 こんぐらい稼いで家建てるとか、地元に戻ってなんかやるとか、子育てこうやりたいとかそんなのがない。。。 プログラミングやデータ分析は楽し…

Startup Weekend Okinawa vol.8に参加してきた

swokinawa.doorkeeper.jp これこれ ryukyushimpo.jp 個人的には、「あ、なんかわからんが技術だけで食っていくのは厳しいな」って感じた3日間でした。 生きていけるとは思うけど、一人では難しいなと思った次第。それはそれでいいと思うんだけど、個人サー…

怒りのコントロール難しい

大抵のお仕事ならいってもめんどくさい!としか負の意見を言わないけど今回ちょっとまいっている 多分、やり方が合わない。解決方法は模索中。 ほんで、書きたいことはテンションが下がったり、やらないといけないんだけど全く気持ちが乗らなかったりとか、…

毎日コードを書こうとした結果

できませんでした\(^o^)/ 暇なときはコード書くようにはなったが、仕事が詰まると無事死亡ってなる。厳しい。 あとコードは書くけど、なんか勉強になった感じがしない。これまでやったこと、覚えたことの繰り返しなので、根付いている感じはあるが、どうな…

bs4のドキュメント

kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新) すごいわかりやすくて感動した。ドキュメントって読みづらいわかりづらいの認識だったけど間違っていたようです。これからはまずはドキュメントを読もう。

Prestoでランダムサンプリング

あるのかなー?ってググったらあった。すごい。 Data Sampling In Prestoragrawal.wordpress.com FROM dataset TABLESAMPLE BERNOULLI(25) テーブル名のあとに↑のように指定すると25%のデータがランダムサンプリングされて取得できる

Prestoでのgroupbyとdistinctの挙動

qiita.com 全然理解していなかった。上を参考に後日追加する。

dockerでpostgresqlを起動して遊ぶ

まだ遊べていないのでログ残し qiita.com 自分はpullで対応 $ docker pull postgresql:10.5 で、runしようとすると $ docker run --rm --name=postgres -p 5432:5432 -e POSTGRES_PASSWORD=mysecretpassword -it postgres psql -U postgres psql: could not …

dockerのコンテナでマルチバイト文字打ち込んだら文字化けする

dockerでubuntu16.04のimageからコンテナ走らせてattachして日本語入力したら文字化けする qiita.com qiita.com 上の記事見たら解消できた。ありがたやー

RuntimeError: No mappable was found to use for colorbar creation. First define a mappable such as an image (with imshow) or a contour set (with contourf).

RuntimeError: No mappable was found to use for colorbar creation. First define a mappable such as an image (with imshow) or a contour set (with contourf). X_reduced = TSNE(n_components=2, random_state=0).fit_transform(X) _, ax = plt.subplo…

分散・標準偏差

統計学3級取るぞ!!! 親の顔より何度もみた分散と標準偏差 $ python >>> a = [5, 3, 4, 10, 3] >>> a_ = sum(a) / len(a) # 平均 >>> a_ 5.0 >>> s = sum([(i - a_)**2 for i in a]) / len(a) # 分散 >>> s 6.8 >>> import math >>> math.sqrt(s) # 分散…

MacOSでunicodeをデコード

srad.jp $ python -c "print('あいうえお'.encode('unicode-escape').decode('utf8'))" | gsed -e 's/\\u\(....\)/\&#x\1;/g' | nkf --numchar-input あいうえお 長いからめんどくさいのでaliasしようとしたら失敗した。なぜ

distutils.errors.CompileError: command 'gcc' failed with exit status 1

環境はこちら Ubuntu 16.04 Anaconda3をインストールしたあと $ pip install -e . Obtaining file:///home/ubuntu/workspace/my-module Requirement already satisfied: numpy in /home/ubuntu/anaconda3/lib/python3.6/site-packages (from my_module==0.0.…

pre-existing shared memory block (key 5432001, ID 65536) is still in use

postgresqlが起動しないのでぐぐった 2018-06-13 18:35:21.338 JST [8583] FATAL: pre-existing shared memory block (key 5432001, ID 65536) is still in use 2018-06-13 18:35:21.338 JST [8583] HINT: If you're sure there are no old server processes…

「緑本」勉強中. 5章までおわった

ねむい。あんまり頭入っていないと思うけど、雑な振り返り Pythonで書いているけど、GLMが実装できなくてあとでやりたい(簡単にできるのかね 2章はポアソン分布の性質みたいなものを学んだ 3章はポアソン回帰で、パラメータの推定と推定したパラメータで用…

ImportError: cannot import name 'ss'

緑本を勉強中 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (29件) を…

unzipコマンドで指定のディレクトリに展開する

$ unzip ./data/A.zip -d ./data/

matplotlibを勉強した

これまでなんとなーくで扱っていたグラフモジュールですが、ここ最近、基礎集計な案件がめっちゃ増えそうなのでここいらで基礎固めようと勉強した(写経) 参考にした本はこちら PythonユーザのためのJupyter[実践]入門作者: 池内孝啓,片柳薫子,岩尾エマはる…

Pythonでドキュメント作成

概要 モジュール開発終わったら、ドキュメント作成ですが、面倒なので、生成する方向でやりました。 モジュールのdocstring GoogleスタイルのPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleが好みだったのでこれでコメントを書いた わかりやすい…

5月24日(木)

早く寝た -> ので、ちょっくら早くおきた(今ここ 時系列のお手伝い、ARMA,ARIMA,SARIMAとかやったけどむずい問題 副業対応 -> DockerいいよDocker 明日は懇親会的な飲み会