ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

BigQuery Data Transfer ServiceをAPIから設定する

めっちゃハマった(3H)のでここに記す. ドキュメントもなく辛い 手順まとめ モジュールのinstall $ pip install google-cloud-bigquery-datatransfer 認証ファイル サービスアカウントでやりました。作成方法はskipします(ぐぐったらすぐ出てくるので) im…

生きてます

最近全然ブログ書いていないけど、僕は元気です。

強化学習アルゴリズム入門(1.12)の式

強化学習アルゴリズム入門: 「平均」からはじめる基礎と応用作者: 曽我部東馬出版社/メーカー: オーム社発売日: 2019/05/24メディア: 単行本(ソフトカバー)この商品を含むブログを見る 読んでいる. さぁーって読んだけど、あんまり理解してない感じだった…

雑メモ

Pythonのこの演算子. listだけに使えるのかなと思っていたけど、文字列でもいけるのね。いつもはfind使ってた. >>> 'あいうえお' in 'かきくけお' False >>> 'あ' in 'あいうえお' True >>> 'あ' in 'かきくけあ' True >>> 'あいうえお' in 'かあいうえお' T…

テンションが低い

長い長い仕事で成果を出すことができず、ちと疲れていたマンです。 それが原因かわからんが、ここ最近モチベが下がってて新卒はじめ他のメンバーが眩しくてちょっとつらい時期でした。 どうしたもんかよくわからず、あーなんか前々職で退職するときとなんか…

あああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああ

あああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああ あ ああああああ!!!!!!!ああああああああ!!!!!!あ!!!!…

【mlflow】作成済みのrun_idの情報(metrics, tags, etc...)を更新したい

ドキュメントみてたけど明示的に書いていない(はず) mlflow.org start_runの項目を確認すると、run_uuidの引数があるので「もしや・・・!」と思い試した。 # 色々情報はすっ飛ばす # MLflowに記録 mlflow.set_tracking_uri('http://localhost:5000') with…

駄目駄目マン

まだスランプというか、うまくいっていないマン。振り返りたい 駄目駄目なこと 毎日がギリギリ ギリギリなのが悪いのではなくその上進捗がでていないのが駄目駄目 原因 脳死している気が... 自分の仕事にプライドを持っていないような 年齢重ねるにつれ、プ…

Tensorflow2でKerasみたいな保存の仕方すると死ぬ

タイトルはてきとーにつけたので正しくはない Colaboratoryで遊んでいるとき、他notebookで保存したモデルを読み込みたかった. import tensorflow as tf model = None # 学習済みのモデルを想定 # Model is the full model w/o custom layers model.compile(…

pandas.mergeで複数のdataframeをmergeする

from functools import reduce # dfs -> [df, df, df]要素にdfが入ったlist merge_df = reduce(lambda left, right: pd.merge(left, right, how='left', on='column_name'), dfs)

Tensorflow2系で指定したレイヤーから勾配を取得したい場合

ハマった import tensorflow as tf # fine tuningしたいのでvgg16のモデルをロード vgg16 = tf.keras.applications.VGG16(include_top=False, input_shape=(100, 100, 3)) for l in vgg16.layers: l.trainable = False x = tf.keras.layers.Flatten()(vgg16.…

Tensorflow2系のサブクラスモデルの構造は保存できない

import tensorflow as tf class MyModel(tf.keras.Model): def __init__(self, output_node): super(MyModel, self).__init__() self.d1 = tf.keras.layers.Dense(128, activation='relu') self.d2 = tf.keras.layers.Dense(output_node, activation='softma…

Tensorflow2系の基本的なデータの読み込み方

Tensorflow2系触っていますが、情報が少なくて死にそうです。 しかし、ドキュメントは結構しっかりしているかなと思っています。ドキュメント読むべし。 参考URL Importing Data | TensorFlow Core | TensorFlow 環境 colaboratory !pip install tensorflow-…

2019年4月1週目の振り返り

やまです 体調管理 4日ジムいきました 引き続きがんばる ワンパンマンの鍛え方真似したら1ヶ月でやせるとかやせないとか 今5kmを必ず走るようにしているけど、これを10kmにすればいいらしい ちなみに順調に体重は増えています。何故? 技術 数学 赤本じっく…

2019年3月5週目の振り返り

酔っぱらいです 体調管理 4日ジムいったぞ!!! 引き続きがんばる 技術 数学 赤本読んだ まだ難しくはない 個人開発 何もしていない 本 統計学入門 (基礎統計学Ⅰ)の第二章をじっくり読んでいる 趣味 映画 1つみた これから「ズーンビ」を見ます pic.twitter…

2019年3月4週目の振り返り

最近全く振り返れていないです。 ここ最近をまとめます。 体調管理 22, 24, 25日でジムに(やっと。。。。やっと・・・・! これが毎日続けられるといいな 技術 数学 統計勉強会というものに参加して本読んだ 次回担当なので勉強します(もうすでに読んだけ…

仕事の仕方をちょっと変えた

まだまだダメダメマンです。 仕事の仕方を少し変えました。 と、いっても本当に少しだけなんだけど budougumi0617.github.io これこれ。この記事書いてから思ったこと 本を読みたいと思ったけど、ブコメあんまりいいコメントなかったので一旦我慢してとりあ…

最近ダメダメな気がする

色々不安になっている気がする。書き出す。 仕事がうまくいっている気がしている 担当案件で一番力入れているのがダメダメな気がする 単純な作業だけこなす御用聞き状態 それなら至極一般なプログラマが対応可能なので、客からするとメリットがない どうすれ…

雑ログ CORSを全く理解できていない

映画のラベル付を簡単にできる画面がほしかった vue.jsで作成した api gateway+ lambdaは順調だったが、vue.js <-> api gatewayで死んだ cros cors問題 getはうまくできた。が、同じようにpostしようとしたら無事死亡 こんな時間まで...仕事.... JavaScript …

2019年2月1~2週目の振り返り

先週の書いてない。 体調管理 尿酸値やばい 運動しなきゃなんだけど全くしていない 多分いろんな意味でやばい 技術 数学 特にしていない 個人開発 何もしていない 本 「イシューからはじめよ」を読み始めた 趣味 映画 みていない ゲーム やっておらぬ 仕事 …

先週金、土でLTしてきた話

2/1 金曜日 re-build.connpass.com 株式会社サイダスx株式会社リビルド主催の勉強会。AWSでサーバーレスなクローラーやWebアプリ作ってみたいなーと思い、2週間前ぐらいにポチった。 で、発表してきたのはこれ speakerdeck.com 間に合わなかった。クローラ…

雑ログ lambdaと他でピタゴラスイッチ

www.aipacommander.com www.aipacommander.com 続き。 今日(昨日だけど)は、lambdaからlambda叩いたり、s3のイベントからlambda叩いたり、lambdaからsqsにqueueを追加したりなどした。 やったこと箇条書きする。 その前に、bs4でlxmlを使おうとしたらエラ…

雑ログ lambda layersで遊ぶ

lambda layersを触る. qiita.com ここを参考にした。 ディレクトリ構成 - lambda - lambda_layers - python - cw_logging.py - lambda_test - lambda_function.py lambda layersの作成 $ pwd ~/lambda/ $ cd lambda_layers/ $ zip -r python.zip python/ 用…

雑ログ lambdaで遊ぶ

lambda楽しい〜とつぶやいた3時間後、無事死亡 一気にやろうとして死んだ。 ハマったこと lambda-uploderでアップした関数のruntimeがpython2.7 謎のエラー invalid syntax (__init__.py, line 53) 動かないlambda layer runtimeの件は、lambda-uploderのRE…

雑ログ

決定木で、テストデータがどの葉に分類されるかを自動でやりたいとき、なんかないかなーと探してたら公式ドキュメントにあった。 scikit-learn.org # decision_pathで全体の結果が返ってくる? node_indicator = estimator.decision_path(X_test) # テストデ…

2019年1月3週目の振り返り

体調管理 ダメだねー 技術 数学 特にしていない 個人開発 決定木で遊んだ 本 読んでいない 趣味 映画 GODZILLA 星を喰う者 ゴジラってなんだっけって気持ちになったけど、まぁまぁ面白いので良しとした ゲーム やっておらん 仕事 うーむ。まだまだまだまだだ…

雑ログ

YOLOを引き続き勉強中である。 github.com ↑のような説明記事をみてもわからないことが多い darknet53で画像から特徴をとっているらしいが、それが後半の検出にどう使用されているのか クラスの出力が、softmaxじゃなくてロジスティック回帰 バウンディング…

2019年1月2週目の振り返り

体調管理 1日歩いて出社した +@ 土曜日に2kmぐらい歩いた 技術 数学 微分を改めて勉強 「あたらしい機械学習の教科書」みたいな名前の本のP.100あたりの微分の計算が解けない 個人開発 Laravelで遊んだ YOLOで遊んだ LTしてきた TensorflowでYOLOv3を写経し…

雑ログ

引き続き、yolov3を理解するために勉強している。 yolov3は多クラス分類なのに出力層?あたりでロジスティック回帰を使っているらしい。 あれ?ロジスティック回帰って二値分類じゃないんか。と調べてみたら一応できる。 書籍とか読んでいるとsigmoid -> sof…

雑ログ

昨日は眠れなくてPythonで遊んでいた YOLOを簡単に勉強する必要が出てきたので少しずつやっている. pjreddie.com ↑の公式(?)サイト通りにやるととりあえず動く。 そのあと、Pythonに直したいなということで、Tensorflowでやろうとする。 qiita.com Python3.7…