ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

seaborn.pairplotで左と下にでてくるlabelのrotationを変更したい

とてもめんどかった(探索が)。ドキュメントを探してたらmatplotlibのようなクラスを扱えることを知りできた。 _x_columns =['width', 'height'] g = sns.pairplot(df[_x_columns], height=8, corner=True, hue='sex') for ax in g.axes.flat: if ax is Non…

リモートワークしたら体重が-5kg落ちました

リモートワークが要因じゃないけどきっかけにはなってる。。。どこかのタイミングでまとめます。 しかし運動しててもカロリー制限してても痩せなかったのにこんな簡単に(簡単ではないが

fadeInとfadeOutを実装して死んだ

ウンコード export function fade(node, duration, _type) { // style属性にdisplay: noneが設定されていたとき console.log(node.style.display); if (node.style.display === 'none') { node.style.display = 'none'; } else { node.style.display = 'bloc…

PySparkの雑メモ

PySparkで使い方に困ったときのメモ 複数カラムで集計 from pyspark.sql import functions as F a1 = df.groupby('column_1', 'column_2').agg(F.count(F.col('column_3')).alias('count'), F.collect_set('column_4').alias('collect_column_4')) 複数カラ…

BulmaをWebpackで動かすまでをメモ

Q.Bulmaってなんのブルマですか? → A.DBのブルマだそうです。 bulma.io これです。 webpack全然覚えていないのですが、jsをトランスパイルしたいので、ついでhtmlやcssもwebpackでやろう→cssフレームワーク使いたい。おおええよ!ってなったけど死んだ。 qi…

aws ソリューションアーキテクト アソシエイトに合格しましたログ

合格した流れのログを残す 試験前の自分のレベル awsは仕事や趣味で使ったことがあるが、ec2、s3、lambda、route53しか使ったことないペーペー インフラの基礎知識はある 3分間ネットワークシリーズを全部読んだ(過去インフラ屋だったとき) それだけじゃな…

cloudformation完全に理解した

タイトル釣りです。 github.com cloudformation、便利そうだから趣味アプリのデプロイで使うか!って挑戦した結果、やりたいことを実現するのに二週間かかりました。辛い ハマったこと 既存のリソースがすでに存在する場合 → テンプレートからスタック(リソ…

The role defined for the function cannot be assumed by Lambda. (Service: AWSLambdaInternal; Status Code: 400; Error Code: InvalidParameterValueException; Request ID: xxx-xxx-xxx-xxx)

cloudformationで無限にこのエラーにハマってて辛かったが解決したのでメモ stackoverflow.com cloudformationでデプロイするlambdaに紐付けるロール関連でエラーになっていることはわかったけど、ググってもよくわからなかったが↑の記事試したら解消した 具…

BigQuery Data Transfer ServiceをAPIから設定する

めっちゃハマった(3H)のでここに記す. ドキュメントもなく辛い 手順まとめ モジュールのinstall $ pip install google-cloud-bigquery-datatransfer 認証ファイル サービスアカウントでやりました。作成方法はskipします(ぐぐったらすぐ出てくるので) im…

生きてます

最近全然ブログ書いていないけど、僕は元気です。

強化学習アルゴリズム入門(1.12)の式

強化学習アルゴリズム入門: 「平均」からはじめる基礎と応用作者: 曽我部東馬出版社/メーカー: オーム社発売日: 2019/05/24メディア: 単行本(ソフトカバー)この商品を含むブログを見る 読んでいる. さぁーって読んだけど、あんまり理解してない感じだった…

雑メモ

Pythonのこの演算子. listだけに使えるのかなと思っていたけど、文字列でもいけるのね。いつもはfind使ってた. >>> 'あいうえお' in 'かきくけお' False >>> 'あ' in 'あいうえお' True >>> 'あ' in 'かきくけあ' True >>> 'あいうえお' in 'かあいうえお' T…

テンションが低い

長い長い仕事で成果を出すことができず、ちと疲れていたマンです。 それが原因かわからんが、ここ最近モチベが下がってて新卒はじめ他のメンバーが眩しくてちょっとつらい時期でした。 どうしたもんかよくわからず、あーなんか前々職で退職するときとなんか…

あああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああ

あああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああ あ ああああああ!!!!!!!ああああああああ!!!!!!あ!!!!…

【mlflow】作成済みのrun_idの情報(metrics, tags, etc...)を更新したい

ドキュメントみてたけど明示的に書いていない(はず) mlflow.org start_runの項目を確認すると、run_uuidの引数があるので「もしや・・・!」と思い試した。 # 色々情報はすっ飛ばす # MLflowに記録 mlflow.set_tracking_uri('http://localhost:5000') with…

駄目駄目マン

まだスランプというか、うまくいっていないマン。振り返りたい 駄目駄目なこと 毎日がギリギリ ギリギリなのが悪いのではなくその上進捗がでていないのが駄目駄目 原因 脳死している気が... 自分の仕事にプライドを持っていないような 年齢重ねるにつれ、プ…

Tensorflow2でKerasみたいな保存の仕方すると死ぬ

タイトルはてきとーにつけたので正しくはない Colaboratoryで遊んでいるとき、他notebookで保存したモデルを読み込みたかった. import tensorflow as tf model = None # 学習済みのモデルを想定 # Model is the full model w/o custom layers model.compile(…

pandas.mergeで複数のdataframeをmergeする

from functools import reduce # dfs -> [df, df, df]要素にdfが入ったlist merge_df = reduce(lambda left, right: pd.merge(left, right, how='left', on='column_name'), dfs)

Tensorflow2系で指定したレイヤーから勾配を取得したい場合

ハマった import tensorflow as tf # fine tuningしたいのでvgg16のモデルをロード vgg16 = tf.keras.applications.VGG16(include_top=False, input_shape=(100, 100, 3)) for l in vgg16.layers: l.trainable = False x = tf.keras.layers.Flatten()(vgg16.…

Tensorflow2系のサブクラスモデルの構造は保存できない

import tensorflow as tf class MyModel(tf.keras.Model): def __init__(self, output_node): super(MyModel, self).__init__() self.d1 = tf.keras.layers.Dense(128, activation='relu') self.d2 = tf.keras.layers.Dense(output_node, activation='softma…

Tensorflow2系の基本的なデータの読み込み方

Tensorflow2系触っていますが、情報が少なくて死にそうです。 しかし、ドキュメントは結構しっかりしているかなと思っています。ドキュメント読むべし。 参考URL Importing Data | TensorFlow Core | TensorFlow 環境 colaboratory !pip install tensorflow-…

2019年4月1週目の振り返り

やまです 体調管理 4日ジムいきました 引き続きがんばる ワンパンマンの鍛え方真似したら1ヶ月でやせるとかやせないとか 今5kmを必ず走るようにしているけど、これを10kmにすればいいらしい ちなみに順調に体重は増えています。何故? 技術 数学 赤本じっく…

2019年3月5週目の振り返り

酔っぱらいです 体調管理 4日ジムいったぞ!!! 引き続きがんばる 技術 数学 赤本読んだ まだ難しくはない 個人開発 何もしていない 本 統計学入門 (基礎統計学Ⅰ)の第二章をじっくり読んでいる 趣味 映画 1つみた これから「ズーンビ」を見ます pic.twitter…

2019年3月4週目の振り返り

最近全く振り返れていないです。 ここ最近をまとめます。 体調管理 22, 24, 25日でジムに(やっと。。。。やっと・・・・! これが毎日続けられるといいな 技術 数学 統計勉強会というものに参加して本読んだ 次回担当なので勉強します(もうすでに読んだけ…

仕事の仕方をちょっと変えた

まだまだダメダメマンです。 仕事の仕方を少し変えました。 と、いっても本当に少しだけなんだけど budougumi0617.github.io これこれ。この記事書いてから思ったこと 本を読みたいと思ったけど、ブコメあんまりいいコメントなかったので一旦我慢してとりあ…

最近ダメダメな気がする

色々不安になっている気がする。書き出す。 仕事がうまくいっている気がしている 担当案件で一番力入れているのがダメダメな気がする 単純な作業だけこなす御用聞き状態 それなら至極一般なプログラマが対応可能なので、客からするとメリットがない どうすれ…

雑ログ CORSを全く理解できていない

映画のラベル付を簡単にできる画面がほしかった vue.jsで作成した api gateway+ lambdaは順調だったが、vue.js <-> api gatewayで死んだ cros cors問題 getはうまくできた。が、同じようにpostしようとしたら無事死亡 こんな時間まで...仕事.... JavaScript …

2019年2月1~2週目の振り返り

先週の書いてない。 体調管理 尿酸値やばい 運動しなきゃなんだけど全くしていない 多分いろんな意味でやばい 技術 数学 特にしていない 個人開発 何もしていない 本 「イシューからはじめよ」を読み始めた 趣味 映画 みていない ゲーム やっておらぬ 仕事 …

先週金、土でLTしてきた話

2/1 金曜日 re-build.connpass.com 株式会社サイダスx株式会社リビルド主催の勉強会。AWSでサーバーレスなクローラーやWebアプリ作ってみたいなーと思い、2週間前ぐらいにポチった。 で、発表してきたのはこれ speakerdeck.com 間に合わなかった。クローラ…

雑ログ lambdaと他でピタゴラスイッチ

www.aipacommander.com www.aipacommander.com 続き。 今日(昨日だけど)は、lambdaからlambda叩いたり、s3のイベントからlambda叩いたり、lambdaからsqsにqueueを追加したりなどした。 やったこと箇条書きする。 その前に、bs4でlxmlを使おうとしたらエラ…