ITの隊長のブログ

ITの隊長のブログです。Rubyを使って仕事しています。最近も色々やっているお（^ω^ = ^ω^）

2020年の振り返り

振り返り

もうときはすでに2021年。ちと遅くなったけど振り返る

2020振り返り

会社のLT大会でこんなスライドを用意してたので貼り付ける

f:id:aipacommander:20210102142430p:plain

  • 時系列データ分析を一通り学べた気がする
    • ただ深惚れてはいないので、なんかサービス作りたい気もするけど今後のやりたいことリストに追加して学んでいきたい
  • 異常検知も一通り学べた気がする
    • 時系列と同様
  • PySpark難しい
    • でかいデータを処理しても落ちないようにするのが大変
    • とりあえずjoinは絞り込んでから使うといいぞ！
    • あと組み立て方があんまり好きじゃなかった
  • PHP楽しかった
    • 丁寧なWeb開発を今後心がけたい
    • あとデザインセンスが✕なのでそこも埋めたさ
  • MLOpsに興味がでてきた11 ~ 12月
    • workflowやらトラッキングあたりを強くなっておきたいなって気持ち
    • あと業界全般をどっかで勉強したさ
  • Deep Learningの学習内容の解釈を諦めた
    • Attentionあたり学んだときに「あっこれはもう解釈むずいわ」って気持ちになった
    • 一時期解釈するための研究とか興味あった
    • 出力と結果比較とかそのあたりで判断できるようになるマンになる

f:id:aipacommander:20210102142446p:plain

  • 体重の変化が激しい一年だった
  • とりあえずわかったことはラーメンと揚げ物ほどほどにビールをやめることで痩せることがわかった！
  • リングフィットアドベンチャーはきついけど楽しい。しかし痩せない（むしろ筋肉ついて体重は増加している）

2021やること

  • AWS SAPを合格したい
  • 統計検定2級をいい加減合格したい
  • プログラミングの歴史やらノウハウを改めて学ぶ
  • データベースの仕組みを学ぶ
  • GPUマシン購入して遊ぶ
  • snowflakeで遊ぶ
  • MLOpsを学ぶ
  • 価値を出す仕事ぶりを目指す
  • ロボットアームで遊ぶ
  • 体重70kgまで減らすのとkeepを目指すぞ
  • パワポの操作性をあげる

これまで使ってるだけだったんだけど、深い知識がほしいなーって気持ちになってきたのでがんばろうと思ってます。

「コンサル一年目が学ぶこと」を読んだ

書評

メモでもなんでもない記事です

www.amazon.co.jp

神サービスってのを最近気づいたのでスマホに落として読んでみた

コンサル一年目が学ぶこと

コンサル一年目が学ぶこと

３年前ぐらいに読みたかった本です。今いる会社で学んできたのがだいたい詰まっている。僕の場合失敗から学ぶことが多かったけどこれ読んで少しでも実践してたらなんか変わっていたのかも（しかし結局失敗しないとわからん！的な体なので変わらなかったかも）

色々参考になるところはあったので思い返して実践やらマインドを変える材料にしたいなーと思いましたまる

子供が生まれた　その２

家族

www.aipacommander.com

二人目誕生です。そのときのログ

当時、嫁と子は1週間ぐらい病院にいるし、このご時世だから中々顔みれなかった。

ログ

  • 深夜0時。破水は突然。あれ？なんかデジャヴ
  • 上の子は爆睡してたけど、置いておくわけにはいかないので抱っこして病院へ
  • 自家用車を会社の駐車場に停めていたことを思い出したのでDiDiでタクシーをよぶ。便利
  • 病院へごー。ついたけど、コロナ対策のため嫁だけデプロイ。旦那と子は帰る
  • 帰宅。とりあえず寝かしつけ。そして僕もねむい( ˘ω˘)ｽﾔｧ
  • 目がさめた。3時。まだ生まれていないっぽい。LINEマンガを読む。寝落ち
  • 目がさめた。5時。生まれたっぽい。はやい
  • 終戦。今回何もしていない

Ginzaで固有表現抽出試したけどまだ遊びたりない

Python

何の記事でもなくただのメモ

megagonlabs.github.io

映画名取れるかな。とか思ったので試した。

$ apt update -y && apt install gcc -y
$ pip install -U ginza
$ ginza
ゴジラを視聴しました！！
# text = ゴジラを視聴しました！！
1   ゴジラ   ゴジラ   PROPN   名詞-固有名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ゴジラ|NE=B-PERSON|ENE=B-Person
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ
8   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ

Person

続ける

ターミネーターを視聴しました！
# text = ターミネーターを視聴しました！
1   ターミネーター   ターミネーター   NOUN    名詞-普通名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ターミネーター|NE=B-PRODUCT|ENE=B-Product_Other
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ

スターウォーズを視聴しました。
# text = スターウォーズを視聴しました。
1   スターウォーズ   スターウォーズ   PROPN   名詞-固有名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=スターウォーズ|NE=B-WORK_OF_ART|ENE=B-Movie
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   。 。 PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=。

君の名は面白かったですね
# text = 君君の名は面白かったですね
1   君 君 PRON    代名詞   _   2   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_B|Reading=キミ
2   君 君 PRON    代名詞   _   4   nmod    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SEM_HEAD|NP_I|Reading=キミ
3   の の ADP 助詞-格助詞    _   2   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
4   名 名 NOUN    名詞-普通名詞-一般  _   6   nsubj   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ナ
5   は は ADP 助詞-係助詞    _   4   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ハ
6   面白かっ    面白い   ADJ 形容詞-一般    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=形容詞,連用形-促音便|Reading=オモシロカッ
7   た た AUX 助動詞   _   6   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
8   です  です  AUX 助動詞   _   6   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-デス,終止形-一般|Reading=デス
9   ね ね PART    助詞-終助詞    _   6   mark    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ネ

あれー？？？

日付の慣用表現　「１３日の金曜日」等
# text = 日付の慣用表現
1   日付  日付  NOUN    名詞-普通名詞-一般  _   4   nmod    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ヒヅケ
2   の の ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
3   慣用  慣用  NOUN    名詞-普通名詞-サ変可能    _   4   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_B|Reading=カンヨウ
4   表現  表現  NOUN    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=ROOT|NP_I|Reading=ヒョウゲン
5   　 　 X   空白  _   4   _   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=

# text = 「１３日の金曜日」等
1   「 「 PUNCT   補助記号-括弧開  _   3   punct   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|Reading=キゴウ
2   １３  13  NUM 名詞-数詞   NumType=Card    3   nummod  _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|NP_I|Reading=イチサン|NE=B-DATE|ENE=B-Date
3   日 日 NOUN    名詞-普通名詞-助数詞可能 _   7   nmod    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SEM_HEAD|NP_I|Reading=ニチ|NE=I-DATE|ENE=I-Date
4   の の ADP 助詞-格助詞    _   3   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
5   金曜日   金曜日   NOUN    名詞-普通名詞-副詞可能    _   7   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_I|Reading=キンヨウビ|NE=B-DATE|ENE=B-Day_Of_Week
6   」 」 PUNCT   補助記号-括弧閉  _   7   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|NP_I|Reading=キゴウ
7   等 等 NOUN    接尾辞-名詞的-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=ROOT|NP_I|Reading=トウ

愚かなる妻
# text = 愚かなる妻
1   愚か  愚か  ADJ 形状詞-一般    _   2   advcl   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|Reading=オロカ
2   なる  なり  AUX 助動詞   _   3   acl _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|Inf=文語助動詞-ナリ-断定,連体形-一般|Reading=ナル
3   妻 妻 NOUN    名詞-普通名詞-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|NP_B|Reading=ツマ

マトリックスは面白かった
# text = マトリックスは面白かった
1   マトリックス  マトリックス  NOUN    名詞-普通名詞-一般  _   3   nsubj   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=マトリックス
2   は は ADP 助詞-係助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ハ
3   面白かっ    面白い   ADJ 形容詞-一般    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=形容詞,連用形-促音便|Reading=オモシロカッ
4   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ

風と共に去りぬ
# text = 風と共に去りぬ
1   風 風 NOUN    名詞-普通名詞-一般  _   3   nmod    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=カゼ
2   と と ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ト
3   共 共 NOUN    名詞-普通名詞-一般  _   5   obl _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=トモ
4   に に ADP 助詞-格助詞    _   3   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ニ
5   去り  去る  VERB    動詞-非自立可能  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=文語四段-ラ行,連用形-一般|Reading=サリ
6   ぬ ぬ AUX 助動詞   _   5   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-ヌ,終止形-一般|Reading=ヌ

タイタニック
# text = タイタニック
1   タイタニック  タイタニック  NOUN    名詞-普通名詞-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|NP_B|Reading=タイタニック|NE=B-OTHERS|ENE=B-Constellation

http://liat-aip.sakura.ne.jp/ene/ene8/definition_jp/html/enetree.html

ここの定義使っているっぽくて、映画名というのがあるんだけどでてこない（それか僕の見方が間違っているだけかも）

続きはまたあした

Kedroで指定のDataCatalogを保存する

Python Kedro

苦労したわ（探すのに）

# catalog.ymlを読み込む
>>> import yaml
>>> with open(os.path.join('conf', 'base', 'catalog.yml'), 'r') as f:
...     config = yaml.load(f, Loader=yaml.FullLoader)

# DataCatalogを用意
>>> catalog = DataCatalog.from_config(config)
>>> catalog.list()
['hogehoge_txt']

# hogehoge_txtは type: text.TextDataSet なので、テキストで保存
>>> catalog.save('hogehoge_txt', '保存したぜ！！')