ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお（^ω^ = ^ω^）

子供が生まれた　その２

家族

www.aipacommander.com

二人目誕生です。そのときのログ

当時、嫁と子は1週間ぐらい病院にいるし、このご時世だから中々顔みれなかった。

ログ

  • 深夜0時。破水は突然。あれ？なんかデジャヴ
  • 上の子は爆睡してたけど、置いておくわけにはいかないので抱っこして病院へ
  • 自家用車を会社の駐車場に停めていたことを思い出したのでDiDiでタクシーをよぶ。便利
  • 病院へごー。ついたけど、コロナ対策のため嫁だけデプロイ。旦那と子は帰る
  • 帰宅。とりあえず寝かしつけ。そして僕もねむい( ˘ω˘)ｽﾔｧ
  • 目がさめた。3時。まだ生まれていないっぽい。LINEマンガを読む。寝落ち
  • 目がさめた。5時。生まれたっぽい。はやい
  • 終戦。今回何もしていない

Ginzaで固有表現抽出試したけどまだ遊びたりない

Python

何の記事でもなくただのメモ

megagonlabs.github.io

映画名取れるかな。とか思ったので試した。

$ apt update -y && apt install gcc -y
$ pip install -U ginza
$ ginza
ゴジラを視聴しました！！
# text = ゴジラを視聴しました！！
1   ゴジラ   ゴジラ   PROPN   名詞-固有名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ゴジラ|NE=B-PERSON|ENE=B-Person
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ
8   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ

Person

続ける

ターミネーターを視聴しました！
# text = ターミネーターを視聴しました！
1   ターミネーター   ターミネーター   NOUN    名詞-普通名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ターミネーター|NE=B-PRODUCT|ENE=B-Product_Other
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   ！ !   PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=キゴウ

スターウォーズを視聴しました。
# text = スターウォーズを視聴しました。
1   スターウォーズ   スターウォーズ   PROPN   名詞-固有名詞-一般  _   3   obj _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=スターウォーズ|NE=B-WORK_OF_ART|ENE=B-Movie
2   を を ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ
3   視聴  視聴  VERB    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Reading=シチョウ
4   し する  AUX 動詞-非自立可能  _   3   advcl   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ
5   まし  ます  AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,連用形-一般|Reading=マシ
6   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
7   。 。 PUNCT   補助記号-句点 _   3   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=。

君の名は面白かったですね
# text = 君君の名は面白かったですね
1   君 君 PRON    代名詞   _   2   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_B|Reading=キミ
2   君 君 PRON    代名詞   _   4   nmod    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SEM_HEAD|NP_I|Reading=キミ
3   の の ADP 助詞-格助詞    _   2   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
4   名 名 NOUN    名詞-普通名詞-一般  _   6   nsubj   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ナ
5   は は ADP 助詞-係助詞    _   4   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ハ
6   面白かっ    面白い   ADJ 形容詞-一般    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=形容詞,連用形-促音便|Reading=オモシロカッ
7   た た AUX 助動詞   _   6   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ
8   です  です  AUX 助動詞   _   6   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-デス,終止形-一般|Reading=デス
9   ね ね PART    助詞-終助詞    _   6   mark    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ネ

あれー？？？

日付の慣用表現　「１３日の金曜日」等
# text = 日付の慣用表現
1   日付  日付  NOUN    名詞-普通名詞-一般  _   4   nmod    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ヒヅケ
2   の の ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
3   慣用  慣用  NOUN    名詞-普通名詞-サ変可能    _   4   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_B|Reading=カンヨウ
4   表現  表現  NOUN    名詞-普通名詞-サ変可能    _   0   root    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=ROOT|NP_I|Reading=ヒョウゲン
5   　 　 X   空白  _   4   _   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=

# text = 「１３日の金曜日」等
1   「 「 PUNCT   補助記号-括弧開  _   3   punct   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|Reading=キゴウ
2   １３  13  NUM 名詞-数詞   NumType=Card    3   nummod  _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|NP_I|Reading=イチサン|NE=B-DATE|ENE=B-Date
3   日 日 NOUN    名詞-普通名詞-助数詞可能 _   7   nmod    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SEM_HEAD|NP_I|Reading=ニチ|NE=I-DATE|ENE=I-Date
4   の の ADP 助詞-格助詞    _   3   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ノ
5   金曜日   金曜日   NOUN    名詞-普通名詞-副詞可能    _   7   compound    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_I|Reading=キンヨウビ|NE=B-DATE|ENE=B-Day_Of_Week
6   」 」 PUNCT   補助記号-括弧閉  _   7   punct   _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|NP_I|Reading=キゴウ
7   等 等 NOUN    接尾辞-名詞的-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=ROOT|NP_I|Reading=トウ

愚かなる妻
# text = 愚かなる妻
1   愚か  愚か  ADJ 形状詞-一般    _   2   advcl   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|Reading=オロカ
2   なる  なり  AUX 助動詞   _   3   acl _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|Inf=文語助動詞-ナリ-断定,連体形-一般|Reading=ナル
3   妻 妻 NOUN    名詞-普通名詞-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|NP_B|Reading=ツマ

マトリックスは面白かった
# text = マトリックスは面白かった
1   マトリックス  マトリックス  NOUN    名詞-普通名詞-一般  _   3   nsubj   _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=マトリックス
2   は は ADP 助詞-係助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ハ
3   面白かっ    面白い   ADJ 形容詞-一般    _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=形容詞,連用形-促音便|Reading=オモシロカッ
4   た た AUX 助動詞   _   3   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-タ,終止形-一般|Reading=タ

風と共に去りぬ
# text = 風と共に去りぬ
1   風 風 NOUN    名詞-普通名詞-一般  _   3   nmod    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=カゼ
2   と と ADP 助詞-格助詞    _   1   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ト
3   共 共 NOUN    名詞-普通名詞-一般  _   5   obl _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=トモ
4   に に ADP 助詞-格助詞    _   3   case    _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ニ
5   去り  去る  VERB    動詞-非自立可能  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|Inf=文語四段-ラ行,連用形-一般|Reading=サリ
6   ぬ ぬ AUX 助動詞   _   5   aux _   SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-ヌ,終止形-一般|Reading=ヌ

タイタニック
# text = タイタニック
1   タイタニック  タイタニック  NOUN    名詞-普通名詞-一般  _   0   root    _   SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=ROOT|NP_B|Reading=タイタニック|NE=B-OTHERS|ENE=B-Constellation

http://liat-aip.sakura.ne.jp/ene/ene8/definition_jp/html/enetree.html

ここの定義使っているっぽくて、映画名というのがあるんだけどでてこない（それか僕の見方が間違っているだけかも）

続きはまたあした

Kedroで指定のDataCatalogを保存する

Python Kedro

苦労したわ（探すのに）

# catalog.ymlを読み込む
>>> import yaml
>>> with open(os.path.join('conf', 'base', 'catalog.yml'), 'r') as f:
...     config = yaml.load(f, Loader=yaml.FullLoader)

# DataCatalogを用意
>>> catalog = DataCatalog.from_config(config)
>>> catalog.list()
['hogehoge_txt']

# hogehoge_txtは type: text.TextDataSet なので、テキストで保存
>>> catalog.save('hogehoge_txt', '保存したぜ！！')

cv2.VideoCaptureで動画ファイルが開けない

Python

詳しくはこれ

>>> cap = cv2.VideoCapture(file_path)
>>> print(cap.isOpened())  # False

色々ググってたけど、よくわからない・・・

stackoverflow.com

これみて( ﾟдﾟ)ﾊｯ!ってなった

せやった

$ pip install opencv-python

# 追加
$ pip install opencv-contrib-python

こいつがないと動かないんだった

www.slideshare.net

しかし、非公式やら非商用って書いてあってよくわからん。いつかまとめたい

「subword-nmt」を無理やりPythonから呼んで実行する

Python

github.com

基本コマンド実行を想定されて組まれていますが、PythonでできているからPythonから叩けるんじゃね？って思ったので試したら結構難しい。。。

とりあえず試行錯誤のすえ、うまくいった感じのログだけ残す

qiita.com

from subword_nmt.learn_bpe import learn_bpe
import sys


input_data = """吾輩 わがはい は 猫 で ある 。 名前 は まだ 無い 。
どこ で 生れ た か とんと 見当 けん とう が つか ぬ 。 何 でも 薄暗い じめじめ し た 所 で ニャーニャー 泣い て いた事 だけ は 記憶 し て いる 。 吾輩 は ここ で 始め て 人間 という もの を 見 た """

sys.stdin = input_data.split('\n')
learn_bpe(infile=sys.stdin, outfile=sys.stdout, num_symbols=3000, min_frequency=2, verbose=True,  is_dict=False, total_symbols=False)

# 実行すると下記出力される
# #version: 0.2
# 吾 輩</w>
# ニ ャ

僕が試した結果が、qiita記事の結果と違うのはなぜかわからんが、とりあえずこれで動いたっぽさ。ただ、 sys.stdin を直接上書きしているので何が起こるかはわからない....