ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

pythonでmodule化するときに参考にするgithubリポジトリ

github.com cookiecutterでもいいかも

Windows Server 2019でGitlab Runnerを入れてPython unittestを走らせるメモ

まだ書いている途中と できました。 雑メモです 環境 AWS(Windows Server 2019) Python 3.6 参考記事 windows server 起動後 qiita.com gitlab runner関連 ちょっと項目違ったりしたけどだいたいあっている qiita.com gitlab runnerのインストール手順は読め…

2020年の振り返り

もうときはすでに2021年。ちと遅くなったけど振り返る 2020振り返り 会社のLT大会でこんなスライドを用意してたので貼り付ける 時系列データ分析を一通り学べた気がする ただ深惚れてはいないので、なんかサービス作りたい気もするけど今後のやりたいことリ…

「コンサル一年目が学ぶこと」を読んだ

メモでもなんでもない記事です www.amazon.co.jp 神サービスってのを最近気づいたのでスマホに落として読んでみた コンサル一年目が学ぶこと作者:大石哲之発売日: 2014/07/31メディア: Kindle版 3年前ぐらいに読みたかった本です。今いる会社で学んできたの…

子供が生まれた その2

www.aipacommander.com 二人目誕生です。そのときのログ 当時、嫁と子は1週間ぐらい病院にいるし、このご時世だから中々顔みれなかった。 ログ 深夜0時。破水は突然。あれ?なんかデジャヴ 上の子は爆睡してたけど、置いておくわけにはいかないので抱っこし…

Ginzaで固有表現抽出試したけどまだ遊びたりない

何の記事でもなくただのメモ megagonlabs.github.io 映画名取れるかな。とか思ったので試した。 $ apt update -y && apt install gcc -y $ pip install -U ginza $ ginza ゴジラを視聴しました!! # text = ゴジラを視聴しました!! 1 ゴジラ ゴジラ PROPN…

Kedroで指定のDataCatalogを保存する

苦労したわ(探すのに) # catalog.ymlを読み込む >>> import yaml >>> with open(os.path.join('conf', 'base', 'catalog.yml'), 'r') as f: ... config = yaml.load(f, Loader=yaml.FullLoader) # DataCatalogを用意 >>> catalog = DataCatalog.from_confi…

cv2.VideoCaptureで動画ファイルが開けない

詳しくはこれ >>> cap = cv2.VideoCapture(file_path) >>> print(cap.isOpened()) # False 色々ググってたけど、よくわからない・・・ stackoverflow.com これみて( ゚д゚)ハッ!ってなった せやった $ pip install opencv-python # 追加 $ pip install opencv-co…

「subword-nmt」を無理やりPythonから呼んで実行する

github.com 基本コマンド実行を想定されて組まれていますが、PythonでできているからPythonから叩けるんじゃね?って思ったので試したら結構難しい。。。 とりあえず試行錯誤のすえ、うまくいった感じのログだけ残す qiita.com from subword_nmt.learn_bpe i…

argparseのパラメータの補完をPythonスクリプトから行う

docs.python.org 便利です。通常こいつを利用する場合はコマンドから引数を指定して値をわたしますが、とある事情からプログラムからも指定したい場合どうやって渡すのかな?と調べてたらありました。 stackoverflow.com へー。試してみる >>> import argpar…

Kedroのチュートリアルが動かない

Kedro?なにそれ?おいしいの??? 僕もはじめてさわるのでよくわかりません。 kedro.readthedocs.io zenn.dev よくわからないので、ドキュメントやらぐぐってでてきた記事を参考にチュートリアルしてたけど動かない。 $ kedro run 2020-11-24 12:23:27,840…

embulkでs3→mysqlを試したときにlockがかかって死んだときのメモ

メモリ1GBという制限があり、タイトル通りの構成で転送したところ、ひたすら失敗することを確認したが、mysqlのログを確認してみるとどうやらlockされていたことがわかった。 qiita.com ちなみに中々メモリ1GBで検証するのは大変だと思うので(クラウドなら…

状態空間モデル勉強メモ

同僚からお借りして読んでいます(というか僕も持っていたんだけどどこいった) 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場発売日: 2018/02/14メディア: 単行本 状態空間モデルのイメージ 湖で釣りしている人がいる 毎日釣…

いい加減ちゃんと覚えたい統計学 幹葉図

bellcurve.jp 人生で初めて出会いました(統計学の問題集で) ↑のリンクの通り、概要把握すればそんなに難しくないですが、平均や四分位数を求めるときがとてもめんどくさく、序盤にでてくるくせに電卓うちなれていないと無限に時間を消費してしまう中ボス的…

いい加減ちゃんと覚えたい統計学 四分位数編

bellcurve.jp これを読んだあとのちゃんと理解しているか説明を並べる. 四分位数 代表値の一種 データを小さい順から並べて、4つに分割する 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位…

ssh-agentを使ったsshログイン

ssh

macです。簡単です。 $ ssh-add -K ${登録したい鍵ファイルパス} Enter passphrase for ${登録したい鍵ファイルパス}: パスワードを入力してあげます。 その鍵を使ってログインするサーバへログインしてみます。 $ ssh ${configに設定したHOST名} 多段sshと…

時系列勉強雑メモ

定常過程が分析しやすいデータである理由 無数に存在する2020年1月1日という気温の特徴を手元にあるたった1つの2020年1月1日のデータで推測しなければならない → これは難しい しかしデータが定常と仮定すると分析が楽 期待値や分散の推定量が時点によって変…

Ubuntuにrpy2を入れたい

AnacondaがインストールされたUbuntuでrpy2を使いたいのでpipで入れようとした。 $ pip install rpy2 # ... ERROR: Complete output from command python setup.py egg_info: ERROR: cffi mode: CFFI_MODE.ANY Error: rpy2 in API mode cannot be built with…

paramikoでSFTPサーバのモックを用意する

さぁーがんばるぞーとぐぐってみたらあった github.com pipでinstallすることができます。 $ pip install sftpserver 鍵ファイルが必須と書いてあるため、とてもめんどくさいと思いました。なので、試行錯誤して鍵が必要なくなるよう設定やらコードをイジイ…

ぽえむ

テストしてて結果待ちの間暇なので適当に書く。 3年前となにが変わったか???と自分に問いかけると変わったところもあるけどあんま伸びていないところもあって、そこに対して今結構不安を持っている。 年齢が30の年になるので、ほんまこの調子で大丈夫なん…

GWその7

本当ならその7は昨日やるべきだったんだけど、家の手伝いしてたら夜( ˘ω˘)スヤァってなったので今日になった。 今回のGWは後にまとめるとして、とりあえず今日は指数と対数をなんとなく理解できた。 ただ、教科書の正解か不正解かもわからない問題で練習したの…

GW勉強その6

実家に暇だろ!?来いや!。って言われたのできてみたら土方させられてあんま勉強していないマンです。 帰ってきてこの時間までやってました。 はい。 前日までやっていた本は一旦諦めました。読むのに時間かかっている≒わからないことが多すぎて進まない。…

GW勉強その5

この本は読み終えた。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 次はこの本を読んでいる。 微分の教科書 (大学数学基礎力養成)作者:丸井 洋子発売日: 2017/10/20メディ…

GW勉強その4

ドリルの集中力が切れたので、2冊目を読んでいる。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 中学のやつが2巻目らしいので、これはよまなくてもいいかなとか思っていた…

GW勉強その3

今日は午前中買い物にいってきたのでそんなに勉強できなかった。 塾で教える高校入試 数学 塾技100 新装版 (高校入試 塾技)作者:森 圭示発売日: 2016/07/08メディア: 単行本(ソフトカバー) これ進めているが、わからんところがでてきてなかなか進まない。 …

GW勉強その2

読み終わりました。 大人のための中学数学勉強法作者:永野 裕之発売日: 2013/03/23メディア: 単行本(ソフトカバー) 途中の練習問題が難関高校?の入試問題なので、解けるとテンションが上がって次に行きたくなります。 が、本当に身についているかどうか、…

GW勉強その1.1

酒が入ったので、読書はやめて手を動かすことにした。 github.com 3年ぶりに知らない言語(知っているけど書けない)にチャレンジ。 OpenCVでなんかゴニョゴニョできるようになればいいなを目標にがんばります。

GW勉強その1

今年は1週間休みをとってみた。4/30,5/1休めば来週の木曜日まで休みだ。ただ世間はウィルス騒動なので外に遊びにいけないのでやることは子守以外になんもないけど、一応勉強しておこうと思ってログを残す。 色々やりたいことはあると思うんだけど、あんまり…

時系列の勉強雑メモ

ちゃんと理解したいので何度も読み直している。 時系列分析の難しさ 1990年1月1日の気温を予測する場合、無数にある1990年1月1日が母集団。母平均を推定しようとした場合、データは手元に1つ(1990年1月1日は現実に1つしかない)しか無いはずなのでむずい な…

時系列の勉強雑メモ

これまでゴリ推してきた時系列をなんとか数式含め脳内補完できないかなといことで再勉強中です。 早速ですが、ホワイトノイズは自己相関が0らしいので、本当か試してみる。 import numpy as np import pandas as pd import matplotlib.pyplot as plt dlen = …