import time import math from multiprocessing import Process, Queue, cpu_count import queue as pyqueue def worker(q): while True: try: # なにか処理 _ = q.get(timeout=15) except pyqueue.Empty: break def main(q): for i in range(1000): q.put(i) if __name__ == "__main__": q = Queue(maxsize=1000) p = Process(target=main, args=(q,)) p.start() sub_ps = [Process(target=worker, args=(q,)) for _ in range(2)] _ = [p2.start() for p2 in sub_ps] p.join() _ = [p2.join() for p2 in sub_ps] p.close() _ = [p2.close() for p2 in sub_ps] q.close()
pythonでmodule化するときに参考にするgithubリポジトリ
cookiecutterでもいいかも
Windows Server 2019でGitlab Runnerを入れてPython unittestを走らせるメモ
まだ書いている途中と できました。
雑メモです
環境
参考記事
windows server 起動後
gitlab runner関連
ちょっと項目違ったりしたけどだいたいあっている
gitlab runnerのインストール手順は読めばわかるんだけど、僕みたいなせっかちさんに説明すると
- gitlab runner.exeを落としてくる
- gitlab runnerで登録する（register）
- 無事gitlabと通信できたらinstallとstartを実行する
ちなみに間違えて、64bitのOSなのに、32bitいれて起動しちゃったんだけど、その後なぜか64bitのexeが起動できなくてないてた（プロセスはすでに起動していますよ！！！でブロックされ続ける）
で、ロックファイルとかあるんだろうなって探してたけど見つからなくて辛いってなってたが、uninstallっていうコマンドが↑のドキュメントに載っているのでそれを叩けばおｋでした。よかった
gitをインストールする
.gitlab.ymlで設定する
起動するのをShellで登録したので、gitとpythonが起動するようにした んだけど、パスが設定できなくていま確認中。もしできたら記事更新します。
できましたー。パスを最初から設定してくださいって話でした。。。
2020年の振り返り
もうときはすでに2021年。ちと遅くなったけど振り返る
2020振り返り
会社のLT大会でこんなスライドを用意してたので貼り付ける
- 時系列データ分析を一通り学べた気がする
- ただ深惚れてはいないので、なんかサービス作りたい気もするけど今後のやりたいことリストに追加して学んでいきたい
- 異常検知も一通り学べた気がする
- 時系列と同様
- PySpark難しい
- でかいデータを処理しても落ちないようにするのが大変
- とりあえずjoinは絞り込んでから使うといいぞ！
- あと組み立て方があんまり好きじゃなかった
- PHP楽しかった
- 丁寧なWeb開発を今後心がけたい
- あとデザインセンスが✕なのでそこも埋めたさ
- MLOpsに興味がでてきた11 ~ 12月
- workflowやらトラッキングあたりを強くなっておきたいなって気持ち
- あと業界全般をどっかで勉強したさ
- Deep Learningの学習内容の解釈を諦めた
- Attentionあたり学んだときに「あっこれはもう解釈むずいわ」って気持ちになった
- 一時期解釈するための研究とか興味あった
- 出力と結果比較とかそのあたりで判断できるようになるマンになる
- 体重の変化が激しい一年だった
- とりあえずわかったことはラーメンと揚げ物ほどほどにビールをやめることで痩せることがわかった！
- リングフィットアドベンチャーはきついけど楽しい。しかし痩せない（むしろ筋肉ついて体重は増加している）
2021やること
- AWS SAPを合格したい
- 統計検定2級をいい加減合格したい
- プログラミングの歴史やらノウハウを改めて学ぶ
- データベースの仕組みを学ぶ
- GPUマシン購入して遊ぶ
- snowflakeで遊ぶ
- MLOpsを学ぶ
- 価値を出す仕事ぶりを目指す
- ロボットアームで遊ぶ
- 体重70kgまで減らすのとkeepを目指すぞ
- パワポの操作性をあげる
これまで使ってるだけだったんだけど、深い知識がほしいなーって気持ちになってきたのでがんばろうと思ってます。
「コンサル一年目が学ぶこと」を読んだ
メモでもなんでもない記事です
神サービスってのを最近気づいたのでスマホに落として読んでみた
３年前ぐらいに読みたかった本です。今いる会社で学んできたのがだいたい詰まっている。僕の場合失敗から学ぶことが多かったけどこれ読んで少しでも実践してたらなんか変わっていたのかも（しかし結局失敗しないとわからん！的な体なので変わらなかったかも）
色々参考になるところはあったので思い返して実践やらマインドを変える材料にしたいなーと思いましたまる
