Python
めっちゃハマった（3H）のでここに記す. ドキュメントもなく辛い 手順まとめ モジュールのinstall $ pip install google-cloud-bigquery-datatransfer 認証ファイル サービスアカウントでやりました。作成方法はskipします（ぐぐったらすぐ出てくるので） im…
Pythonのこの演算子. listだけに使えるのかなと思っていたけど、文字列でもいけるのね。いつもはfind使ってた. >>> 'あいうえお' in 'かきくけお' False >>> 'あ' in 'あいうえお' True >>> 'あ' in 'かきくけあ' True >>> 'あいうえお' in 'かあいうえお' T…
ドキュメントみてたけど明示的に書いていない（はず） mlflow.org start_runの項目を確認すると、run_uuidの引数があるので「もしや・・・！」と思い試した。 # 色々情報はすっ飛ばす # MLflowに記録 mlflow.set_tracking_uri('http://localhost:5000') with…
タイトルはてきとーにつけたので正しくはない Colaboratoryで遊んでいるとき、他notebookで保存したモデルを読み込みたかった. import tensorflow as tf model = None # 学習済みのモデルを想定 # Model is the full model w/o custom layers model.compile(…
from functools import reduce # dfs -> [df, df, df]要素にdfが入ったlist merge_df = reduce(lambda left, right: pd.merge(left, right, how='left', on='column_name'), dfs)
ハマった import tensorflow as tf # fine tuningしたいのでvgg16のモデルをロード vgg16 = tf.keras.applications.VGG16(include_top=False, input_shape=(100, 100, 3)) for l in vgg16.layers: l.trainable = False x = tf.keras.layers.Flatten()(vgg16.…
Tensorflow2系触っていますが、情報が少なくて死にそうです。 しかし、ドキュメントは結構しっかりしているかなと思っています。ドキュメント読むべし。 参考URL Importing Data | TensorFlow Core | TensorFlow 環境 colaboratory !pip install tensorflow-…
www.aipacommander.com www.aipacommander.com 続き。 今日（昨日だけど）は、lambdaからlambda叩いたり、s3のイベントからlambda叩いたり、lambdaからsqsにqueueを追加したりなどした。 やったこと箇条書きする。 その前に、bs4でlxmlを使おうとしたらエラ…
lambda layersを触る. qiita.com ここを参考にした。 ディレクトリ構成 - lambda - lambda_layers - python - cw_logging.py - lambda_test - lambda_function.py lambda layersの作成 $ pwd ~/lambda/ $ cd lambda_layers/ $ zip -r python.zip python/ 用…
lambda楽しい〜とつぶやいた３時間後、無事死亡 一気にやろうとして死んだ。 ハマったこと lambda-uploderでアップした関数のruntimeがpython2.7 謎のエラー invalid syntax (__init__.py, line 53) 動かないlambda layer runtimeの件は、lambda-uploderのRE…
決定木で、テストデータがどの葉に分類されるかを自動でやりたいとき、なんかないかなーと探してたら公式ドキュメントにあった。 scikit-learn.org # decision_pathで全体の結果が返ってくる？ node_indicator = estimator.decision_path(X_test) # テストデ…
昨日は眠れなくてPythonで遊んでいた YOLOを簡単に勉強する必要が出てきたので少しずつやっている. pjreddie.com ↑の公式(?)サイト通りにやるととりあえず動く。 そのあと、Pythonに直したいなということで、Tensorflowでやろうとする。 qiita.com Python3.7…
python-beginners-okinawa.connpass.com ひさびさに勉強会へ参加した記事を書く 勉強会に参加しての感想 インド面白そう 最初のDockerあたりから混ざろうしたけど、混ざれなかった LTの内容に読谷からマサカリが飛んできた(ありがたや〜) -> 突然のモクモク …
from bs4 import BeautifulSoup, Comment def preprocessing(soup): # コメントタグの除去 for comment in soup(text=lambda x: isinstance(x, Comment)): comment.extract() # scriptタグの除去 for script in soup.find_all('script', src=False): script.…
先月ぐらいから自然言語処理頑張ろうとして入門っぽいTF-IDFをPythonから理解しようとしたけど使いどころわからんくて無事死亡。 今日は式から理解しようとしてやってみた。 対数がわからん やさしく学ぶ 機械学習を理解するための数学のきほん ~アヤノ&ミオ…
kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新) すごいわかりやすくて感動した。ドキュメントって読みづらいわかりづらいの認識だったけど間違っていたようです。これからはまずはドキュメントを読もう。
RuntimeError: No mappable was found to use for colorbar creation. First define a mappable such as an image (with imshow) or a contour set (with contourf). X_reduced = TSNE(n_components=2, random_state=0).fit_transform(X) _, ax = plt.subplo…
環境はこちら Ubuntu 16.04 Anaconda3をインストールしたあと $ pip install -e . Obtaining file:///home/ubuntu/workspace/my-module Requirement already satisfied: numpy in /home/ubuntu/anaconda3/lib/python3.6/site-packages (from my_module==0.0.…
緑本を勉強中 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (29件) を…
これまでなんとなーくで扱っていたグラフモジュールですが、ここ最近、基礎集計な案件がめっちゃ増えそうなのでここいらで基礎固めようと勉強した（写経） 参考にした本はこちら PythonユーザのためのJupyter[実践]入門作者: 池内孝啓,片柳薫子,岩尾エマはる…
概要 モジュール開発終わったら、ドキュメント作成ですが、面倒なので、生成する方向でやりました。 モジュールのdocstring GoogleスタイルのPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleが好みだったのでこれでコメントを書いた わかりやすい…
ml-agentsでチュートリアル通りに進めると、学習したモデルを使って動かそうとしたら動かなかった。 うまく学習出来ていないのかなと思いきや、よく見たらエラーが発生してた。 www.aipacommander.com TFException: Op type not registered 'ClipByValue' in…
Numba使おうと試行錯誤していたが死んだのでCython使おうとした。 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1212 $ python -V Python 3.6.3 :: Anaconda, Inc. Cythonのインストール $ pip install ctyhon Cythonに…
PostgreSQLがインストールできたので今度はPythonから実行してみる 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 $ python -V Python 3.4.5 :: Anaconda custom (x86_64) $ psql --version psql (PostgreSQL) 10.1 …
雑メモ 送信するときに大きい画像とだとエラーになる場合がある。その場合はデータを分割して送りましょう 分割して送った場合、１つのデータがどこからどこまでなのか、受信側は判断する必要がある。今回のコードは任意の文字列で判断していますが、よく考…
これはKerasアドベントカレンダー2017 16日目の記事です。 こんにちは。アイパー隊長です。 今年４月に転職して、３ヶ月ぐらいKerasと毎日をともにしてきました。 モデルを構築したり、学習したり、学習途中をデバッグしたり、学習結果を確認したりと。 その…
今日は朝からKeras rlをいじっていた。まだおわらん。。。。 TypeError: 'RingBuffer' object does not support item assignment 何このエラー...つらい 特殊メソッド名 - Dive Into Python 3 日本語版 特殊メソッドを実装すればよいとのこと。確かにこのRin…
googlecloudplatform.github.io $ pip install google-cloud # ... File "/Users/user/.pyenv/versions/3.6.1/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2120, in _rebuild_mod_path orig_path.sort(key=position_in_sys_path) Attribu…
Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見る 今さっき読み終わった。感想をつらつらと書く。 Pyth…
Pythonの技術書ってなんだかんだはじめて読んだかも。 Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見…
