ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

Python

bs4のドキュメント

kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新) すごいわかりやすくて感動した。ドキュメントって読みづらいわかりづらいの認識だったけど間違っていたようです。これからはまずはドキュメントを読もう。

RuntimeError: No mappable was found to use for colorbar creation. First define a mappable such as an image (with imshow) or a contour set (with contourf).

RuntimeError: No mappable was found to use for colorbar creation. First define a mappable such as an image (with imshow) or a contour set (with contourf). X_reduced = TSNE(n_components=2, random_state=0).fit_transform(X) _, ax = plt.subplo…

distutils.errors.CompileError: command 'gcc' failed with exit status 1

環境はこちら Ubuntu 16.04 Anaconda3をインストールしたあと $ pip install -e . Obtaining file:///home/ubuntu/workspace/my-module Requirement already satisfied: numpy in /home/ubuntu/anaconda3/lib/python3.6/site-packages (from my_module==0.0.…

ImportError: cannot import name 'ss'

緑本を勉強中 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (29件) を…

matplotlibを勉強した

これまでなんとなーくで扱っていたグラフモジュールですが、ここ最近、基礎集計な案件がめっちゃ増えそうなのでここいらで基礎固めようと勉強した(写経) 参考にした本はこちら PythonユーザのためのJupyter[実践]入門作者: 池内孝啓,片柳薫子,岩尾エマはる…

Pythonでドキュメント作成

概要 モジュール開発終わったら、ドキュメント作成ですが、面倒なので、生成する方向でやりました。 モジュールのdocstring GoogleスタイルのPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleが好みだったのでこれでコメントを書いた わかりやすい…

TFException: Op type not registered 'ClipByValue' in binary running on xxx.local. Make sure the Op and Kernel are registered in the binary running in this process.

ml-agentsでチュートリアル通りに進めると、学習したモデルを使って動かそうとしたら動かなかった。 うまく学習出来ていないのかなと思いきや、よく見たらエラーが発生してた。 www.aipacommander.com TFException: Op type not registered 'ClipByValue' in…

Cython使ってみた

Numba使おうと試行錯誤していたが死んだのでCython使おうとした。 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1212 $ python -V Python 3.6.3 :: Anaconda, Inc. Cythonのインストール $ pip install ctyhon Cythonに…

Pythonのmodule「psycopg2」を使ってPostgreSQLへ接続する

PostgreSQLがインストールできたので今度はPythonから実行してみる 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1611 $ python -V Python 3.4.5 :: Anaconda custom (x86_64) $ psql --version psql (PostgreSQL) 10.1 …

Pythonでsocket通信UDPでnumpyのデータを送受信するためにやったこと

雑メモ 送信するときに大きい画像とだとエラーになる場合がある。その場合はデータを分割して送りましょう 分割して送った場合、1つのデータがどこからどこまでなのか、受信側は判断する必要がある。今回のコードは任意の文字列で判断していますが、よく考…

Kerasのモデル・レイヤー周りの話

これはKerasアドベントカレンダー2017 16日目の記事です。 こんにちは。アイパー隊長です。 今年4月に転職して、3ヶ月ぐらいKerasと毎日をともにしてきました。 モデルを構築したり、学習したり、学習途中をデバッグしたり、学習結果を確認したりと。 その…

TypeError: 'RingBuffer' object does not support item assignment

今日は朝からKeras rlをいじっていた。まだおわらん。。。。 TypeError: 'RingBuffer' object does not support item assignment 何このエラー...つらい 特殊メソッド名 - Dive Into Python 3 日本語版 特殊メソッドを実装すればよいとのこと。確かにこのRin…

モジュール`google-cloud`をインストールしたらエラー

googlecloudplatform.github.io $ pip install google-cloud # ... File "/Users/user/.pyenv/versions/3.6.1/lib/python3.6/site-packages/pkg_resources/__init__.py", line 2120, in _rebuild_mod_path orig_path.sort(key=position_in_sys_path) Attribu…

【雑感】「Effective Python」

Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見る 今さっき読み終わった。感想をつらつらと書く。 Pyth…

今「Effective Python」って本読んでいるけど面白い : 【Effective Python】読書ログ1日目

Pythonの技術書ってなんだかんだはじめて読んだかも。 Effective Python ―Pythonプログラムを改良する59項目作者: Brett Slatkin,石本敦夫,黒川利明出版社/メーカー: オライリージャパン発売日: 2016/01/23メディア: 大型本この商品を含むブログ (5件) を見…

ここ最近でPythonの覚えたこと

ざつーな俺用まとめ。見てもいいことないのでブラウザバック。 python2.7.13 Interactiveで試した やったことをどっかに残して置きたかっただけなのと、それぞれ個別に記事を投稿するのがめんどかったから。はい。 dictionaryのkey一覧がみたい でかいレスポ…

【Python】Tensorflowでresizeした画像をmatplotlibで表示したい

>>> import matplotlib >>> import matplotlib.pyplot as plt >>> import tensorflow as tf >>> tf.__version__ '1.1.0' >>> matplotlib.__version__ '2.0.0' Tensorflowの画像前処理関数って結構豊富っぽくて使いたいって練習しようとしてた。 tf.image.res…

【Python】kerasで保存したweightsをh5pyを使って取得する

難しかった。(というかこのファイル構造よくわからん) $ ls model_weights.h5 # kerasで保存したファイル $ python # ... >>> import h5py >>> model_weights = h5py.File('./model_weights.h5', 'r') >>> model_weights.keys() KeysView(<Attributes of HDF5 object at 4383104920>) # (´・ω・`)?</attributes>…

【Python】Cython試してみた

Jupyterではマジックコマンド?を書けばすぐ実行できるけど、コマンドラインから実行するやりかたがわからなかったのでメモ。 setup.py # -*- coding:utf-8 -*- from distutils.core import setup from distutils.extension import Extension from Cython.Di…

【Python】flask8を実行したら「AttributeError: module 'pydocstyle' has no attribute 'PEP257Checker'」

よくわからんかったけど、ここで解決。 gitlab.com flake8-docstringsをinstallかアップデートすればいいらしい。 $ pip install flake8-docstrings -U 解決!

AttributeError: module '_Box2D' has no attribute 'RAND_LIMIT_swigconstant'

OpenAI Gymのbox2dの中にある、"CarRacing-v0"で遊ぼうとした。 gym.openai.com このゲームをgymからではなく、直接操作して遊びたかった。 ソースを調べてみると、$HOME/.pyenv/versions/anaconda3-4.3.1//lib/python3.6/site-packages/gym/envs/box2d/car_…

今週学んだことをちょっとだけ書く

今月入社した会社さんは、いわいるデータサイエンティストを職とした感じで、Python、R、SQLを主に使うとのこと。 その中で「ほほー」と思ったこと(だけ)を書く。 ちなみに、大した内容ではなく自分だけのメモでおいておく。 任意の数値区切り別にグルーピ…

【起動できませんでした】面白そうなOSS見つけた。「python-for-android」

github.com README.mdやドキュメントだけでは起動できず、ソースを読んでオプションを試してみたけど、結局Android起動まではできませんでした。 また試してみるかもしれないので、メモしておく。 とりあえず試した Getting Started — python-for-android 0.…

virtualenvがゆうこと効かない

ImportError OSError: Command 動かないよ!!!!! って、怒っていたらですよ。 $ sudo virtualenv test ・・・うまくいきました。 管理者権限が必要だったようです。1時間。ワロタ 帰る。

Pythonのstatic site generatorで、Pelicanを使ってみた

static site generatorとは? えーと、、、うん。静的な言語みたいにコンパイルしたHTMLとCSSを上げるやつ。でいいかな。(違うような気がしてきた) んで、これが必要になったので、ちょっと試してみました。 install pipで入りました。 $ pip install Peli…

【Python3】いまさらなんだけど、Pythonでdictionaryを引数で渡す書き方

知らんかった。。。ていうか見たことある書き方だったけど、ずっとリファレンス渡しだと勘違いしていました。。。orz def two(image_path, **start_point): print(start_point.x) # 768 print(start_point.y) # 256 two(image_path, x=768, y=256) 追記 もっ…

【Python2.7】BeautifulSoupで(個人的に)よく使うコードをメモ

といっても、初歩的な初歩なんですけども。。。 準備 from bs4 import BeautifulSoup これでおk。まだインストールしていないならpipでインストールしてね。 今回はurlからデータを取得してそれをBeautifulSoupへ渡す。 import requests response = request…

opencvでトリミング

clngn.hatenablog.com こちらを参考にしました。 これを使ってseleniumのスクショと組み合わせてほしいところだけ取得するよう改造する。

【Python3】Python3でgeneratorのnextは「__next__()」

画像認識で類似度判定したかった。 qiita.com こちらのソースをパクリリスペクトしましたm(_ _ )m で、動かないのね(´;ω;`)ブワッ なーぜー File "image_compare.py", line 18, in matching result.append(target.next()) AttributeError: 'generator' obje…

AnacondaでDjangoインストール

環境 $ python --version Python 3.4.4 :: Anaconda 2.3.0 (x86_64) インストール $ conda install -c https://conda.anaconda.org/anaconda django 確認 $ python ... >>> import django >>> django.__version__ '1.9.5' プロジェクト作成 $ django-admin.p…