ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

[Anaconda] [Angular2] ほげほげ [Ansible] [Python]

テスト [BigQuery] なんかわからないが、[] で文字囲むとカテゴリとして登録されるっぽい?

Anaconda Solving environment: Kille

Anacondaのコンテナ起動して、python3.6の環境を作ろうって思って実行したところ、よくわかんエラーが。 $ docker run --rm -v $(pwd):/app -w /app -it continuumio/anaconda3 /bin/bash # conda create -n py36 python=3.6 anaconda Collecting package me…

Twitter APIでトレンドを取得するまでに調べたことの雑メモ

まずここを参考 syncer.jp WOEID なるものがよくわからず、ぐぐるのに苦労したけどこのQiitaの記事に助けられた。 qiita.com また、取得できる値で tweet_volume がnullなケースが多い。なんでだろうと思い、ブラウザで確認できるトレンド情報と比較してみる…

Cabochaの構造がよくわからなかった件

よくみるフォーマットですね。コマンドで実行するとどの単語のまとまり(chunk)に係っているか確認できます。 で、こいつをPythonから使ってみるといまいちクラスのインターフェースがよくわからず四苦八苦していましたが、先に組んでくれた人のコードをみ…

パワポで覚えたショートカットとかノウハウがたまっていく記事

Macのパワポです ⌘ + ⌥ + g グループ化 ⌘ + ⌥ + shift + g グループ化解除 単一、複数オブジェクトをactiveにしておく → shift + ctrl コピーしたオブジェクトと水平(?)にコピペができる

「クチコミ分析システムの作り方 実践・自然言語処理シリーズ」を読んでる

クチコミ分析システムの作り方 (実践・自然言語処理シリーズ)作者:松尾義博,富田準二発売日: 2019/06/29メディア: 単行本 memo 主観表現辞書の作成 ①評価表現 辞書中の語(特に形容詞、形容動詞)を中心に全列挙 評価表現を多数含むテキストに人手でアノテー…

Seleniumを使って、dl > dt, ddのフォーマットでddが複数あるときのスクレイピング

こういうやつ <dl> <dt></dt> <dd></dd> <dd></dd> <dt></dt> <dd></dd> </dl> dtとddで1対1かしらとか思ってたけど、そうじゃなかったねめんどくさい。 というわけでゴリ押してみた def add_values(values, _values): if len(_values) > 0: values.append(_values) def get_data(driver): ds = driver.find_element…

SageMakerで遊ぶメモ#2

trainしてs3にアップされたモデルをデプロイするコード from boto3.session import Session class SagemakerClient: def __init__(self): self.client = Session().client("sagemaker", region_name="us-west-2") def create_model(self, model_data_url): m…

SageMakerで遊ぶメモ#1

qiita.com ↑の記事を参考にして進めた。 諸事情でIAMユーザー発行&アクセスキー等発行できないので、EC2インスタンス上で行った。リージョンはオレゴン IAM roleを作成 aipa-hogehoge-fugafuga-train policy AmazonEC2ContainerRegistryFullAccess AmazonS3…

multiprocessingでQueueのputとgetを別プロセスで回しながらやるやつ

import time import math from multiprocessing import Process, Queue, cpu_count import queue as pyqueue def worker(q): while True: try: # なにか処理 _ = q.get(timeout=15) except pyqueue.Empty: break def main(q): for i in range(1000): q.put(i…

pythonでmodule化するときに参考にするgithubリポジトリ

github.com cookiecutterでもいいかも

Windows Server 2019でGitlab Runnerを入れてPython unittestを走らせるメモ

まだ書いている途中と できました。 雑メモです 環境 AWS(Windows Server 2019) Python 3.6 参考記事 windows server 起動後 qiita.com gitlab runner関連 ちょっと項目違ったりしたけどだいたいあっている qiita.com gitlab runnerのインストール手順は読め…

2020年の振り返り

もうときはすでに2021年。ちと遅くなったけど振り返る 2020振り返り 会社のLT大会でこんなスライドを用意してたので貼り付ける 時系列データ分析を一通り学べた気がする ただ深惚れてはいないので、なんかサービス作りたい気もするけど今後のやりたいことリ…

「コンサル一年目が学ぶこと」を読んだ

メモでもなんでもない記事です www.amazon.co.jp 神サービスってのを最近気づいたのでスマホに落として読んでみた コンサル一年目が学ぶこと作者:大石哲之発売日: 2014/07/31メディア: Kindle版 3年前ぐらいに読みたかった本です。今いる会社で学んできたの…

子供が生まれた その2

www.aipacommander.com 二人目誕生です。そのときのログ 当時、嫁と子は1週間ぐらい病院にいるし、このご時世だから中々顔みれなかった。 ログ 深夜0時。破水は突然。あれ?なんかデジャヴ 上の子は爆睡してたけど、置いておくわけにはいかないので抱っこし…

Ginzaで固有表現抽出試したけどまだ遊びたりない

何の記事でもなくただのメモ megagonlabs.github.io 映画名取れるかな。とか思ったので試した。 $ apt update -y && apt install gcc -y $ pip install -U ginza $ ginza ゴジラを視聴しました!! # text = ゴジラを視聴しました!! 1 ゴジラ ゴジラ PROPN…

Kedroで指定のDataCatalogを保存する

苦労したわ(探すのに) # catalog.ymlを読み込む >>> import yaml >>> with open(os.path.join('conf', 'base', 'catalog.yml'), 'r') as f: ... config = yaml.load(f, Loader=yaml.FullLoader) # DataCatalogを用意 >>> catalog = DataCatalog.from_confi…

cv2.VideoCaptureで動画ファイルが開けない

詳しくはこれ >>> cap = cv2.VideoCapture(file_path) >>> print(cap.isOpened()) # False 色々ググってたけど、よくわからない・・・ stackoverflow.com これみて( ゚д゚)ハッ!ってなった せやった $ pip install opencv-python # 追加 $ pip install opencv-co…

「subword-nmt」を無理やりPythonから呼んで実行する

github.com 基本コマンド実行を想定されて組まれていますが、PythonでできているからPythonから叩けるんじゃね?って思ったので試したら結構難しい。。。 とりあえず試行錯誤のすえ、うまくいった感じのログだけ残す qiita.com from subword_nmt.learn_bpe i…

argparseのパラメータの補完をPythonスクリプトから行う

docs.python.org 便利です。通常こいつを利用する場合はコマンドから引数を指定して値をわたしますが、とある事情からプログラムからも指定したい場合どうやって渡すのかな?と調べてたらありました。 stackoverflow.com へー。試してみる >>> import argpar…

Kedroのチュートリアルが動かない

Kedro?なにそれ?おいしいの??? 僕もはじめてさわるのでよくわかりません。 kedro.readthedocs.io zenn.dev よくわからないので、ドキュメントやらぐぐってでてきた記事を参考にチュートリアルしてたけど動かない。 $ kedro run 2020-11-24 12:23:27,840…

embulkでs3→mysqlを試したときにlockがかかって死んだときのメモ

メモリ1GBという制限があり、タイトル通りの構成で転送したところ、ひたすら失敗することを確認したが、mysqlのログを確認してみるとどうやらlockされていたことがわかった。 qiita.com ちなみに中々メモリ1GBで検証するのは大変だと思うので(クラウドなら…

状態空間モデル勉強メモ

同僚からお借りして読んでいます(というか僕も持っていたんだけどどこいった) 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場発売日: 2018/02/14メディア: 単行本 状態空間モデルのイメージ 湖で釣りしている人がいる 毎日釣…

いい加減ちゃんと覚えたい統計学 幹葉図

bellcurve.jp 人生で初めて出会いました(統計学の問題集で) ↑のリンクの通り、概要把握すればそんなに難しくないですが、平均や四分位数を求めるときがとてもめんどくさく、序盤にでてくるくせに電卓うちなれていないと無限に時間を消費してしまう中ボス的…

いい加減ちゃんと覚えたい統計学 四分位数編

bellcurve.jp これを読んだあとのちゃんと理解しているか説明を並べる. 四分位数 代表値の一種 データを小さい順から並べて、4つに分割する 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位…

ssh-agentを使ったsshログイン

ssh

macです。簡単です。 $ ssh-add -K ${登録したい鍵ファイルパス} Enter passphrase for ${登録したい鍵ファイルパス}: パスワードを入力してあげます。 その鍵を使ってログインするサーバへログインしてみます。 $ ssh ${configに設定したHOST名} 多段sshと…

時系列勉強雑メモ

定常過程が分析しやすいデータである理由 無数に存在する2020年1月1日という気温の特徴を手元にあるたった1つの2020年1月1日のデータで推測しなければならない → これは難しい しかしデータが定常と仮定すると分析が楽 期待値や分散の推定量が時点によって変…

Ubuntuにrpy2を入れたい

AnacondaがインストールされたUbuntuでrpy2を使いたいのでpipで入れようとした。 $ pip install rpy2 # ... ERROR: Complete output from command python setup.py egg_info: ERROR: cffi mode: CFFI_MODE.ANY Error: rpy2 in API mode cannot be built with…

paramikoでSFTPサーバのモックを用意する

さぁーがんばるぞーとぐぐってみたらあった github.com pipでinstallすることができます。 $ pip install sftpserver 鍵ファイルが必須と書いてあるため、とてもめんどくさいと思いました。なので、試行錯誤して鍵が必要なくなるよう設定やらコードをイジイ…

ぽえむ

テストしてて結果待ちの間暇なので適当に書く。 3年前となにが変わったか???と自分に問いかけると変わったところもあるけどあんま伸びていないところもあって、そこに対して今結構不安を持っている。 年齢が30の年になるので、ほんまこの調子で大丈夫なん…