ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお(^ω^ = ^ω^)

状態空間モデル勉強メモ

同僚からお借りして読んでいます(というか僕も持っていたんだけどどこいった) 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場発売日: 2018/02/14メディア: 単行本 状態空間モデルのイメージ 湖で釣りしている人がいる 毎日釣…

いい加減ちゃんと覚えたい統計学 幹葉図

bellcurve.jp 人生で初めて出会いました(統計学の問題集で) ↑のリンクの通り、概要把握すればそんなに難しくないですが、平均や四分位数を求めるときがとてもめんどくさく、序盤にでてくるくせに電卓うちなれていないと無限に時間を消費してしまう中ボス的…

いい加減ちゃんと覚えたい統計学 四分位数編

bellcurve.jp これを読んだあとのちゃんと理解しているか説明を並べる. 四分位数 代表値の一種 データを小さい順から並べて、4つに分割する 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位…

ssh-agentを使ったsshログイン

ssh

macです。簡単です。 $ ssh-add -K ${登録したい鍵ファイルパス} Enter passphrase for ${登録したい鍵ファイルパス}: パスワードを入力してあげます。 その鍵を使ってログインするサーバへログインしてみます。 $ ssh ${configに設定したHOST名} 多段sshと…

時系列勉強雑メモ

定常過程が分析しやすいデータである理由 無数に存在する2020年1月1日という気温の特徴を手元にあるたった1つの2020年1月1日のデータで推測しなければならない → これは難しい しかしデータが定常と仮定すると分析が楽 期待値や分散の推定量が時点によって変…

Ubuntuにrpy2を入れたい

AnacondaがインストールされたUbuntuでrpy2を使いたいのでpipで入れようとした。 $ pip install rpy2 # ... ERROR: Complete output from command python setup.py egg_info: ERROR: cffi mode: CFFI_MODE.ANY Error: rpy2 in API mode cannot be built with…

paramikoでSFTPサーバのモックを用意する

さぁーがんばるぞーとぐぐってみたらあった github.com pipでinstallすることができます。 $ pip install sftpserver 鍵ファイルが必須と書いてあるため、とてもめんどくさいと思いました。なので、試行錯誤して鍵が必要なくなるよう設定やらコードをイジイ…

ぽえむ

テストしてて結果待ちの間暇なので適当に書く。 3年前となにが変わったか???と自分に問いかけると変わったところもあるけどあんま伸びていないところもあって、そこに対して今結構不安を持っている。 年齢が30の年になるので、ほんまこの調子で大丈夫なん…

GWその7

本当ならその7は昨日やるべきだったんだけど、家の手伝いしてたら夜( ˘ω˘)スヤァってなったので今日になった。 今回のGWは後にまとめるとして、とりあえず今日は指数と対数をなんとなく理解できた。 ただ、教科書の正解か不正解かもわからない問題で練習したの…

GW勉強その6

実家に暇だろ!?来いや!。って言われたのできてみたら土方させられてあんま勉強していないマンです。 帰ってきてこの時間までやってました。 はい。 前日までやっていた本は一旦諦めました。読むのに時間かかっている≒わからないことが多すぎて進まない。…

GW勉強その5

この本は読み終えた。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 次はこの本を読んでいる。 微分の教科書 (大学数学基礎力養成)作者:丸井 洋子発売日: 2017/10/20メディ…

GW勉強その4

ドリルの集中力が切れたので、2冊目を読んでいる。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 中学のやつが2巻目らしいので、これはよまなくてもいいかなとか思っていた…

GW勉強その3

今日は午前中買い物にいってきたのでそんなに勉強できなかった。 塾で教える高校入試 数学 塾技100 新装版 (高校入試 塾技)作者:森 圭示発売日: 2016/07/08メディア: 単行本(ソフトカバー) これ進めているが、わからんところがでてきてなかなか進まない。 …

GW勉強その2

読み終わりました。 大人のための中学数学勉強法作者:永野 裕之発売日: 2013/03/23メディア: 単行本(ソフトカバー) 途中の練習問題が難関高校?の入試問題なので、解けるとテンションが上がって次に行きたくなります。 が、本当に身についているかどうか、…

GW勉強その1.1

酒が入ったので、読書はやめて手を動かすことにした。 github.com 3年ぶりに知らない言語(知っているけど書けない)にチャレンジ。 OpenCVでなんかゴニョゴニョできるようになればいいなを目標にがんばります。

GW勉強その1

今年は1週間休みをとってみた。4/30,5/1休めば来週の木曜日まで休みだ。ただ世間はウィルス騒動なので外に遊びにいけないのでやることは子守以外になんもないけど、一応勉強しておこうと思ってログを残す。 色々やりたいことはあると思うんだけど、あんまり…

時系列の勉強雑メモ

ちゃんと理解したいので何度も読み直している。 時系列分析の難しさ 1990年1月1日の気温を予測する場合、無数にある1990年1月1日が母集団。母平均を推定しようとした場合、データは手元に1つ(1990年1月1日は現実に1つしかない)しか無いはずなのでむずい な…

時系列の勉強雑メモ

これまでゴリ推してきた時系列をなんとか数式含め脳内補完できないかなといことで再勉強中です。 早速ですが、ホワイトノイズは自己相関が0らしいので、本当か試してみる。 import numpy as np import pandas as pd import matplotlib.pyplot as plt dlen = …

seaborn.pairplotで左と下にでてくるlabelのrotationを変更したい

とてもめんどかった(探索が)。ドキュメントを探してたらmatplotlibのようなクラスを扱えることを知りできた。 _x_columns =['width', 'height'] g = sns.pairplot(df[_x_columns], height=8, corner=True, hue='sex') for ax in g.axes.flat: if ax is Non…

リモートワークしたら体重が-5kg落ちました

リモートワークが要因じゃないけどきっかけにはなってる。。。どこかのタイミングでまとめます。 しかし運動しててもカロリー制限してても痩せなかったのにこんな簡単に(簡単ではないが

fadeInとfadeOutを実装して死んだ

ウンコード export function fade(node, duration, _type) { // style属性にdisplay: noneが設定されていたとき console.log(node.style.display); if (node.style.display === 'none') { node.style.display = 'none'; } else { node.style.display = 'bloc…

PySparkの雑メモ

PySparkで使い方に困ったときのメモ 複数カラムで集計 from pyspark.sql import functions as F a1 = df.groupby('column_1', 'column_2').agg(F.count(F.col('column_3')).alias('count'), F.collect_set('column_4').alias('collect_column_4')) 複数カラ…

BulmaをWebpackで動かすまでをメモ

Q.Bulmaってなんのブルマですか? → A.DBのブルマだそうです。 bulma.io これです。 webpack全然覚えていないのですが、jsをトランスパイルしたいので、ついでhtmlやcssもwebpackでやろう→cssフレームワーク使いたい。おおええよ!ってなったけど死んだ。 qi…

aws ソリューションアーキテクト アソシエイトに合格しましたログ

合格した流れのログを残す 試験前の自分のレベル awsは仕事や趣味で使ったことがあるが、ec2、s3、lambda、route53しか使ったことないペーペー インフラの基礎知識はある 3分間ネットワークシリーズを全部読んだ(過去インフラ屋だったとき) それだけじゃな…

cloudformation完全に理解した

タイトル釣りです。 github.com cloudformation、便利そうだから趣味アプリのデプロイで使うか!って挑戦した結果、やりたいことを実現するのに二週間かかりました。辛い ハマったこと 既存のリソースがすでに存在する場合 → テンプレートからスタック(リソ…

The role defined for the function cannot be assumed by Lambda. (Service: AWSLambdaInternal; Status Code: 400; Error Code: InvalidParameterValueException; Request ID: xxx-xxx-xxx-xxx)

cloudformationで無限にこのエラーにハマってて辛かったが解決したのでメモ stackoverflow.com cloudformationでデプロイするlambdaに紐付けるロール関連でエラーになっていることはわかったけど、ググってもよくわからなかったが↑の記事試したら解消した 具…

BigQuery Data Transfer ServiceをAPIから設定する

めっちゃハマった(3H)のでここに記す. ドキュメントもなく辛い 手順まとめ モジュールのinstall $ pip install google-cloud-bigquery-datatransfer 認証ファイル サービスアカウントでやりました。作成方法はskipします(ぐぐったらすぐ出てくるので) im…

生きてます

最近全然ブログ書いていないけど、僕は元気です。

強化学習アルゴリズム入門(1.12)の式

強化学習アルゴリズム入門: 「平均」からはじめる基礎と応用作者: 曽我部東馬出版社/メーカー: オーム社発売日: 2019/05/24メディア: 単行本(ソフトカバー)この商品を含むブログを見る 読んでいる. さぁーって読んだけど、あんまり理解してない感じだった…

雑メモ

Pythonのこの演算子. listだけに使えるのかなと思っていたけど、文字列でもいけるのね。いつもはfind使ってた. >>> 'あいうえお' in 'かきくけお' False >>> 'あ' in 'あいうえお' True >>> 'あ' in 'かきくけあ' True >>> 'あいうえお' in 'かあいうえお' T…