同僚からお借りして読んでいます（というか僕も持っていたんだけどどこいった）

時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装

作者:真哉, 馬場
発売日: 2018/02/14
メディア: 単行本

状態空間モデルのイメージ
- 湖で釣りしている人がいる
- 毎日釣った魚の数を観測する
- つれた数で湖の魚の数を推測することができる
  - ただそれだけじゃ難しいよね
  - たまたまエサの食いつきがわるかったとか
  - とても暑い日だったからいつもいるところにいなかったとか
  - こういう観測誤差がある
- というのを状態空間モデルで解決しましょう
  - 湖の中の魚の数を見えないけども状態として取り扱うことができる
  - 本当に湖の中の魚の数が変わったのか、感想誤差の範疇なのかを判断できる（らしい）
  - 状態と観測値を分けて考えることで対応可能（らしい）
- 状態の変化を記述する方程式を状態方程式
- 状態から観測値が得られるプロセスを記述する方程式を観測方程式
メリット
- 過去の知見や直感を自由に表現できる（モデル化できる）
- ARIMAなどの古典的なモデルも状態空間モデルで表現可能
- 推定されたモデルの解釈が容易
- 差分を取るといった前処理が不要
- 欠損があってもそのまま分析に利用できるし、補完もできる
デメリット
- 分析のルールがない（自由なのねなるほど）
雑メモ
- モデル選択はAICを用いた機械的な選択は行いにくいらしい
  - 状態空間モデルを用いてデータを表現する方法とパラメタ推定の方法は別物なのでわけて考えてね！！！
状態
- 前時点の状態を用いた予測値 + 過程誤差
観測値
- 状態 + 観測誤差
パラメタ推定
- ほげほげフィルタ
  - カルマンフィルタ
    - 目に見えない「状態」を効率よく推定するためのアルゴリズム
    - 最尤法はパラメタの推定方法
    - こいつらのメリット
      - パラメタ推定と状態の推定をわけることで、一度パラメタが決まってしまえば、データが手に入るたび、逐次的に状態の推定や予測を行える
      - MCMCと比べると楽
    - デメリット
      - 正規分布に従い、かつ線形なデータにしか適用できない
      - この制約があるので、「線形ガウス状態空間モデル」「動的線形モデル(DLM)」と呼ばれる
- MCMC法
  - HMC法
  - ベイズ推論
  - ↑２つを組み合わせて状態とパラメタ推定を同時に行う
    - メリット
      - 非正規分布、非線形のデータにも対応可能
      - Stanというソフトウェアを扱うことでデータ生成過程をコードに起こすことができる（？）
    - デメリット
      - 分析に時間と手間がかかる
      - 状態とパラメタの推定を同時に行うので逐次的な処理が苦手
      - Stanがやばい
線形ガウス状態空間モデル
- 状態方程式 x_t = T_t x{t-1} + R_t ζt` ζ_t~N(0, Q_t)
- 観測方程式 y_t = Ζt x{t-1} + εt` εt~N(0, H_t)
  - x_tはt時点の状態
  - 状態はk次元のベクトル（kってどこ？）
  - y_tはt時点の観測値
  - T_t, R_t, Ζ_tはモデルの表現形式をきめる行列
- 状態推定
  - フィルタリングとは、手に入った観測値を用いて、予測された状態の値を補正すること
  - 手順
    - step1: 予測. 予測値と実際の観測値が異なる値になる場合があるので、step2で補正する
      - 状態
        
        過去の状態 → 未来の状態※1（予測）
      - 観測
        
        ※1 → 未来の観測値（予測）
    - step2: フィルタリング（状態の補正）. 状態の補正を行ってstep3で再度予測する
      - 状態
        
        過去の状態 → 未来の状態※1（補正後）
      - 観測
        
        未来の観測値（実測値） → ※1を補正
    - step3: 予測（？）. 最新の観測値を使って、即座に誤りを補正して次の予測を行う
      - 状態
        
        過去の状態 → 未来の状態※1（補正後） → 未来の状態※2（予測）
      - 観測
        
        ※1 ← 未来の観測値（実測値）、未来の観測値（予測） ← ※2
  - カルマンフィルタを使うと、↑の手順を効率よく行える
    - 散漫カルマンフィルタもほとんど変わらない。カルマンフィルタが持つ欠点を補った認識でおｋ
  - 平滑化
    - 平滑化とは、すべてのデータが手に入ったそのあとに、状態の補正を行う計算のことを指します
    - 過去の観測値、未来の観測値を使って過去の状態を補正する
    - 予測の精度をあげるものではなく、ノイズの影響を軽減することができる
    - 知識発見という意味合いで使用されることが多い技術（なんのこっちゃ）
    - 最も新しい時点においては、フィルタリングの結果と平滑化の結果は一致する
- パラメタ推定: 最尤法
  - 状態推定を実際に行うには、観測値以外に情報が必要
    - 過程誤差の分散の大きさ
      - こいつが大きいということは、Step1の予測を行った際に、予測が当たり難いということを意味する
      - 予測された未来の状態の精度が悪いということは「観測値を用いた状態の補正」を行うべきー
    - 観測誤差の分散の大きさ
      - 観測誤差が大きいということは、観測値をあまり信用できないということを意味する
      - 「観測値を用いた状態の補正」はあまり行わないほうが良いといえる
    - このふたつを最尤法で推定しまぁーす
  - 手順
    - 適当にパラメタを決める
    - てきとーな状態の補正が行われる
    - ↑の結果を逐一評価していく → パラメタの微修正を繰り返す
    - これで最適なパラメタを探す。このときの評価指標を尤度とよび、尤度を最大にするパラメタを最尤法と呼ぶ
  - 例えば
    - 過程誤差も観測誤差もともに小さな値を設定するとする
    - 観測データが手に入れば
      - 状態は補正される（観測誤差が小さい → 観測値は信用できる → 状態を補正する）
      - 過程誤差が小さい → 予測はあたっている → 精度良く予測できている
    - しかし、正しく補正されている上に精度よく予測された予測結果が、実データと間違っている。ということはパラメタが間違っているということが言える
    - なので、想定される予測誤差と実際の予測誤差を比較すればパラメタの設定が正しいか否かを判断することができる
- 流れ復習
  - 状態方程式・観測方程式を用いて、モデル構造を表現する
  - 「とりあえず」のパラメタを使ってフィルタリングする
  - カルマンフィルタの結果を援用し、最尤法を用いてパラメタを推定する
  - 推定されたパラメタを用いて、再度フィルタリングを行う
  - （必要であれば）推定されたパラメタを用いて、平滑化を行う
- 補足
  - 誤差が正規分布にしたがったモデルなので、場合によっては対数系列に対してモデル化を行ったほうがよい場合もある
  - ただ、階差系列にする必要はない（らしい。何故？）
カルマンフィルタとカルマンゲイン
- ローカルレベルモデルだけに絞って計算してみる
  - 状態の1期先予測は簡単 → 1時点前と同じ値になると予測するだけ
  - 観測値を用いた状態の補正は以下の要領で行われる
    - 補正後の状態 = 補正前の状態 + カルマンゲイン × （実際の観測値 - 予測された観測値）
    - 「補正後の状態」のことは「フィルタ化推定量」と呼ばれる
    - 残差がそのまま影響するのではなく、カルマンゲインが間をもっている
    - カルマンゲインは常に1以下の値を取る
      - 外れた分より少なめに補正する
        
        なぜ？ → そんなシンプルな話じゃないから
        
        カルマンゲイン = 状態の予測誤差の分散 / (状態の予測誤差の分散 + 観測誤差の分散)
        
        状態の予測誤差が大きいなら補正しましょう！
        
        観測誤差が大きい場合は、補正量を小さくすべき
- 計算の流れ
  - 過程誤差と観測誤差は誤差の増分を表すパラメタのこと
  - ↑２つを使って、実際の状態の予測誤差と観測値の予測誤差を求めます
  - 手順
    - Step1 予測
      - 状態の予測値 = 前期の状態
      - 状態の予測誤差の分散 = 前期の状態の予測誤差の分散 + 過程誤差の分散
      - 観測値の予測値 = 状態の予測値
      - 観測値の予測誤差の分散 = 状態の予測誤差の分散 + 観測誤差の分散
    - Step2 フィルタリング（状態の補正）
      - カルマンゲイン = 状態の予測誤差の分散 / (状態の予測誤差の分散 + 観測誤差の分散)
        
        分母は観測値の予測誤差の分散としても同じ
      - 観測値の予測残差 = 実際の観測値 - 観測値の予測値
      - フィルタ化推定量 = 補正前の状態 + カルマンゲイン × 観測値の予測残差
      - フィルタ化推定量の分散 = (1 - カルマンゲイン) × 補正前の状態の予測誤差の分散
- 散漫カルマンフィルタ
  - 前時点がない場合、前時点の情報が必要なパラメタはてきとーに値を設定しておく
  - ただ、初期値を適当に決めてもいいけども、AICの情報量基準の値も変化するので注意したい
  - そこで散漫初期化というアプローチ
    - 状態の初期値はわからないので諦める
    - そのかわり、状態の予測誤差の分散の初期値を無限大まで大きくする
平滑化
- 今日の観測値を使って、今日の状態を補正するのがフィルタリング
- 今日の観測値を使って、昨日の状態を補正するのが平滑化
- アイディア
  - ①実際の観測値と観測値の予測値の残差が大きい。これは昨日に推定された状態の値が間違っているので、昨日の状態を大きく補正しよう
  - ②昨日の状態の不確かさ（昨日のフィルタ化推定量の分散）が大きいまま残っているのであれば、昨日の状態を大きく補正するべき
  - ③今日の予測誤差の大きさ（観測値の予測誤差の分散）が大きいのであれば、昨日の状態を補正する必要はあまりないだろう（観測値が信頼できないため）
  - まとめる
    - 昨日のフィルタ化推定量 + 昨日のフィルタ化推定量の分散 / 今日の観測値の予測誤差の分散 × 今日の予測残差

bellcurve.jp

これを読んだあとのちゃんと理解しているか説明を並べる.

四分位数
- 代表値の一種
- データを小さい順から並べて、4つに分割する
  - 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置
  - 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位置 → 中央値
  - 3/4の位置のデータ → 第三四分位数 → 最小値から75%の位置
奇数・偶数で求め方が違う
- 求め方1つ！
  - 4k + 1のとき
    - 4の倍数+1のとき、各分点に対応する点があるので計算が簡単
    - データ数が5, 9, 13...
  - データ数が4k + 3のとき
    - 分点が、例えばa地点のデータからa + 1地点のデータの中点をとるので、近い2点のデータの重み付け平均を取るのが一般的な考え方
    - データ数が7, 11, 15...
    - 中央値以外は対応する点がないので、中央値で区切る → 中央値を含む左、右のグループで中央値を求める
  - データ数が偶数のとき
    - 区間幅が3/4などが登場する（ややこしい）
    - データ数が4,6,8,10...
    - 例えばデータが4つ(3,4,9,10)あった場合、幅の数は3なので区間幅は0.75となる
      - 第一四分位数は3 * 0.25 + 4 * 0.75
      - 第二四分位数は9 * 0.75 + 10 * 0.25
      - 分点から遠い側は0.25、近いのは0.75を重み付け平均としてかける
- 2つめ（ヒンジ）
  - 中央で上半分と下半分に分けて，下半分の中央値を第1四分位数，上半分の中央値を第3四分位数とするといった考え方
  - pandas.quantileで試すと結果があわない・・・なぜ・・・・？（実装を見る元気がないので一旦終了）

追記

pandas.quantileで試すと結果があわない・・・なぜ・・・・？（実装を見る元気がないので一旦終了）

ドキュメントみたら把握した

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.quantile.html

f:id:aipacommander:20200630101538p:plain

linear: i + (j - i) * fraction, where fraction is the fractional part of the index surrounded by i and j.

データの位置が該当しない位置にあった場合どうやって保管する？オプションがあった。で、デフォルトが linear だったので調べたところ、データが10あれば、前半部分が1,2,3,4,5だったとき、i=3,j=4,faction=0.25として計算する。後半部分は6,7,8,9.10だったとき、i=7,j=8,faction=0.75として計算する。こうしたら結果があった。

もやもやが晴れた

ITの隊長のブログ

ITの隊長のブログです。Pythonを使って仕事しています。最近は機械学習をさわりはじめたお（^ω^ = ^ω^）

状態空間モデル勉強メモ

いい加減ちゃんと覚えたい統計学幹葉図

いい加減ちゃんと覚えたい統計学四分位数編

追記

ssh-agentを使ったsshログイン

時系列勉強雑メモ