ITの隊長のブログ

同僚からお借りして読んでいます（というか僕も持っていたんだけどどこいった）

作者:真哉, 馬場
発売日: 2018/02/14
メディア: 単行本

状態空間モデルのイメージ
- 湖で釣りしている人がいる
- 毎日釣った魚の数を観測する
- つれた数で湖の魚の数を推測することができる
  - ただそれだけじゃ難しいよね
  - たまたまエサの食いつきがわるかったとか
  - とても暑い日だったからいつもいるところにいなかったとか
  - こういう観測誤差がある
- というのを状態空間モデルで解決しましょう
  - 湖の中の魚の数を見えないけども状態として取り扱うことができる
  - 本当に湖の中の魚の数が変わったのか、感想誤差の範疇なのかを判断できる（らしい）
  - 状態と観測値を分けて考えることで対応可能（らしい）
- 状態の変化を記述する方程式を状態方程式
- 状態から観測値が得られるプロセスを記述する方程式を観測方程式
メリット
- 過去の知見や直感を自由に表現できる（モデル化できる）
- ARIMAなどの古典的なモデルも状態空間モデルで表現可能
- 推定されたモデルの解釈が容易
- 差分を取るといった前処理が不要
- 欠損があってもそのまま分析に利用できるし、補完もできる
デメリット
- 分析のルールがない（自由なのねなるほど）
雑メモ
- モデル選択はAICを用いた機械的な選択は行いにくいらしい
  - 状態空間モデルを用いてデータを表現する方法とパラメタ推定の方法は別物なのでわけて考えてね！！！
状態
- 前時点の状態を用いた予測値 + 過程誤差
観測値
- 状態 + 観測誤差
パラメタ推定
- ほげほげフィルタ
  - カルマンフィルタ
    - 目に見えない「状態」を効率よく推定するためのアルゴリズム
    - 最尤法はパラメタの推定方法
    - こいつらのメリット
      - パラメタ推定と状態の推定をわけることで、一度パラメタが決まってしまえば、データが手に入るたび、逐次的に状態の推定や予測を行える
      - MCMCと比べると楽
    - デメリット
      - 正規分布に従い、かつ線形なデータにしか適用できない
      - この制約があるので、「線形ガウス状態空間モデル」「動的線形モデル(DLM)」と呼ばれる
- MCMC法
  - HMC法
  - ベイズ推論
  - ↑２つを組み合わせて状態とパラメタ推定を同時に行う
    - メリット
      - 非正規分布、非線形のデータにも対応可能
      - Stanというソフトウェアを扱うことでデータ生成過程をコードに起こすことができる（？）
    - デメリット
      - 分析に時間と手間がかかる
      - 状態とパラメタの推定を同時に行うので逐次的な処理が苦手
      - Stanがやばい
線形ガウス状態空間モデル
- 状態方程式 x_t = T_t x{t-1} + R_t ζt` ζ_t~N(0, Q_t)
- 観測方程式 y_t = Ζt x{t-1} + εt` εt~N(0, H_t)
  - x_tはt時点の状態
  - 状態はk次元のベクトル（kってどこ？）
  - y_tはt時点の観測値
  - T_t, R_t, Ζ_tはモデルの表現形式をきめる行列
- 状態推定
  - フィルタリングとは、手に入った観測値を用いて、予測された状態の値を補正すること
  - 手順
    - step1: 予測. 予測値と実際の観測値が異なる値になる場合があるので、step2で補正する
      - 状態
        
        過去の状態 → 未来の状態※1（予測）
      - 観測
        
        ※1 → 未来の観測値（予測）
    - step2: フィルタリング（状態の補正）. 状態の補正を行ってstep3で再度予測する
      - 状態
        
        過去の状態 → 未来の状態※1（補正後）
      - 観測
        
        未来の観測値（実測値） → ※1を補正
    - step3: 予測（？）. 最新の観測値を使って、即座に誤りを補正して次の予測を行う
      - 状態
        
        過去の状態 → 未来の状態※1（補正後） → 未来の状態※2（予測）
      - 観測
        
        ※1 ← 未来の観測値（実測値）、未来の観測値（予測） ← ※2
  - カルマンフィルタを使うと、↑の手順を効率よく行える
    - 散漫カルマンフィルタもほとんど変わらない。カルマンフィルタが持つ欠点を補った認識でおｋ
  - 平滑化
    - 平滑化とは、すべてのデータが手に入ったそのあとに、状態の補正を行う計算のことを指します
    - 過去の観測値、未来の観測値を使って過去の状態を補正する
    - 予測の精度をあげるものではなく、ノイズの影響を軽減することができる
    - 知識発見という意味合いで使用されることが多い技術（なんのこっちゃ）
    - 最も新しい時点においては、フィルタリングの結果と平滑化の結果は一致する
- パラメタ推定: 最尤法
  - 状態推定を実際に行うには、観測値以外に情報が必要
    - 過程誤差の分散の大きさ
      - こいつが大きいということは、Step1の予測を行った際に、予測が当たり難いということを意味する
      - 予測された未来の状態の精度が悪いということは「観測値を用いた状態の補正」を行うべきー
    - 観測誤差の分散の大きさ
      - 観測誤差が大きいということは、観測値をあまり信用できないということを意味する
      - 「観測値を用いた状態の補正」はあまり行わないほうが良いといえる
    - このふたつを最尤法で推定しまぁーす
  - 手順
    - 適当にパラメタを決める
    - てきとーな状態の補正が行われる
    - ↑の結果を逐一評価していく → パラメタの微修正を繰り返す
    - これで最適なパラメタを探す。このときの評価指標を尤度とよび、尤度を最大にするパラメタを最尤法と呼ぶ
  - 例えば
    - 過程誤差も観測誤差もともに小さな値を設定するとする
    - 観測データが手に入れば
      - 状態は補正される（観測誤差が小さい → 観測値は信用できる → 状態を補正する）
      - 過程誤差が小さい → 予測はあたっている → 精度良く予測できている
    - しかし、正しく補正されている上に精度よく予測された予測結果が、実データと間違っている。ということはパラメタが間違っているということが言える
    - なので、想定される予測誤差と実際の予測誤差を比較すればパラメタの設定が正しいか否かを判断することができる
- 流れ復習
  - 状態方程式・観測方程式を用いて、モデル構造を表現する
  - 「とりあえず」のパラメタを使ってフィルタリングする
  - カルマンフィルタの結果を援用し、最尤法を用いてパラメタを推定する
  - 推定されたパラメタを用いて、再度フィルタリングを行う
  - （必要であれば）推定されたパラメタを用いて、平滑化を行う
- 補足
  - 誤差が正規分布にしたがったモデルなので、場合によっては対数系列に対してモデル化を行ったほうがよい場合もある
  - ただ、階差系列にする必要はない（らしい。何故？）
カルマンフィルタとカルマンゲイン
- ローカルレベルモデルだけに絞って計算してみる
  - 状態の1期先予測は簡単 → 1時点前と同じ値になると予測するだけ
  - 観測値を用いた状態の補正は以下の要領で行われる
    - 補正後の状態 = 補正前の状態 + カルマンゲイン × （実際の観測値 - 予測された観測値）
    - 「補正後の状態」のことは「フィルタ化推定量」と呼ばれる
    - 残差がそのまま影響するのではなく、カルマンゲインが間をもっている
    - カルマンゲインは常に1以下の値を取る
      - 外れた分より少なめに補正する
        
        なぜ？ → そんなシンプルな話じゃないから
        
        カルマンゲイン = 状態の予測誤差の分散 / (状態の予測誤差の分散 + 観測誤差の分散)
        
        状態の予測誤差が大きいなら補正しましょう！
        
        観測誤差が大きい場合は、補正量を小さくすべき
- 計算の流れ
  - 過程誤差と観測誤差は誤差の増分を表すパラメタのこと
  - ↑２つを使って、実際の状態の予測誤差と観測値の予測誤差を求めます
  - 手順
    - Step1 予測
      - 状態の予測値 = 前期の状態
      - 状態の予測誤差の分散 = 前期の状態の予測誤差の分散 + 過程誤差の分散
      - 観測値の予測値 = 状態の予測値
      - 観測値の予測誤差の分散 = 状態の予測誤差の分散 + 観測誤差の分散
    - Step2 フィルタリング（状態の補正）
      - カルマンゲイン = 状態の予測誤差の分散 / (状態の予測誤差の分散 + 観測誤差の分散)
        
        分母は観測値の予測誤差の分散としても同じ
      - 観測値の予測残差 = 実際の観測値 - 観測値の予測値
      - フィルタ化推定量 = 補正前の状態 + カルマンゲイン × 観測値の予測残差
      - フィルタ化推定量の分散 = (1 - カルマンゲイン) × 補正前の状態の予測誤差の分散
- 散漫カルマンフィルタ
  - 前時点がない場合、前時点の情報が必要なパラメタはてきとーに値を設定しておく
  - ただ、初期値を適当に決めてもいいけども、AICの情報量基準の値も変化するので注意したい
  - そこで散漫初期化というアプローチ
    - 状態の初期値はわからないので諦める
    - そのかわり、状態の予測誤差の分散の初期値を無限大まで大きくする
平滑化
- 今日の観測値を使って、今日の状態を補正するのがフィルタリング
- 今日の観測値を使って、昨日の状態を補正するのが平滑化
- アイディア
  - ①実際の観測値と観測値の予測値の残差が大きい。これは昨日に推定された状態の値が間違っているので、昨日の状態を大きく補正しよう
  - ②昨日の状態の不確かさ（昨日のフィルタ化推定量の分散）が大きいまま残っているのであれば、昨日の状態を大きく補正するべき
  - ③今日の予測誤差の大きさ（観測値の予測誤差の分散）が大きいのであれば、昨日の状態を補正する必要はあまりないだろう（観測値が信頼できないため）
  - まとめる
    - 昨日のフィルタ化推定量 + 昨日のフィルタ化推定量の分散 / 今日の観測値の予測誤差の分散 × 今日の予測残差

追記

pandas.quantileで試すと結果があわない・・・なぜ・・・・？（実装を見る元気がないので一旦終了）

ドキュメントみたら把握した

f:id:aipacommander:20200630101538p:plain

linear: i + (j - i) * fraction, where fraction is the fractional part of the index surrounded by i and j.

データの位置が該当しない位置にあった場合どうやって保管する？オプションがあった。で、デフォルトが linear だったので調べたところ、データが10あれば、前半部分が1,2,3,4,5だったとき、i=3,j=4,faction=0.25として計算する。後半部分は6,7,8,9.10だったとき、i=7,j=8,faction=0.75として計算する。こうしたら結果があった。

もやもやが晴れた

定常過程が分析しやすいデータである理由
- 無数に存在する2020年1月1日という気温の特徴を手元にあるたった1つの2020年1月1日のデータで推測しなければならない → これは難しい
- しかしデータが定常と仮定すると分析が楽
  - 期待値や分散の推定量が時点によって変化しない → 複数時点のデータの平均と分散をとればそのまま推定量として利用できる → これは簡単
対数変換とその解釈
- 対数変換したものはデータのばらつきがほぼ一定になる
  - ばらつきと指しているのはおそらく上下の振り幅
  - 対数についておさらい
    - log_a a^p = p
    - log_2 8 = 3 <-> 2³ = 8
    - log_a M = P <-> a^p = M
- Pythonのmath.logはdefaultの底は自然数
  - math.log(math.e) # 1.0
移動平均モデル
- 同じ値を使うことで自己相関を表現する
  - なんで自己相関を表現したかったんだっけ？
ARモデルとMAモデルの関係
- 係数<1であるAR(1)モデルは∞次数のMAモデルで表現することができる
- ほーん
MAモデルの反転可能性
- 予測誤差（ε_t）の大小は過去データから判断することができる → ホワイトノイズって予測誤差だっけ？？？

ITの隊長のブログ

ITの隊長のブログです。Rubyを使って仕事しています。最近も色々やっているお（^ω^ = ^ω^）

状態空間モデル勉強メモ

いい加減ちゃんと覚えたい統計学幹葉図

いい加減ちゃんと覚えたい統計学四分位数編

追記

ssh-agentを使ったsshログイン

時系列勉強雑メモ