Upgrade to Pro — share decks privately, control downloads, hide ads and more …

不偏推定量とJackknife法 / Jackknife

不偏推定量とJackknife法 / Jackknife

いわゆる1/NバイアスとJackknifeリサンプリングについての解説

kaityo256

March 18, 2021
Tweet

More Decks by kaityo256

Other Decks in Education

Transcript

  1. 2 確率変数 ෠ 𝑋 確率密度 𝑓(𝑥) 𝑃 𝑥 ≤ ෠

    𝑋 < 𝑥 + 𝑑𝑥 = 𝑓 𝑥 𝑑𝑥 母集団の期待値 μ = ׬ 𝑥𝑓 𝑥 𝑑𝑥 一次のモーメント この確率変数の期待値(平均値)μの関数g(μ) をサンプリングにより推定したい 母集団の分散 𝜎2 = ׬(𝑥 − 𝜇)2𝑓 𝑥 𝑑𝑥 二次
  2. 3 N回のサンプリングデータ ෠ 𝑋1 , ෠ 𝑋2 , ⋯ ,

    ෠ 𝑋𝑁 期待値の推定値(推定量) 1 𝑁 σ 𝑖 ෠ 𝑋𝑖 推定量の期待値 「期待値の推定量」は確率変数となる N回のサンプリングを何度も繰り返し、推定量の期待値を得る 1 𝑁 σ𝑖 ෠ 𝑋𝑖 = 𝜇 母集団の期待値 (推定したい値) 標本からサンプリングして得られた推定量の期待値が 母集団の期待値に等しい場合、その推定量を不偏推定量と呼ぶ ※ サンプリングで分散を計算する時Nで割ると不偏推定量にならないのでN-1で割る
  3. 4 N回測定して得られた期待値の推定量 「期待値の関数」の値を推定したい 𝑦 = 𝑔(𝜇) 𝜇𝑁 = 1 𝑁

    ෍ 𝑖 ෠ 𝑋𝑖 これをそのまま関数に入れて期待値をとっても 不偏推定量にならない 𝑦 = 𝑔 𝜇 ≠ 𝑔(𝜇𝑁 )
  4. 5 一般に確率変数 ෠ 𝑋 について 𝑔( ෠ 𝑋) ≠ 𝑔

    ෠ 𝑋 と 𝑔( ෠ 𝑋) 関数の期待値 期待値の関数𝑔 ෠ 𝑋 は 一致しないから ※期待値をとってから関数にいれるか、関数に入れてから期待値を取るかの違い
  5. 6 μ g(x)を上に凸な関数とし、x=μで接線をひく 𝑦 = 𝑎 𝑥 − 𝜇 +

    𝑔(𝜇) 𝑦 = 𝑔(𝑥) ※ Thanks to @genkuroki 上図より明らかに 𝑔 𝑥 ≤ 𝑎 𝑥 − 𝜇 + 𝑔(𝜇) 両辺の期待値を取れば 𝑔 𝑥 ≤ 𝑔 𝜇 = 𝑔( 𝑥 ) 下に凸の場合は符号が逆に
  6. 7 𝜀 = 𝜇𝑁 − 𝜇 𝜇𝑁 = 1 𝑁

    ෍ 𝑖 ෠ 𝑋𝑖 N回の測定で得られた期待値の推定量 真の期待値とのずれ 𝑔 𝜇𝑁 − 𝑔 𝜇 = 𝑔 𝜇 + 𝜀 − 𝑔 𝜇 = 𝑔′ 𝜇 𝜀 + 1 2 𝑔′′ 𝜇 𝜀2 + 𝑂(𝜀3) 𝑔 𝜇𝑁 − 𝑔 𝜇 = 1 2 𝑔′′ 𝜇 𝜀2 = 𝑔′′(𝜇)𝜎2 2𝑁 真の値 推定値 推定値と真の値のずれの期待値 1/Nバイアス
  7. 8 平均0、分散𝜎2のガウス分布に従う確率変数Xを考える ෠ 𝑋2 = 𝜎2 ෠ 𝑋4 = 3𝜎4

    2次のモーメント 4次のモーメント 4次と2次のモーメントの比を取ると、分散依存性が消える ෠ 𝑋4 ෠ 𝑋2 2 = 3 尖度(Kurtosis) この量の1/Nバイアスを確認する
  8. 9 ෠ 𝑋2 𝑁 = 1 𝑁 ෍ 𝑖 ෠

    𝑋𝑖 2 ෠ 𝑋4 𝑁 = 1 𝑁 ෍ 𝑖 ෠ 𝑋𝑖 4 N個のサンプリング(N回の測定)で得られたデータから 2次と4次のモーメントを推定する 𝑈𝑁 = ෠ 𝑋4 𝑁 ෠ 𝑋2 𝑁 2 得られたモーメントから尖度を計算する 上記を繰り返して𝑈𝑁 の期待値 𝑈𝑁 を計算する
  9. 11 それをN個ずつのブロックに分割する 十分な数(無限個でも良い)のデータがある 𝑁 それぞれのブロックの期待値𝜇𝑁 から「期待値の関数」を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 )

    𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 「期待値の関数」の期待値を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) バイアスが残る ・・・ ・・・ ・・・
  10. 12 不偏推定量ではあるが、ばらつきのせいで真の値 からずれる誤差を統計誤差(標準誤差)と呼ぶ 𝜇𝑁 = 1 𝑁 ෍ 𝑖 ෠

    𝑋𝑖 𝜇𝑁 − 𝜇 = 𝑂(1/ 𝑁) 不偏推定量でない推定量の期待値について、真の値 からのずれを系統誤差(バイアス)と呼ぶ。 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) N回の測定をMセット繰り返す時、Mを増やすと 統計誤差は減らせるが、系統誤差は消えない (間違った値に収束する)
  11. 14 N個のデータがある 𝑁 全部のデータを使って期待値𝜇𝑁 を計算 それを使って関数の推定値𝑈𝑁 = 𝑔(𝜇𝑁 )を計算 1個のデータを捨てる

    𝑁 − 1 残りのデータを使って期待値𝜇𝑁−1 を計算 それを使って関数の推定値𝑈𝑁−1 = 𝑔(𝜇𝑁−1 )を計算
  12. 15 𝑈𝑁 は、真の値𝑈∞ に対して1/Nバイアスがあると仮定 𝑈𝑁 = 𝑈∞ + 𝑎/𝑁 一つデータを捨てて得た𝑈𝑁

    のバイアスは 𝑈𝑁−1 = 𝑈∞ + 𝑎/(𝑁 − 1) この2式から𝑈∞ を求めると 𝑈∞ = 𝑁𝑈𝑁 − (𝑁 − 1)𝑈𝑁−1 ※ Thanks to smorita and yomichi
  13. 17 1個のデータ除外して計算 せっかくのデータを捨てるのはもったいないので活用する 𝑈𝑁−1 1 𝑈𝑁−1 2 別のデータ除外して計算 ・ ・

    ・ 𝑈𝑁−1 𝑁 𝑈𝑁−1 = 1 𝑁 ෍ 𝑖 𝑈𝑁−1 𝑖 精度の高い「N-1個のデータの推定量」 が得られる