Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
不偏推定量とJackknife法 / Jackknife
Search
kaityo256
PRO
March 18, 2021
Education
35
4.1k
不偏推定量とJackknife法 / Jackknife
いわゆる1/NバイアスとJackknifeリサンプリングについての解説
kaityo256
PRO
March 18, 2021
Tweet
Share
More Decks by kaityo256
See All by kaityo256
モンテカルロ法(3) 発展的アルゴリズム / Simulation 04
kaityo256
PRO
7
1.3k
UMAPをざっくりと理解 / Overview of UMAP
kaityo256
PRO
5
2k
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
4
480
論文紹介のやり方 / How to review
kaityo256
PRO
15
84k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
11
1.6k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
8
550
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5.3k
制限ボルツマンマシンの話 / Introduction of RBM
kaityo256
PRO
3
1.3k
論文の読み方 / How to survey
kaityo256
PRO
223
170k
Other Decks in Education
See All in Education
小さなチャレンジが生んだチームの大きな変化 -私のふりかえり探求の原点
callas1900
0
550
Pythonパッケージ管理 [uv] 完全入門
mickey_kubo
20
15k
万博非公式マップとFOSS4G
barsaka2
0
320
生成AI
takenawa
0
6.5k
Common STIs in London: Symptoms, Risks & Prevention
medicaldental
0
130
【品女100周年企画】_抜粋
shinagawajoshigakuin_100th
0
770
Design Guidelines and Principles - Lecture 7 - Information Visualisation (4019538FNR)
signer
PRO
0
2.4k
IMU-00 Pi
kanaya
0
370
SkimaTalk Tutorial for Students
skimatalk
0
1.8k
OpenSourceSummitJapanを運営してみた話
kujiraitakahiro
0
720
GitHubとAzureを使って開発者になろう
ymd65536
1
120
自己紹介 / who-am-i
yasulab
PRO
3
5.2k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Invisible Side of Design
smashingmag
301
51k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Rails Girls Zürich Keynote
gr2m
95
14k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Fireside Chat
paigeccino
37
3.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
1 不偏推定量とJackknife法 慶應義塾大学理工学部物理情報工学科 渡辺 2021/03/18
2 確率変数 𝑋 確率密度 𝑓(𝑥) 𝑃 𝑥 ≤
𝑋 < 𝑥 + 𝑑𝑥 = 𝑓 𝑥 𝑑𝑥 母集団の期待値 μ = 𝑥𝑓 𝑥 𝑑𝑥 一次のモーメント この確率変数の期待値(平均値)μの関数g(μ) をサンプリングにより推定したい 母集団の分散 𝜎2 = (𝑥 − 𝜇)2𝑓 𝑥 𝑑𝑥 二次
3 N回のサンプリングデータ 𝑋1 , 𝑋2 , ⋯ ,
𝑋𝑁 期待値の推定値(推定量) 1 𝑁 σ 𝑖 𝑋𝑖 推定量の期待値 「期待値の推定量」は確率変数となる N回のサンプリングを何度も繰り返し、推定量の期待値を得る 1 𝑁 σ𝑖 𝑋𝑖 = 𝜇 母集団の期待値 (推定したい値) 標本からサンプリングして得られた推定量の期待値が 母集団の期待値に等しい場合、その推定量を不偏推定量と呼ぶ ※ サンプリングで分散を計算する時Nで割ると不偏推定量にならないのでN-1で割る
4 N回測定して得られた期待値の推定量 「期待値の関数」の値を推定したい 𝑦 = 𝑔(𝜇) 𝜇𝑁 = 1 𝑁
𝑖 𝑋𝑖 これをそのまま関数に入れて期待値をとっても 不偏推定量にならない 𝑦 = 𝑔 𝜇 ≠ 𝑔(𝜇𝑁 )
5 一般に確率変数 𝑋 について 𝑔( 𝑋) ≠ 𝑔
𝑋 と 𝑔( 𝑋) 関数の期待値 期待値の関数𝑔 𝑋 は 一致しないから ※期待値をとってから関数にいれるか、関数に入れてから期待値を取るかの違い
6 μ g(x)を上に凸な関数とし、x=μで接線をひく 𝑦 = 𝑎 𝑥 − 𝜇 +
𝑔(𝜇) 𝑦 = 𝑔(𝑥) ※ Thanks to @genkuroki 上図より明らかに 𝑔 𝑥 ≤ 𝑎 𝑥 − 𝜇 + 𝑔(𝜇) 両辺の期待値を取れば 𝑔 𝑥 ≤ 𝑔 𝜇 = 𝑔( 𝑥 ) 下に凸の場合は符号が逆に
7 𝜀 = 𝜇𝑁 − 𝜇 𝜇𝑁 = 1 𝑁
𝑖 𝑋𝑖 N回の測定で得られた期待値の推定量 真の期待値とのずれ 𝑔 𝜇𝑁 − 𝑔 𝜇 = 𝑔 𝜇 + 𝜀 − 𝑔 𝜇 = 𝑔′ 𝜇 𝜀 + 1 2 𝑔′′ 𝜇 𝜀2 + 𝑂(𝜀3) 𝑔 𝜇𝑁 − 𝑔 𝜇 = 1 2 𝑔′′ 𝜇 𝜀2 = 𝑔′′(𝜇)𝜎2 2𝑁 真の値 推定値 推定値と真の値のずれの期待値 1/Nバイアス
8 平均0、分散𝜎2のガウス分布に従う確率変数Xを考える 𝑋2 = 𝜎2 𝑋4 = 3𝜎4
2次のモーメント 4次のモーメント 4次と2次のモーメントの比を取ると、分散依存性が消える 𝑋4 𝑋2 2 = 3 尖度(Kurtosis) この量の1/Nバイアスを確認する
9 𝑋2 𝑁 = 1 𝑁 𝑖
𝑋𝑖 2 𝑋4 𝑁 = 1 𝑁 𝑖 𝑋𝑖 4 N個のサンプリング(N回の測定)で得られたデータから 2次と4次のモーメントを推定する 𝑈𝑁 = 𝑋4 𝑁 𝑋2 𝑁 2 得られたモーメントから尖度を計算する 上記を繰り返して𝑈𝑁 の期待値 𝑈𝑁 を計算する
10 𝑈𝑁 1/𝑁 理論値 十分なサンプリング回数にも関わらず、真の値からずれている(バイアス) 推定値
11 それをN個ずつのブロックに分割する 十分な数(無限個でも良い)のデータがある 𝑁 それぞれのブロックの期待値𝜇𝑁 から「期待値の関数」を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 )
𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 「期待値の関数」の期待値を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) バイアスが残る ・・・ ・・・ ・・・
12 不偏推定量ではあるが、ばらつきのせいで真の値 からずれる誤差を統計誤差(標準誤差)と呼ぶ 𝜇𝑁 = 1 𝑁 𝑖
𝑋𝑖 𝜇𝑁 − 𝜇 = 𝑂(1/ 𝑁) 不偏推定量でない推定量の期待値について、真の値 からのずれを系統誤差(バイアス)と呼ぶ。 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) N回の測定をMセット繰り返す時、Mを増やすと 統計誤差は減らせるが、系統誤差は消えない (間違った値に収束する)
13 期待値の関数の推定には1/Nバイアスが乗る N無限大極限では一致するが、収束が遅い 手持ちのデータから1/Nバイアスを除去したい Jackknifeリサンプリング
14 N個のデータがある 𝑁 全部のデータを使って期待値𝜇𝑁 を計算 それを使って関数の推定値𝑈𝑁 = 𝑔(𝜇𝑁 )を計算 1個のデータを捨てる
𝑁 − 1 残りのデータを使って期待値𝜇𝑁−1 を計算 それを使って関数の推定値𝑈𝑁−1 = 𝑔(𝜇𝑁−1 )を計算
15 𝑈𝑁 は、真の値𝑈∞ に対して1/Nバイアスがあると仮定 𝑈𝑁 = 𝑈∞ + 𝑎/𝑁 一つデータを捨てて得た𝑈𝑁
のバイアスは 𝑈𝑁−1 = 𝑈∞ + 𝑎/(𝑁 − 1) この2式から𝑈∞ を求めると 𝑈∞ = 𝑁𝑈𝑁 − (𝑁 − 1)𝑈𝑁−1 ※ Thanks to smorita and yomichi
16 𝑈𝑁 1/𝑁 𝑁 = ∞ NとN-1から1/N→0外挿を行った
17 1個のデータ除外して計算 せっかくのデータを捨てるのはもったいないので活用する 𝑈𝑁−1 1 𝑈𝑁−1 2 別のデータ除外して計算 ・ ・
・ 𝑈𝑁−1 𝑁 𝑈𝑁−1 = 1 𝑁 𝑖 𝑈𝑁−1 𝑖 精度の高い「N-1個のデータの推定量」 が得られる
18 𝑈𝑁 1/𝑁 理論値 単純な推定値 Jackknifeによるバイアス除去 𝑁𝑈𝑁 − (𝑁 −
1)𝑈𝑁−1 𝑈𝑁
19 母集団の何かを推定する量を推定量(estimator)と呼ぶ 誤差には統計誤差と系統誤差(バイアス)がある その期待値が母集団の期待値に一致する量(バイアス が無い量)を不偏推定量(unbiased estimator)と呼ぶ 期待値の関数の単純な推定は不偏推定量を与えない Jackknife法はリサンプリング法の一種 リサンプリングによりバイアスを除去できる (ことがある)
※もっとまじめにやるならbootstrap法とかを使う