Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
不偏推定量とJackknife法 / Jackknife
Search
kaityo256
PRO
March 18, 2021
Education
4.9k
59
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
不偏推定量とJackknife法 / Jackknife
いわゆる1/NバイアスとJackknifeリサンプリングについての解説
kaityo256
PRO
March 18, 2021
Transcript
19 slides
1 不偏推定量とJackknife法 慶應義塾大学理工学部物理情報工学科 渡辺 2021/03/18
2 確率変数 𝑋 確率密度 𝑓(𝑥) 𝑃 𝑥 ≤
𝑋 < 𝑥 + 𝑑𝑥 = 𝑓 𝑥 𝑑𝑥 母集団の期待値 μ = 𝑥𝑓 𝑥 𝑑𝑥 一次のモーメント この確率変数の期待値(平均値)μの関数g(μ) をサンプリングにより推定したい 母集団の分散 𝜎2 = (𝑥 − 𝜇)2𝑓 𝑥 𝑑𝑥 二次
3 N回のサンプリングデータ 𝑋1 , 𝑋2 , ⋯ ,
𝑋𝑁 期待値の推定値(推定量) 1 𝑁 σ 𝑖 𝑋𝑖 推定量の期待値 「期待値の推定量」は確率変数となる N回のサンプリングを何度も繰り返し、推定量の期待値を得る 1 𝑁 σ𝑖 𝑋𝑖 = 𝜇 母集団の期待値 (推定したい値) 標本からサンプリングして得られた推定量の期待値が 母集団の期待値に等しい場合、その推定量を不偏推定量と呼ぶ ※ サンプリングで分散を計算する時Nで割ると不偏推定量にならないのでN-1で割る
4 N回測定して得られた期待値の推定量 「期待値の関数」の値を推定したい 𝑦 = 𝑔(𝜇) 𝜇𝑁 = 1 𝑁
𝑖 𝑋𝑖 これをそのまま関数に入れて期待値をとっても 不偏推定量にならない 𝑦 = 𝑔 𝜇 ≠ 𝑔(𝜇𝑁 )
5 一般に確率変数 𝑋 について 𝑔( 𝑋) ≠ 𝑔
𝑋 と 𝑔( 𝑋) 関数の期待値 期待値の関数𝑔 𝑋 は 一致しないから ※期待値をとってから関数にいれるか、関数に入れてから期待値を取るかの違い
6 μ g(x)を上に凸な関数とし、x=μで接線をひく 𝑦 = 𝑎 𝑥 − 𝜇 +
𝑔(𝜇) 𝑦 = 𝑔(𝑥) ※ Thanks to @genkuroki 上図より明らかに 𝑔 𝑥 ≤ 𝑎 𝑥 − 𝜇 + 𝑔(𝜇) 両辺の期待値を取れば 𝑔 𝑥 ≤ 𝑔 𝜇 = 𝑔( 𝑥 ) 下に凸の場合は符号が逆に
7 𝜀 = 𝜇𝑁 − 𝜇 𝜇𝑁 = 1 𝑁
𝑖 𝑋𝑖 N回の測定で得られた期待値の推定量 真の期待値とのずれ 𝑔 𝜇𝑁 − 𝑔 𝜇 = 𝑔 𝜇 + 𝜀 − 𝑔 𝜇 = 𝑔′ 𝜇 𝜀 + 1 2 𝑔′′ 𝜇 𝜀2 + 𝑂(𝜀3) 𝑔 𝜇𝑁 − 𝑔 𝜇 = 1 2 𝑔′′ 𝜇 𝜀2 = 𝑔′′(𝜇)𝜎2 2𝑁 真の値 推定値 推定値と真の値のずれの期待値 1/Nバイアス
8 平均0、分散𝜎2のガウス分布に従う確率変数Xを考える 𝑋2 = 𝜎2 𝑋4 = 3𝜎4
2次のモーメント 4次のモーメント 4次と2次のモーメントの比を取ると、分散依存性が消える 𝑋4 𝑋2 2 = 3 尖度(Kurtosis) この量の1/Nバイアスを確認する
9 𝑋2 𝑁 = 1 𝑁 𝑖
𝑋𝑖 2 𝑋4 𝑁 = 1 𝑁 𝑖 𝑋𝑖 4 N個のサンプリング(N回の測定)で得られたデータから 2次と4次のモーメントを推定する 𝑈𝑁 = 𝑋4 𝑁 𝑋2 𝑁 2 得られたモーメントから尖度を計算する 上記を繰り返して𝑈𝑁 の期待値 𝑈𝑁 を計算する
10 𝑈𝑁 1/𝑁 理論値 十分なサンプリング回数にも関わらず、真の値からずれている(バイアス) 推定値
11 それをN個ずつのブロックに分割する 十分な数(無限個でも良い)のデータがある 𝑁 それぞれのブロックの期待値𝜇𝑁 から「期待値の関数」を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 )
𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) 「期待値の関数」の期待値を計算する 𝑔(𝜇𝑁 ) 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) バイアスが残る ・・・ ・・・ ・・・
12 不偏推定量ではあるが、ばらつきのせいで真の値 からずれる誤差を統計誤差(標準誤差)と呼ぶ 𝜇𝑁 = 1 𝑁 𝑖
𝑋𝑖 𝜇𝑁 − 𝜇 = 𝑂(1/ 𝑁) 不偏推定量でない推定量の期待値について、真の値 からのずれを系統誤差(バイアス)と呼ぶ。 𝑔(𝜇𝑁 ) − 𝑔 𝜇 = 𝑂(1/𝑁) N回の測定をMセット繰り返す時、Mを増やすと 統計誤差は減らせるが、系統誤差は消えない (間違った値に収束する)
13 期待値の関数の推定には1/Nバイアスが乗る N無限大極限では一致するが、収束が遅い 手持ちのデータから1/Nバイアスを除去したい Jackknifeリサンプリング
14 N個のデータがある 𝑁 全部のデータを使って期待値𝜇𝑁 を計算 それを使って関数の推定値𝑈𝑁 = 𝑔(𝜇𝑁 )を計算 1個のデータを捨てる
𝑁 − 1 残りのデータを使って期待値𝜇𝑁−1 を計算 それを使って関数の推定値𝑈𝑁−1 = 𝑔(𝜇𝑁−1 )を計算
15 𝑈𝑁 は、真の値𝑈∞ に対して1/Nバイアスがあると仮定 𝑈𝑁 = 𝑈∞ + 𝑎/𝑁 一つデータを捨てて得た𝑈𝑁
のバイアスは 𝑈𝑁−1 = 𝑈∞ + 𝑎/(𝑁 − 1) この2式から𝑈∞ を求めると 𝑈∞ = 𝑁𝑈𝑁 − (𝑁 − 1)𝑈𝑁−1 ※ Thanks to smorita and yomichi
16 𝑈𝑁 1/𝑁 𝑁 = ∞ NとN-1から1/N→0外挿を行った
17 1個のデータ除外して計算 せっかくのデータを捨てるのはもったいないので活用する 𝑈𝑁−1 1 𝑈𝑁−1 2 別のデータ除外して計算 ・ ・
・ 𝑈𝑁−1 𝑁 𝑈𝑁−1 = 1 𝑁 𝑖 𝑈𝑁−1 𝑖 精度の高い「N-1個のデータの推定量」 が得られる
18 𝑈𝑁 1/𝑁 理論値 単純な推定値 Jackknifeによるバイアス除去 𝑁𝑈𝑁 − (𝑁 −
1)𝑈𝑁−1 𝑈𝑁
19 母集団の何かを推定する量を推定量(estimator)と呼ぶ 誤差には統計誤差と系統誤差(バイアス)がある その期待値が母集団の期待値に一致する量(バイアス が無い量)を不偏推定量(unbiased estimator)と呼ぶ 期待値の関数の単純な推定は不偏推定量を与えない Jackknife法はリサンプリング法の一種 リサンプリングによりバイアスを除去できる (ことがある)
※もっとまじめにやるならbootstrap法とかを使う
More Decks by kaityo256
See All by kaityo256
生成AIとの付き合い方/ How to work with AI
kaityo256
PRO
3
1.2k
パズルゲームの作り方 / how to make puzzle games
kaityo256
PRO
2
350
What is XAI?
kaityo256
PRO
0
240
勾配ブースティングと決定木の話 / gradient boosting and decision trees
kaityo256
PRO
7
1.9k
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
17
6.2k
この講義について / 00-setup
kaityo256
PRO
3
580
GitHubによるWebアプリケーションのデプロイ / 07-github-deploy
kaityo256
PRO
2
530
演習:Gitの基本操作 / 04-git-basic
kaityo256
PRO
1
780
演習:Gitの応用操作 / 05-git-advanced
kaityo256
PRO
1
480
Other Decks in Education
See All in Education
Web 2.0 Patterns and Technologies - Lecture 8 - Web Technologies (1019888BNR)
signer
PRO
0
3.5k
吉岡研究室紹介(2026年度)
kentaroy47
0
700
Railsチュートリアル × 反転学習の事例紹介
yasslab
PRO
3
190k
HTML5 and the Open Web Platform - Lecture 3 - Web Technologies (1019888BNR)
signer
PRO
3
3.6k
CSS3 and Responsive Web Design - Lecture 5 - Web Technologies (1019888BNR)
signer
PRO
1
3.5k
Bilten 2025/26
radlovacki1976
0
130
Zimmerman "Copyright Essentials From A to AI: A 2026 NISO Training Series, Session Seven: Copyright & AI"
baltimoreniso
0
100
Biological Source, Chemical Constituents And Therapeutic Efficacy
pawan_pharm
0
170
JOINTS
pawan_pharm
0
170
SANG PENCIPTA BERBICARA (01ABSG-Q4-2026)
ssmedikasda
0
570
[2026後期火5] 論理学(京都大学文学部 後期 第3回)「∀ の規則と固有変数条件」
yatabe
0
190
1104
cbtlibrary
0
210
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
55
13k
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
360
Marketing to machines
jonoalderson
1
6k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
2
4k
Color Theory Basics | Prateek | Gurzu
gurzu
1
530
Making Projects Easy
brettharned
120
6.9k
The Language of Interfaces
destraynor
162
27k
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
Building a Scalable Design System with Sketch
lauravandoore
464
34k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
Writing Fast Ruby
sferik
630
63k