Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
初等確率論の基礎
Search
Koga Kobayashi
August 17, 2020
Research
1
170
初等確率論の基礎
「ベイズ統計の理論と方法」勉強会の資料
Koga Kobayashi
August 17, 2020
Tweet
Share
More Decks by Koga Kobayashi
See All by Koga Kobayashi
第13回 Data-Centric AI勉強会, LLMのファインチューニングデータ
kajyuuen
4
1.6k
基礎数学の公式
kajyuuen
1
140
Deep Markov Model を数式で追う (+ Pyroでの追試)
kajyuuen
0
890
Fundamentals of Music Processing (Chapter 5)
kajyuuen
0
83
完全なアノテーションが得られない状況下での固有表現抽出
kajyuuen
3
3.4k
SecHack365 北海道会 LT
kajyuuen
0
500
専門用語抽出手法の研究と 抽出アプリケーションの開発
kajyuuen
1
1.3k
Other Decks in Research
See All in Research
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
2.9k
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
120
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
520
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
320
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
230
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
200
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
830
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
5
1.7k
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.6k
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
380
Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction
satai
3
220
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
720
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Code Review Best Practice
trishagee
69
19k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Music & Morning Musume
bryan
46
6.6k
How to Ace a Technical Interview
jacobian
278
23k
Agile that works and the tools we love
rasmusluckow
329
21k
Thoughts on Productivity
jonyablonski
69
4.7k
Adopting Sorbet at Scale
ufuk
77
9.5k
Rails Girls Zürich Keynote
gr2m
95
14k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Designing for humans not robots
tammielis
253
25k
For a Future-Friendly Web
brad_frost
179
9.8k
Transcript
ॳ֬ͷجૅ ϕΠζ౷ܭͷཧͱํ๏ษڧձ
֬ͱ֬ม
֬ ϢʔΫϦουۭؒ ͷݩ ͷؔ ͕ ℝN x = (x1 ,
…, xN ) q(x) ≥ 0 ∫ q(x)dx ≡ ∫ dx1 ∫ dx2 … ∫ dxN q(x1 , x2 , ⋯, xN ) = 1 Λຬͨ͢ͱ͖ Λ֬͋Δ͍֬ີؔͱ͍͏ɻ q(x) ू߹ ʹ͍ͭͯɺ ͷݩͰͷू߹ ͷ֬ A ⊂ ℝN q(x) A Q(A) = ∫ A q(x)dx ͜ͷͱ͖ɺؔ ֬ͱ͍͏ɻ Q( ⋅ )
֬ม ϢʔΫϦουۭؒ ͷ্ʹϥϯμϜʹΛऔΔม Λ ʮ ʹΛऔΔ֬มʯͱ͍͏ɻ ℝN X ℝN ʮ
ͱͳΔ֬ʯ͕ Ͱ͋Δͱ͖ ʮ֬ม ͷ֬ Ͱ͋Δʯ͋Δ͍ ʮ֬ม ͷ֬ ʹै͏ʯ͋Δ͍ ʮ֬ม ͷ֬ Ͱ͋Δʯͱ͍͏ɻ X ∈ A Q(A) X q(x) X q(x) X Q
۩ମྫਅͷ αϯϓϧ ͕͋Δ֬ ʹಠཱʹै͏ ֬มͷ࣮ݱʢ؍ଌʣͩͱ͢Δɻ A = xn = {x1
, …, xn } ⊂ ℝN q(x) ͢ͳΘͪ Λ ্ͷ xn (ℝN)n q(xn) = n ∏ i=1 q(xi ) = q(x1 )q(x2 )⋯q(xn ) Λ࣋ͭ֬ม ͷ࣮ݱͰ͋Δͱߟ͑Δɻ ͜ͷͱ͖֬ ΛਅͷͱݺͿɻ Xn = (X1 , X2 , …, Xn ) q(x)
ฏۉͱࢄ
ฏۉͱࢄ ʹΛͱΔ֬ม ͷ֬Λ ͱ͢Δɻ ℝN X q(x) [f(X)] ≡ ∫
f(x)q(x)dx [f(X)] ≡ [(f(X) − [f(X)])(f(X) − [f(X)])T] = [f(X)f(X)T] − [f(X)][f(X)T] ͱఆٛ͢Δɻ ͕༩͑ΒΕͨͱ͖ɺ֬ม ͷฏۉΛ f : ℝN → ℝM f(X) ·ͨࢄڞࢄΛ ͱఆٛ͢Δɻ֬มΛ໌ه͍ͨ͠ͱ͖ ͱॻ͘ɻ X [f(X)]
۩ମྫαϯϓϧͷฏۉ αϯϓϧ Λද֬͢มΛ ͱ͢Δɻ ͦͷؔ ͕༩͑ΒΕͨͱ͖ɺͦͷฏۉΛऔΔૢ࡞ Λ xn = {x1
, …, xn } Xn = (X1 , X2 , …, Xn ) f(Xn) [ ⋅ ] ͱදه͢Δɻ ͜ͷฏۉ ΛʮαϯϓϧͷݱΕํʹର͢ΔฏۉʯͱݺͿɻ [ ⋅ ] [f(XN)] = ∫ ∫ ⋯ ∫ f(x1 , …, xn ) n ∏ i=1 q(xi )dxi
۩ମྫਅͷͷฏۉ αϯϓϧͷ֬มΛ Λ༻͍ͯɺ ਅͷ ͷਪଌΛߦͬͨޙɺਅͷͷ֬ม Λൃੜͤͯ͞ ਪଌ݁ՌͷΑ͞ΛධՁ͍ͨ͠ɻ ͜ͷ֬ม ͷؔ ʹ͍ͭͯͷฏۉΛ
Xn = (X1 , X2 , …, Xn ) q(x) X X f(X) ͱදه͢Δɻ [f(X)]X = ∫ f(x)q(x)dx
X X−1 ۭ֬ؒ(Ω = ℝM, ℬ, p) w ∈ Ω
ٯ૾X−1(A) ֬ີؔ ֬ q(x) = p(X−1(x)) Մଌۭؒ(Ω′ = ℝN, ℬ′ ) A ∈ ℬ′ X(w) = X x ∈ Ω′ ֬Q(A) = ∫ A q(x)dx f(x) ฏۉ[f(X)] ≡ ∫ f(x)q(x)dx = ∫ f(x)p(X−1(x))dx = ∫ p(w)X(w)dw = ∫ pXdw ֬ม ֬มͱ֬ɺฏۉͷؔ ۭ֬ؒ(Ω′ = ℝN, ℬ′ , q)
ಉ࣌ͱ͖݅֬
ಉ࣌ͱ͖݅ ͭͷ֬ม ͱ ͕͋Δͱ͖ɺͦͷ ͷ͕֬ Ͱ͋Δͱ͖ɺ Λಉ࣌֬ͱ͍͏ɻ X Y (X,
Y) p(x, y) p(x, y) ·ͨ֬ม ͕༩͑ΒΕͨͱ͖ͷ ͷ͖݅֬Λ࣍ͷΑ͏ ʹఆٛ͢Δɻ X Y p(y|x) = p(x, y) p(x) पล֬࣍ͷΑ͏ʹఆٛ͢Δɻ p(x) = ∫ p(x, y)dy p(y) = ∫ p(x, y)dx
ճؼؔ ֬ม ͷ֬ ʹ͍ͭͯߟ͑Δɻ ͷͱ͖ͷ ͷฏۉΛ (X, Y) p(X, Y)
X = x Y ͱॻ͘ɻ͜ͷؔΛ ͔Β ͷճؼؔ ͖݅ظ ͱ͍͏ɻ x y [Y|x] = ∫ yp(y|x)dy ؔΛ ͕༩͑ΒΕͨͱ͖ͦͷೋޡࠩΛද͢൚ؔΛ y = f(x) [(Y − f(X))2] = ∫ ∫ (y − f(x))2p(y, x)dxdy ͱॻ͘ͱ͜Ε ͷͱ͖ʹ࠷খʹͳΔɻ f(x) = [Y|x]
ΧϧόοΫɾϥΠϒϥใྔ
ΧϧόοΫɾϥΠϒϥใྔ ্ʹೋͭͷ֬ ͕͋Δͱ͖ ℝN q(x), p(x) D(p∥q) = ∫
q(x)log q(x) p(x) dx ͷ͜ͱΛΧϧόοΫɾϥΠϒϥใྔ͋Δ͍૬ରΤϯτϩϐʔͱݺͿ ΧϧόοΫɾϥΠϒϥใྔ͕࣍Γཱͭɻ ʹ͍ͭͯ Ͱ͋Δɻ ͱͳΔͷ ͷͱ͖ʹݶΔɻ ∀q(x), p(x) D(q∥p) ≥ 0 D(q∥p) = 0 q(x) = p(x)
ΧϧόοΫɾϥΠϒϥใྔ ূ໌ ͱ͓͘ͱɺ Ͱ͋Γɺ F(t) = 0 ⇔ t
= 0 F(t) = t + et − 1 (−∞ < t < ∞) ΑΓ Ͱ͋Δ͔Β͕ࣔ͞Εͨɻ ∫ q(x)dx = 1 ∫ p(x)dx = 1 ∫ log q(x) p(x) dx = 0 ·ͨɺ ͷͱ͖ɺ Ͱ Ͱ͋Δ͜ͱΛ༻͍ͯ q(x) ≈ p(x) t ≈ 0 F′ ′ (t) ≃ t2/e D(p∥q) ≃ ∫ q(x)(log q(x) − log p(x))2dx ͕Γཱͭɻ
ۃݶఆཧ
֬มͷऩଋ
֬ऩଋ ֬ม ͕ఆ ʹ֬ऩଋ͢Δͱ ʹର͠ɺ ʹ͓͍ͯ {Xn }n∈ℕ c ∀ϵ,
∀δ > 0 ∃N ∈ ℕ n > N ⇒ P(∥Xn − c∥ > ϵ) < δ ⇔ P(∥Xn − c∥ < ϵ) = 1 ͱͳΔ͜ͱͰ͋Δɻ ͜Εେͷऑ๏ଇʹରԠ͍ͯ͠Δɻ Xn c ϵ ඪຊ͕ेʹେ͖͍ͱ͖ɺඪຊฏۉฏۉʹऩଋ͢Δ
๏ଇ ऩଋ ֬มͷྻ ͕֬ม ʹ๏ଇ ऩଋ͢Δͱ ͷ͕֬ Ͱ
ͷ͕֬ Ͱ͋Δͱ͖ɺ ҙͷ༗ք͔ͭ࿈ଓͳؔ ʹରͯ͠ {Xn }n∈ℕ X Xn qn (x) X q(x) F(x) lim n→∞ ∫ F(x)qn (x)dx = ∫ F(x)q(x)dx ⇔ lim n→∞ [F(Xn )] = [F(X)] ͕Γཱͭ͜ͱͰ͋Δɻ͜Εத৺ۃݶఆཧʹରԠ͍ͯ͠Δɻ ඪຊ͕ेʹେ͖͍ͱ͖ɺूஂͷʹؔΘΒͣඪຊฏۉͱฏۉͷࠩਖ਼نʹै͏
ܦݧաఔ
ϢʔΫϦουۭؒʹ͓͚ΔίϯύΫτੑ ϢʔΫϦουۭؒ ͷ෦ू߹ ͕։ू߹ͷ ʹ ͍ͭͯ ͳΒɺͦͷ༗ݶݸͷ։ू߹ Ͱ ℝN W
= {O}λ∈Λ W ⊂ ⋃ λ∈Λ Oλ O1 , …, On ∈ ͱͳΔͷ͕͋Δͱ͖ɺ ίϯύΫτͰ͋Δͱ͍͏ W ⊂ O1 ∪ … ∪ On W O1 , …, On ∈ W
্ۭؔؒͷେͷ๏ଇ ϢʔΫϦουۭؒ ʹΛऔΔ ͕֬ม ͱ ಉ֬͡ʹै͏ͱ͢Δɻ ύϥϝʔλͷू߹ ΛίϯύΫτͱ͢Δɻ ℝN X1
, X2 , …, Xn X w ∈ W ∈ ℝN f(x, w) : ℝN → ℝ1 X [ sup w∈W |f(X, w)|] < ∞, X [ sup w∈W |∇w f(X, w)|] < ∞ ݅ ͕ΓཱͭͱԾఆ͢Δɻ͜ͷͱ͖ɺ ʹ͍ͭͯ ∀ϵ > 0 P( sup w∈W 1 n n ∑ i=1 f(Xi , w) − X [f(X, w)] < ϵ) = 1 ͜ͷ͜ͱΛ্ۭؔؒͷେͷ๏ଇͱ͍͏
ਖ਼ن֬աఔ ू߹ ্ͷؔͰ֬తʹมಈ͢Δͷ ͕ɺ ฏۉؔ ͱ૬ؔؔ Λ࣋ͭਖ਼ن֬աఔͰ͋Δͱɺ ֤ ͝ͱʹ ͕ਖ਼نʹै͏֬มͰ͋Γɺ
W ξ(w) m(w) ρ(w, w′ ) w ξ(w) m(w) = ξ [ξ(w)], ρ(w, w′ ) = ξ [ξ(w)ξ(w′ )] ͕Γཱͭ͜ͱͰ͋Δɻ͜͜Ͱ ɺ֬աఔ ʹ͍ͭͯͷฏۉΛ ද͍ͯ͠ΔɻίϯύΫτू߹্Ͱͷਖ਼ن֬աఔɺ ξ [ ⋅ ] ξ ฏۉؔͱ૬͕ܾؔؔ·ΔͱҰҙʹఆ·Δ͜ͱ͕ΒΕ͍ͯΔɻ
ܦݧաఔ ͭ͗ʹ X[ sup w∈W |f(X, w) − X
[f(X, w)]|α ] < ∞ X[ sup w∈W |∇w (f(X, w) − X [f(X, w)])|α ] < ∞ ͕ ͰΓཱͭͱԾఆ͢Δɻ α = 2 Yn (w) = 1 n n ∑ i=1 (f(Xi , w) − X [f(X, w)]) ͜ͷ֬աఔ Λܦݧաఔͱ͍͏ɻ Yn (w)
ܦݧաఔ ֬աఔ ܦݧաఔ ฏۉ͕ Ͱ૬͕ؔؔ Yn (w) 0
ͷਖ਼ن֬աఔ ʹ๏ଇऩଋ͢Δɻ Y(w) ρ(w, w′ ) = X [f(X, w)f(X, w′ )] − X [f(X, w)]X [f(X, w′ )]
֬աఔͷ๏ଇऩଋ ֬աఔ ܦݧաఔ ͕֬աఔ ʹ๏ଇऩଋ͢Δͱɺ ༗ք࿈ଓͳ൚ؔ ʹ͍ͭͯ Yn (w)
Y(w) F( ⋅ ) ͕Γཱͭͱ͍͏͜ͱͰ͋Δɻͳ͓ɺ൚ؔ ͕࿈ଓͰ͋Δͱ F( ⋅ ) lim n→∞ [F(Yn )] = Y [F(Y)] lim n→∞ sup w∈W |fn (w) − f(w)| → 0 ⇒ lim n→∞ F(fn ) = F(f ) ͕Γཱͭ͜ͱͰ͋Δɻ ͜ͷΑ͏ͳܗͷఆཧΛ্ۭؔؒͷத৺ۃݶఆཧͱ͍͏ɻ
ࢀߟࢿྉ w ֬ೖ ล w ܦݧաఔͱ ล w ϕΠζ౷ܭͷཧͱํ๏ ล
w ଌɾ֬ɾϧϕʔάੵ ݪܒհ