Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
統計的学習理論の基礎 I
Search
Masanari Kimura
December 11, 2020
Research
3
490
統計的学習理論の基礎 I
Masanari Kimura
December 11, 2020
Tweet
Share
More Decks by Masanari Kimura
See All by Masanari Kimura
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
mkimura
0
250
機械学習における重要度重み付けとその応用
mkimura
3
2.4k
Paper Intro: Human Rademacher Complexity
mkimura
0
120
On the principle of Invariant Risk Minimization
mkimura
0
260
論文紹介:Clustering with Bregman Divergences: an Asymptotic Analysis
mkimura
0
450
Generalization Bounds for Set-to-Set Matching with Negative Sampling
mkimura
0
110
論文紹介:On the Importance of Gradients for Detecting Distributional Shifts in the Wild
mkimura
2
570
論文紹介:Dangers of Bayesian Model Averaging under Covariate Shift
mkimura
0
300
Information Geometry of Dropout Training
mkimura
0
250
Other Decks in Research
See All in Research
Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
satai
3
160
ECCV2024読み会: Minimalist Vision with Freeform Pixels
hsmtta
1
430
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
5
1.1k
資産間の相関関係を頑健に評価する指標を用いたファクターアローケーション戦略の構築
nomamist
0
140
大規模言語モデルを用いたニュースデータのセンチメント判定モデルの開発および実体経済センチメントインデックスの構成
nomamist
1
130
Gemini と Looker で営業DX をドライブする / Driving Sales DX with Gemini and Looker
sansan_randd
0
130
o1 pro mode の調査レポート
smorce
0
130
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1.4k
ダイナミックプライシング とその実例
skmr2348
3
610
サーブレシーブ成功率は勝敗に影響するか?
vball_panda
0
550
国際会議ACL2024参加報告
chemical_tree
1
440
メタヒューリスティクスに基づく汎用線形整数計画ソルバーの開発
snowberryfield
3
790
Featured
See All Featured
Scaling GitHub
holman
459
140k
Designing for humans not robots
tammielis
250
25k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
260
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Gamification - CAS2011
davidbonilla
80
5.2k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Building Applications with DynamoDB
mza
93
6.2k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
CompML 統計的学習理論の基礎 I Masanari Kimura (@machinery81)
CompML TL;DR • 統計的学習理論の基礎的な事項のまとめ • 第一回は以下のトピックについて: • 種々の収束概念 • 確率収束
• 概収束 • UCEP property • ASCEP property • UCEM property • PAC Learning 2
CompML Uniform Convergence
CompML (, ):可測空間,:確率測度 からi.i.d.に生成された! , … , " から計算される ∈
の経験確率 + ; " = ## ∈ = 1 1 #$! " % # 気になるのは, • + (; " )がちゃんと()に収束するのか? • もしそうならば,どのように収束するのか? 4 経験確率(Empirical Probability)
CompML 確率収束(Converges in Probability) 定義.ある > 0について ! % ;
! − () > → 0 ( → ∞) のとき, % (; ! )は()に確率収束するという. 同値な表現として, ∀, > 0, ∃" , > 0 . . ! % ; ! − > ≤ ∀ ≥ "
CompML 概収束(Converges almost surely) 定義.経験確率について # % ; ! →
→ ∞ = 1 となるとき, % (; ! )は()に概収束するという. 概収束は確率収束より強い: % ; ! $.&. () ⟹ % (; ! ) → ' ()
CompML 経験確率は真の確率に確率収束する (証明)インジケータ関数( ()はBernoulli過程とみなせる: ( = 1 = 従って,Chernoffの不等式から !
% ; ! − () > ≤ 2 exp −2) が得られる.従って, → ∞で ! % ; ! − () > → 0であるので, % (; ! )は()に確率収束することが証明された. □ 実はもっと強く,経験確率は真の確率に概収束する.
CompML UCEP; Uniform Convergence of Empirical Probabilities 単一のではなく,その集合 ⊂ を考える.
定義.あるについて, ! sup (∈ % − () > → 0 ( → 0) が成り立つとき,はUCEP propertyを持つという.
CompML ASCEP; Almost Sure Convergence of Empirical Probabilities 定義.あるについて, #
sup (∈ % ! − () → 0 → ∞ = 1 が成り立つとき,はASCEP propertyを持つという.
CompML UCEM; Uniform Convergence of Empirical Means 確率変数についての関数の経験平均を以下のように書く: F ()
= 1 I ,-. ! , 定義.ある関数クラスℱについて, ! sup /∈ℱ F − > → 0 ( → 0) が成り立つとき,ℱはUCEM propertyを持つという.
CompML PAC Learning
CompML Learning Concepts • 未知の関数または概念を学習するとはどういうことか? • より強くいうと,汎化するとはどういうことか? • 学習理論における基本的なパーツは ◦
集合 ◦ 加法族 ◦ 可測空間(, )の確率測度のクラス ◦ conceptクラス ⊂ または関数クラスℱ
CompML Concept Learning 目的は,観測. , … , ! に基づいて未知のtarget concept
∈ を学習すること. • 各, について,それがに含まれるかどうかを1 (, )で表す(オラクル) • これらのペアから,写像の族(アルゴリズム)を考える: ! : × 0,1 ! → このアルゴリズムによって生成される仮説(hypothesis) ! = ! . , 1 . , … , ! , 1 !
CompML PAC学習可能;Probability Approximately Correct 定義.アルゴリズム! は以下を満たすとき精度でPAC学習可能であるという: sup 1∈2 ! 3
, ! > → 0 ( → 0) ここで3 は仮説とtarget conceptの間の何らかのエラーに当たる. 同値な表現:! は任意の, > 0について,ある" (, )が存在して以下を満た すときPAC学習可能: ! 3 , ! > ≤ , ∀ ≥ "
CompML まとめ • 統計的学習理論の準備として幾つかの基礎的な事項をまとめた • 確率収束,概収束 • PAC学習可能性
CompML 参考文献 • Shalev-Shwartz, S., Ben-David, S. (2014). Understanding Machine
Learning - From Theory to Algorithms.. Cambridge University Press. ISBN: 978-1-10-705713-5 • Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2018.