CompML 統計的学習理論の基礎 I Masanari Kimura (@machinery81)

CompML TL;DR ● 統計的学習理論の基礎的な事項のまとめ ● 第一回は以下のトピックについて： ● 種々の収束概念 ● 確率収束 ● 概収束 ● UCEP property ● ASCEP property ● UCEM property ● PAC Learning 2

CompML Uniform Convergence

CompML (, )：可測空間，：確率測度 からi.i.d.に生成された! , … , " から計算される ∈ の経験確率 + ; " = ## ∈ = 1 1 #$! " % # 気になるのは， ● + (; " )がちゃんと()に収束するのか？ ● もしそうならば，どのように収束するのか？ 4 経験確率（Empirical Probability）

CompML 確率収束（Converges in Probability） 定義．ある > 0について ! % ; ! − () > → 0 ( → ∞) のとき， % (; ! )は()に確率収束するという． 同値な表現として， ∀, > 0, ∃" , > 0 . . ! % ; ! − > ≤ ∀ ≥ "

CompML 概収束（Converges almost surely） 定義．経験確率について # % ; ! → → ∞ = 1 となるとき， % (; ! )は()に概収束するという． 概収束は確率収束より強い： % ; ! $.&. () ⟹ % (; ! ) → ' ()

CompML 経験確率は真の確率に確率収束する （証明）インジケータ関数( ()はBernoulli過程とみなせる： ( = 1 = 従って，Chernoffの不等式から ! % ; ! − () > ≤ 2 exp −2) が得られる．従って， → ∞で ! % ; ! − () > → 0であるので， % (; ! )は()に確率収束することが証明された． □ 実はもっと強く，経験確率は真の確率に概収束する．

CompML UCEP; Uniform Convergence of Empirical Probabilities 単一のではなく，その集合 ⊂ を考える． 定義．あるについて， ! sup (∈ % − () > → 0 ( → 0) が成り立つとき，はUCEP propertyを持つという．

CompML ASCEP; Almost Sure Convergence of Empirical Probabilities 定義．あるについて， # sup (∈ % ! − () → 0 → ∞ = 1 が成り立つとき，はASCEP propertyを持つという．

CompML UCEM; Uniform Convergence of Empirical Means 確率変数についての関数の経験平均を以下のように書く： F () = 1 I ,-. ! , 定義．ある関数クラスℱについて， ! sup /∈ℱ F − > → 0 ( → 0) が成り立つとき，ℱはUCEM propertyを持つという．

CompML PAC Learning

CompML Learning Concepts ● 未知の関数または概念を学習するとはどういうことか？ ● より強くいうと，汎化するとはどういうことか？ ● 学習理論における基本的なパーツは ○ 集合 ○ 加法族 ○ 可測空間(, )の確率測度のクラス ○ conceptクラス ⊂ または関数クラスℱ

CompML Concept Learning 目的は，観測. , … , ! に基づいて未知のtarget concept ∈ を学習すること． ● 各, について，それがに含まれるかどうかを1 (, )で表す（オラクル） ● これらのペアから，写像の族（アルゴリズム）を考える： ! : × 0,1 ! → このアルゴリズムによって生成される仮説（hypothesis） ! = ! . , 1 . , … , ! , 1 !

CompML PAC学習可能；Probability Approximately Correct 定義．アルゴリズム! は以下を満たすとき精度でPAC学習可能であるという： sup 1∈2 ! 3 , ! > → 0 ( → 0) ここで3 は仮説とtarget conceptの間の何らかのエラーに当たる． 同値な表現：! は任意の, > 0について，ある" (, )が存在して以下を満た すときPAC学習可能： ! 3 , ! > ≤ , ∀ ≥ "

CompML まとめ ● 統計的学習理論の準備として幾つかの基礎的な事項をまとめた ● 確率収束，概収束 ● PAC学習可能性

CompML 参考文献 ● Shalev-Shwartz, S., Ben-David, S. (2014). Understanding Machine Learning - From Theory to Algorithms.. Cambridge University Press. ISBN: 978-1-10-705713-5 ● Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2018.