機械学習のための 統計力学＆解析力学入門

ver1.0 2017/11/14
ver1.1 2017/11/16

Transcript

1. 機械学習のための 統計力学＆解析力学入門 ver1.1 2017/11/16 Etsuji Nakai (@enakai00)
2. 統計力学の基礎
3. 熱力学系とは？ • 多数のミクロな物質が集まった観測対象物 • ミクロな内部状態を無視して、マクロな状態のみを観測 • ミクロな内部状態は時々刻々と変化する • マクロな状態は一定と見なせる ◦ 例：気体の圧力 ―― ミクロには分子が壁に衝突す る際の力で、瞬間ごとに値は異なる。マクロにはそ の平均値が観測される。
4. 熱力学系の例 • 小正準集団（Microcanonical Emsemble） ◦ 周囲とのエネルギーのやり取りがない孤立系 ◦ ミクロな内部状態のエネルギーは一定に保たれる（エネルギー保存則） • 正準集団（Canonical Emsemble） ◦ 温度一定の巨大な「熱浴」と接した系 ◦ 熱浴とのエネルギーのやりとりがあるため、系のエネルギーに小さなゆらぎが 生じる（「熱浴」＋「系」の全エネルギーは一定）
5. アンサンブルとは？ • 一定時間 T の間、ミクロな状態を微小な時間間隔 Δt で観測して集めた「ス ナップショット」の集合 ◦ Δt → 0 の極限で、無限個のスナップショットが得られる • ある物理量について、アンサンブル（に含まれる無限個の状態）に対する平 均値を計算することで、マクロな観測値が計算できる ◦ 原理的には、アンサンブルの「統計分布」を知ることで、任意の物理量の観測値 が計算できることになる
6. 小正準集団の分布 • 小正準集団では、アンサンブルに含まれるすべての状態は同じエネルギー E を持つ ◦ エネルギー保存則より成り立つ • 同じエネルギーの個々の状態は、すべて同じ頻度で出現する ◦ 解析力学における「リウビルの定理」と「エルゴード仮説」によって成り立つ ⇒ 後ほど詳しく説明
7. 正準集団の分布 • 正準集団では、系 A におけるエネルギー E の状態の出現確率は、次式で 与えられる（正準分布／ボルツマン分布） ◦ k : ボルツマン定数 ◦ T : 熱浴の温度 ※ 上記は、個々のミクロな状態の出現確率を表わすもので、同じエネルギーの 　状態が複数ある場合は、それぞれが上記の確率で出現する
8. 正準集団の分布（詳細計算） • 「系 A」＋「熱浴 B」の全エネルギーを E とする ◦ 系 A のエネルギーが E A の時、熱浴 B のエネルギーは E - E A ◦ システム全体がとり得る状態数は （W A , W B は、特定のエネルギーに対応する A と B の状態数） ◦ 系 A がエネルギー E A の特定の状態にある時、熱浴 B がとり得る状態数は ◦ 従って、系 A がエネルギー E A の特定の状態にある確率（割合）は
9. 正準集団の分布（詳細計算） • 熱浴の状態数は、熱浴のエネルギーに対して指数的に変化するので（証明 は略）、対数を取ると線形近似が可能 ◦ 熱力学系のエントロピー S を次で定義して、 　 より、次の近似が成り立つ ◦ ここで、次式の T は、熱浴の温度に一致する（証明は略）
10. 正準分布の応用例
11. 二次元イジングモデル • 平面上の格子点に「スピン」が配置されている • 個々のスピンは ↑（S=1）↓（S=-1）のどちらかの 状態を取る • 隣あったスピンの間にエネルギーが生じる ◦ 同じ向きなら -2J ◦ 逆向きなら +2J ◦ スピンの状態を S 1 =±1, S 2 = ±1 として、E = -2JS 1 S 2 • 外部磁場 H をかけるとすべてのスピンに一様に E = -HS のエネルギーが加わる
12. 二次元イジングモデル • あるスピン S に注目して、周りの4つのスピンの状態を S 1 〜S 4 とすると、そのスピン が担うエネルギーは（スピン間エネルギーは2個で分け合うとして） 　 • この時、スピン S が上を向く確率は
13. 二次元イジングモデル • 特に S 1 〜S 4 = +1, H = 0 の場合、スピンが上を向く確率は、温度 T の関数として次 のように変化する。 ◦ 低温では、まわりのスピンと同じ向きになる確率が高い ◦ 高温では、スピンの向きはランダムになる（上下が等確率で出現する）
14. ギブスサンプリング • 個々のスピンが前述の確率分布に従う時、平面上のスピン全体の同時確率分布を 知りたい ◦ 全スピンの合計値のアンサンブル平均から、この物質の「磁化」が計算される • 次の手続きで近似的なサンプリングを実施 a. 初期状態をランダムに決める b. １つのスピンを選択して、前述の確率に従ってスピンの方向を決める c. この状態（すべてのスピンの状態）を１つのサンプルとして取得する d. b.〜c. の手続きをすべてのスピンについて何度も繰り返す
15. ギブスサンプリングの実行例 • サンプリングを長期間実施した後に、1つのサンプルを取得した結果 ◦ 温度と外部磁場によって系の振る舞いが変化することが分かる 外部磁場がない場合 外部磁場がある場合
16. ギブスサンプリングの実行例 • 問題 ◦ 鉄片に強い磁場をかけた状態で、熱した後に冷やすと磁石になります。 ◦ これを磁場のない状態で熱した後に冷やすと磁石でなくなります。 ◦ これらの現象を前ページのサンプリング結果を用いて説明しなさい。
17. 機械学習への応用例
18. PRML 8.3.3 Illustration: Image de-noising
19. PRML 8.3.3 Illustration: Image de-noising http://enakai00.hatenablog.com/entry/2017/11/14/075328
20. 解析力学とエネルギー保存則
21. ニュートンの運動方程式 • 例：重力 mg を受ける物体の放物運動
22. ニュートンの運動方程式の課題 • 直交座標系以外では表式が複雑になる ◦ 前ページの例を極座標で表示した場合（見かけがまったく異なる） • 2階の微分方程式なので時間発展を直感的に把握しにくい ◦ ある時刻の座標 x を特定しても、次の瞬間の座標は一意に決まらない（座標の 1階微分、すなわち、その瞬間の速度にも結果が依存する）
23. ハミルトンの運動方程式 • 変数を2倍に増やして、同値な1階の微分方程式に変形する ◦ 下記のように置くと、上記は放物運動のニュートン方程式と等価になる • これにより、系の時間発展が1階の微分方程式で記述される ⇒ 相空間 (p, q) の1点を決めると次の瞬間の座標が一意に決定される ← ハミルトニアン
24. 正準変換 • 母関数 W(p, Q) を用いて変数変換すると方程式の形が不変に保たれる ◦ 下記の関係を用いて (p, q) ⇔ (P, Q) の変換を行う 　 ◦ この時、新しい変数 (P, Q) は次の関係を満たす（証明は略）
25. 正準変換 • 例えば、母関数 を用いて、次の変数変換を行うと、極座標が得られる。
26. • 具体的に計算すると・・・ 　 ◦ この時、次の方程式は４ページ前の極座標での運動方程式に一致する 正準変換
27. • 直交座標系でのハミルトニアンは、対象とする系の全エネルギー（運動エネルギー ＋位置エネルギー）に一致する • ハミルトンの運動方程式より、ハミルトニアン H の値は（ H が陽に時刻 t に依存して いなければ）変化しないことが証明できる ⇒ 一般に、ハミルトニアン H の値をその系の「エネルギー」と定義することで、 　 エネルギー保存則が普遍的に成立する。 エネルギー保存則
28. リウビルの定理とエルゴード仮説
29. リウビルの定理 • 相空間 (p, q) の連結部分の各点が運動方程式に従って移動する時、連結部分の体 積は不変に保たれる（リウビルの定理） • 一次元 (p, q) の場合で証明する ◦ 密度 ρ(p, q) で相空間に分布する点の集合の運動は、連続方程式を満たす ◦ これを用いると密度関数の時間発展は次式になる ◦ ハミルトンの運動方程式を代入すると、上記は 0 になる。つまり、相空間に分布する点は 密度を一定に保って運動するので、体積が増減することはない
30. エルゴード仮説 • リウビルの定理より、相空間上の（同一のエネルギーを持つ）すべての点は「平等」 と言える。つまり、特別に点があつまりやすい場所というものはなく、熱力学系にお いて、同一エネルギーのすべての点（状態）が均等に実現すると期待される • ただし、これが成り立つには、相空間上に「到達不可能な点」が存在しないことが前 提となる。熱力学系では、（十分に乱雑な）任意の初期状態から、すべての点が到達 可能であることを暗黙の前提とする ⇒ エルゴード仮説
31. Thank You.