Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習のための 統計力学&解析力学入門

Da467feb3ca0106d571915faedb714f2?s=47 Etsuji Nakai
November 14, 2017

機械学習のための 統計力学&解析力学入門

ver1.0 2017/11/14
ver1.1 2017/11/16

Da467feb3ca0106d571915faedb714f2?s=128

Etsuji Nakai

November 14, 2017
Tweet

More Decks by Etsuji Nakai

Other Decks in Science

Transcript

  1. 機械学習のための 統計力学&解析力学入門 ver1.1 2017/11/16 Etsuji Nakai (@enakai00)

  2. 統計力学の基礎

  3. 熱力学系とは? • 多数のミクロな物質が集まった観測対象物 • ミクロな内部状態を無視して、マクロな状態のみを観測 • ミクロな内部状態は時々刻々と変化する • マクロな状態は一定と見なせる ◦

    例:気体の圧力 ―― ミクロには分子が壁に衝突す る際の力で、瞬間ごとに値は異なる。マクロにはそ の平均値が観測される。
  4. 熱力学系の例 • 小正準集団(Microcanonical Emsemble) ◦ 周囲とのエネルギーのやり取りがない孤立系 ◦ ミクロな内部状態のエネルギーは一定に保たれる(エネルギー保存則) • 正準集団(Canonical

    Emsemble) ◦ 温度一定の巨大な「熱浴」と接した系 ◦ 熱浴とのエネルギーのやりとりがあるため、系のエネルギーに小さなゆらぎが 生じる(「熱浴」+「系」の全エネルギーは一定)
  5. アンサンブルとは? • 一定時間 T の間、ミクロな状態を微小な時間間隔 Δt で観測して集めた「ス ナップショット」の集合 ◦ Δt

    → 0 の極限で、無限個のスナップショットが得られる • ある物理量について、アンサンブル(に含まれる無限個の状態)に対する平 均値を計算することで、マクロな観測値が計算できる ◦ 原理的には、アンサンブルの「統計分布」を知ることで、任意の物理量の観測値 が計算できることになる
  6. 小正準集団の分布 • 小正準集団では、アンサンブルに含まれるすべての状態は同じエネルギー E を持つ ◦ エネルギー保存則より成り立つ • 同じエネルギーの個々の状態は、すべて同じ頻度で出現する ◦

    解析力学における「リウビルの定理」と「エルゴード仮説」によって成り立つ ⇒ 後ほど詳しく説明
  7. 正準集団の分布 • 正準集団では、系 A におけるエネルギー E の状態の出現確率は、次式で 与えられる(正準分布/ボルツマン分布) ◦ k

    : ボルツマン定数 ◦ T : 熱浴の温度 ※ 上記は、個々のミクロな状態の出現確率を表わすもので、同じエネルギーの  状態が複数ある場合は、それぞれが上記の確率で出現する
  8. 正準集団の分布(詳細計算) • 「系 A」+「熱浴 B」の全エネルギーを E とする ◦ 系 A

    のエネルギーが E A の時、熱浴 B のエネルギーは E - E A ◦ システム全体がとり得る状態数は (W A , W B は、特定のエネルギーに対応する A と B の状態数) ◦ 系 A がエネルギー E A の特定の状態にある時、熱浴 B がとり得る状態数は ◦ 従って、系 A がエネルギー E A の特定の状態にある確率(割合)は
  9. 正準集団の分布(詳細計算) • 熱浴の状態数は、熱浴のエネルギーに対して指数的に変化するので(証明 は略)、対数を取ると線形近似が可能 ◦ 熱力学系のエントロピー S を次で定義して、   より、次の近似が成り立つ

    ◦ ここで、次式の T は、熱浴の温度に一致する(証明は略)
  10. 正準分布の応用例

  11. 二次元イジングモデル • 平面上の格子点に「スピン」が配置されている • 個々のスピンは ↑(S=1)↓(S=-1)のどちらかの 状態を取る • 隣あったスピンの間にエネルギーが生じる ◦

    同じ向きなら -2J ◦ 逆向きなら +2J ◦ スピンの状態を S 1 =±1, S 2 = ±1 として、E = -2JS 1 S 2 • 外部磁場 H をかけるとすべてのスピンに一様に E = -HS のエネルギーが加わる
  12. 二次元イジングモデル • あるスピン S に注目して、周りの4つのスピンの状態を S 1 〜S 4 とすると、そのスピン

    が担うエネルギーは(スピン間エネルギーは2個で分け合うとして)   • この時、スピン S が上を向く確率は
  13. 二次元イジングモデル • 特に S 1 〜S 4 = +1, H

    = 0 の場合、スピンが上を向く確率は、温度 T の関数として次 のように変化する。 ◦ 低温では、まわりのスピンと同じ向きになる確率が高い ◦ 高温では、スピンの向きはランダムになる(上下が等確率で出現する)
  14. ギブスサンプリング • 個々のスピンが前述の確率分布に従う時、平面上のスピン全体の同時確率分布を 知りたい ◦ 全スピンの合計値のアンサンブル平均から、この物質の「磁化」が計算される • 次の手続きで近似的なサンプリングを実施 a. 初期状態をランダムに決める

    b. 1つのスピンを選択して、前述の確率に従ってスピンの方向を決める c. この状態(すべてのスピンの状態)を1つのサンプルとして取得する d. b.〜c. の手続きをすべてのスピンについて何度も繰り返す
  15. ギブスサンプリングの実行例 • サンプリングを長期間実施した後に、1つのサンプルを取得した結果 ◦ 温度と外部磁場によって系の振る舞いが変化することが分かる 外部磁場がない場合 外部磁場がある場合

  16. ギブスサンプリングの実行例 • 問題 ◦ 鉄片に強い磁場をかけた状態で、熱した後に冷やすと磁石になります。 ◦ これを磁場のない状態で熱した後に冷やすと磁石でなくなります。 ◦ これらの現象を前ページのサンプリング結果を用いて説明しなさい。

  17. 機械学習への応用例

  18. PRML 8.3.3 Illustration: Image de-noising

  19. PRML 8.3.3 Illustration: Image de-noising http://enakai00.hatenablog.com/entry/2017/11/14/075328

  20. 解析力学とエネルギー保存則

  21. ニュートンの運動方程式 • 例:重力 mg を受ける物体の放物運動

  22. ニュートンの運動方程式の課題 • 直交座標系以外では表式が複雑になる ◦ 前ページの例を極座標で表示した場合(見かけがまったく異なる) • 2階の微分方程式なので時間発展を直感的に把握しにくい ◦ ある時刻の座標 x

    を特定しても、次の瞬間の座標は一意に決まらない(座標の 1階微分、すなわち、その瞬間の速度にも結果が依存する)
  23. ハミルトンの運動方程式 • 変数を2倍に増やして、同値な1階の微分方程式に変形する ◦ 下記のように置くと、上記は放物運動のニュートン方程式と等価になる • これにより、系の時間発展が1階の微分方程式で記述される ⇒ 相空間 (p,

    q) の1点を決めると次の瞬間の座標が一意に決定される ← ハミルトニアン
  24. 正準変換 • 母関数 W(p, Q) を用いて変数変換すると方程式の形が不変に保たれる ◦ 下記の関係を用いて (p, q)

    ⇔ (P, Q) の変換を行う   ◦ この時、新しい変数 (P, Q) は次の関係を満たす(証明は略)
  25. 正準変換 • 例えば、母関数 を用いて、次の変数変換を行うと、極座標が得られる。

  26. • 具体的に計算すると・・・   ◦ この時、次の方程式は4ページ前の極座標での運動方程式に一致する 正準変換

  27. • 直交座標系でのハミルトニアンは、対象とする系の全エネルギー(運動エネルギー +位置エネルギー)に一致する • ハミルトンの運動方程式より、ハミルトニアン H の値は( H が陽に時刻 t

    に依存して いなければ)変化しないことが証明できる ⇒ 一般に、ハミルトニアン H の値をその系の「エネルギー」と定義することで、   エネルギー保存則が普遍的に成立する。 エネルギー保存則
  28. リウビルの定理とエルゴード仮説

  29. リウビルの定理 • 相空間 (p, q) の連結部分の各点が運動方程式に従って移動する時、連結部分の体 積は不変に保たれる(リウビルの定理) • 一次元 (p,

    q) の場合で証明する ◦ 密度 ρ(p, q) で相空間に分布する点の集合の運動は、連続方程式を満たす ◦ これを用いると密度関数の時間発展は次式になる ◦ ハミルトンの運動方程式を代入すると、上記は 0 になる。つまり、相空間に分布する点は 密度を一定に保って運動するので、体積が増減することはない
  30. エルゴード仮説 • リウビルの定理より、相空間上の(同一のエネルギーを持つ)すべての点は「平等」 と言える。つまり、特別に点があつまりやすい場所というものはなく、熱力学系にお いて、同一エネルギーのすべての点(状態)が均等に実現すると期待される • ただし、これが成り立つには、相空間上に「到達不可能な点」が存在しないことが前 提となる。熱力学系では、(十分に乱雑な)任意の初期状態から、すべての点が到達 可能であることを暗黙の前提とする ⇒

    エルゴード仮説
  31. Thank You.