Slide 1
Slide 1 text
機械学習のための
統計力学＆解析力学入門
ver1.1 2017/11/16
Etsuji Nakai (@enakai00)
Slide 2
Slide 2 text
統計力学の基礎
Slide 3
Slide 3 text
熱力学系とは？
● 多数のミクロな物質が集まった観測対象物
● ミクロな内部状態を無視して、マクロな状態のみを観測
● ミクロな内部状態は時々刻々と変化する
● マクロな状態は一定と見なせる
○ 例：気体の圧力 ―― ミクロには分子が壁に衝突す
る際の力で、瞬間ごとに値は異なる。マクロにはそ
の平均値が観測される。
Slide 4
Slide 4 text
熱力学系の例
● 小正準集団（Microcanonical Emsemble）
○ 周囲とのエネルギーのやり取りがない孤立系
○ ミクロな内部状態のエネルギーは一定に保たれる（エネルギー保存則）
● 正準集団（Canonical Emsemble）
○ 温度一定の巨大な「熱浴」と接した系
○ 熱浴とのエネルギーのやりとりがあるため、系のエネルギーに小さなゆらぎが
生じる（「熱浴」＋「系」の全エネルギーは一定）
Slide 5
Slide 5 text
アンサンブルとは？
● 一定時間 T の間、ミクロな状態を微小な時間間隔 Δt で観測して集めた「ス
ナップショット」の集合
○ Δt → 0 の極限で、無限個のスナップショットが得られる
● ある物理量について、アンサンブル（に含まれる無限個の状態）に対する平
均値を計算することで、マクロな観測値が計算できる
○ 原理的には、アンサンブルの「統計分布」を知ることで、任意の物理量の観測値
が計算できることになる
Slide 6
Slide 6 text
小正準集団の分布
● 小正準集団では、アンサンブルに含まれるすべての状態は同じエネルギー
E を持つ
○ エネルギー保存則より成り立つ
● 同じエネルギーの個々の状態は、すべて同じ頻度で出現する
○ 解析力学における「リウビルの定理」と「エルゴード仮説」によって成り立つ
⇒ 後ほど詳しく説明
Slide 7
Slide 7 text
正準集団の分布
● 正準集団では、系 A におけるエネルギー E の状態の出現確率は、次式で
与えられる（正準分布／ボルツマン分布）
○ k : ボルツマン定数
○ T : 熱浴の温度
※ 上記は、個々のミクロな状態の出現確率を表わすもので、同じエネルギーの
状態が複数ある場合は、それぞれが上記の確率で出現する
Slide 8
Slide 8 text
正準集団の分布（詳細計算）
● 「系 A」＋「熱浴 B」の全エネルギーを E とする
○ 系 A のエネルギーが E
A
の時、熱浴 B のエネルギーは E - E
A
○ システム全体がとり得る状態数は
（W
A
, W
B
は、特定のエネルギーに対応する A と B の状態数）
○ 系 A がエネルギー E
A
の特定の状態にある時、熱浴 B がとり得る状態数は
○ 従って、系 A がエネルギー E
A
の特定の状態にある確率（割合）は
Slide 9
Slide 9 text
正準集団の分布（詳細計算）
● 熱浴の状態数は、熱浴のエネルギーに対して指数的に変化するので（証明
は略）、対数を取ると線形近似が可能
○ 熱力学系のエントロピー S を次で定義して、
より、次の近似が成り立つ
○ ここで、次式の T は、熱浴の温度に一致する（証明は略）
Slide 10
Slide 10 text
正準分布の応用例
Slide 11
Slide 11 text
二次元イジングモデル
● 平面上の格子点に「スピン」が配置されている
● 個々のスピンは ↑（S=1）↓（S=-1）のどちらかの
状態を取る
● 隣あったスピンの間にエネルギーが生じる
○ 同じ向きなら -2J
○ 逆向きなら +2J
○ スピンの状態を S
1
=±1, S
2
= ±1 として、E = -2JS
1
S
2
● 外部磁場 H をかけるとすべてのスピンに一様に E = -HS のエネルギーが加わる
Slide 12
Slide 12 text
二次元イジングモデル
● あるスピン S に注目して、周りの4つのスピンの状態を S
1
〜S
4
とすると、そのスピン
が担うエネルギーは（スピン間エネルギーは2個で分け合うとして）
● この時、スピン S が上を向く確率は
Slide 13
Slide 13 text
二次元イジングモデル
● 特に S
1
〜S
4
= +1, H = 0 の場合、スピンが上を向く確率は、温度 T の関数として次
のように変化する。
○ 低温では、まわりのスピンと同じ向きになる確率が高い
○ 高温では、スピンの向きはランダムになる（上下が等確率で出現する）
Slide 14
Slide 14 text
ギブスサンプリング
● 個々のスピンが前述の確率分布に従う時、平面上のスピン全体の同時確率分布を
知りたい
○ 全スピンの合計値のアンサンブル平均から、この物質の「磁化」が計算される
● 次の手続きで近似的なサンプリングを実施
a. 初期状態をランダムに決める
b. １つのスピンを選択して、前述の確率に従ってスピンの方向を決める
c. この状態（すべてのスピンの状態）を１つのサンプルとして取得する
d. b.〜c. の手続きをすべてのスピンについて何度も繰り返す
Slide 15
Slide 15 text
ギブスサンプリングの実行例
● サンプリングを長期間実施した後に、1つのサンプルを取得した結果
○ 温度と外部磁場によって系の振る舞いが変化することが分かる
外部磁場がない場合 外部磁場がある場合
Slide 16
Slide 16 text
ギブスサンプリングの実行例
● 問題
○ 鉄片に強い磁場をかけた状態で、熱した後に冷やすと磁石になります。
○ これを磁場のない状態で熱した後に冷やすと磁石でなくなります。
○ これらの現象を前ページのサンプリング結果を用いて説明しなさい。
Slide 17
Slide 17 text
機械学習への応用例
Slide 18
Slide 18 text
PRML 8.3.3 Illustration: Image de-noising
Slide 19
Slide 19 text
PRML 8.3.3 Illustration: Image de-noising
http://enakai00.hatenablog.com/entry/2017/11/14/075328
Slide 20
Slide 20 text
解析力学とエネルギー保存則
Slide 21
Slide 21 text
ニュートンの運動方程式
● 例：重力 mg を受ける物体の放物運動
Slide 22
Slide 22 text
ニュートンの運動方程式の課題
● 直交座標系以外では表式が複雑になる
○ 前ページの例を極座標で表示した場合（見かけがまったく異なる）
● 2階の微分方程式なので時間発展を直感的に把握しにくい
○ ある時刻の座標 x を特定しても、次の瞬間の座標は一意に決まらない（座標の
1階微分、すなわち、その瞬間の速度にも結果が依存する）
Slide 23
Slide 23 text
ハミルトンの運動方程式
● 変数を2倍に増やして、同値な1階の微分方程式に変形する
○ 下記のように置くと、上記は放物運動のニュートン方程式と等価になる
● これにより、系の時間発展が1階の微分方程式で記述される
⇒ 相空間 (p, q) の1点を決めると次の瞬間の座標が一意に決定される
← ハミルトニアン
Slide 24
Slide 24 text
正準変換
● 母関数 W(p, Q) を用いて変数変換すると方程式の形が不変に保たれる
○ 下記の関係を用いて (p, q) ⇔ (P, Q) の変換を行う
○ この時、新しい変数 (P, Q) は次の関係を満たす（証明は略）
Slide 25
Slide 25 text
正準変換
● 例えば、母関数
を用いて、次の変数変換を行うと、極座標が得られる。
Slide 26
Slide 26 text
● 具体的に計算すると・・・
○ この時、次の方程式は４ページ前の極座標での運動方程式に一致する
正準変換
Slide 27
Slide 27 text
● 直交座標系でのハミルトニアンは、対象とする系の全エネルギー（運動エネルギー
＋位置エネルギー）に一致する
● ハミルトンの運動方程式より、ハミルトニアン H の値は（ H が陽に時刻 t に依存して
いなければ）変化しないことが証明できる
⇒ 一般に、ハミルトニアン H の値をその系の「エネルギー」と定義することで、
エネルギー保存則が普遍的に成立する。
エネルギー保存則
Slide 28
Slide 28 text
リウビルの定理とエルゴード仮説
Slide 29
Slide 29 text
リウビルの定理
● 相空間 (p, q) の連結部分の各点が運動方程式に従って移動する時、連結部分の体
積は不変に保たれる（リウビルの定理）
● 一次元 (p, q) の場合で証明する
○ 密度 ρ(p, q) で相空間に分布する点の集合の運動は、連続方程式を満たす
○ これを用いると密度関数の時間発展は次式になる
○ ハミルトンの運動方程式を代入すると、上記は 0 になる。つまり、相空間に分布する点は
密度を一定に保って運動するので、体積が増減することはない
Slide 30
Slide 30 text
エルゴード仮説
● リウビルの定理より、相空間上の（同一のエネルギーを持つ）すべての点は「平等」
と言える。つまり、特別に点があつまりやすい場所というものはなく、熱力学系にお
いて、同一エネルギーのすべての点（状態）が均等に実現すると期待される
● ただし、これが成り立つには、相空間上に「到達不可能な点」が存在しないことが前
提となる。熱力学系では、（十分に乱雑な）任意の初期状態から、すべての点が到達
可能であることを暗黙の前提とする
⇒ エルゴード仮説
Slide 31
Slide 31 text
Thank You.