Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習のための 統計力学&解析力学入門
Search
Etsuji Nakai
November 14, 2017
Science
17
11k
機械学習のための 統計力学&解析力学入門
ver1.0 2017/11/14
ver1.1 2017/11/16
Etsuji Nakai
November 14, 2017
Tweet
Share
More Decks by Etsuji Nakai
See All by Etsuji Nakai
Lecture course on Microservices : Part 1
enakai00
1
2.9k
Lecture course on Microservices : Part 2
enakai00
1
2.9k
Lecture course on Microservices : Part 3
enakai00
1
2.9k
Lecture course on Microservices : Part 4
enakai00
1
2.9k
JAX / Flax 入門
enakai00
1
380
生成 AI の基礎 〜 サンプル実装で学ぶ基本原理
enakai00
7
3.6k
大規模言語モデルを支える分散学習インフラ Pathways
enakai00
3
430
Python × 数学ブートキャンプガイド
enakai00
1
670
Riemann幾何学ユーザーのための情報幾何学入門
enakai00
0
340
Other Decks in Science
See All in Science
創薬における機械学習技術について
kanojikajino
13
4.1k
How were Quaternion discovered
kinakomoti321
2
1k
Boil Order
uni_of_nomi
0
120
The Incredible Machine: Developer Productivity and the Impact of AI
tomzimmermann
0
390
Презентация программы магистратуры СПбГУ "Искусственный интеллект и наука о данных"
dscs
0
380
20240420 Global Azure 2024 | Azure Migrate でデータセンターのサーバーを評価&移行してみる
olivia_0707
2
890
白金鉱業Meetup Vol.15 DMLによる条件付処置効果の推定_sotaroIZUMI_20240919
brainpadpr
1
460
Cross-Media Information Spaces and Architectures (CISA)
signer
PRO
3
29k
大規模画像テキストデータのフィルタリング手法の紹介
lyakaap
6
1.5k
トラブルがあったコンペに学ぶデータ分析
tereka114
2
540
【人工衛星開発】能見研究室紹介動画
02hattori11sat03
0
150
【健康&筋肉と生産性向上の関連性】 【Google Cloudを企業で運用する際の知識】 をお届け
yasumuusan
0
330
Featured
See All Featured
Fireside Chat
paigeccino
32
3k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
Why Our Code Smells
bkeepers
PRO
334
57k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Six Lessons from altMBA
skipperchong
26
3.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
505
140k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Music & Morning Musume
bryan
46
6.1k
Code Reviewing Like a Champion
maltzj
519
39k
How to Ace a Technical Interview
jacobian
275
23k
Transcript
機械学習のための 統計力学&解析力学入門 ver1.1 2017/11/16 Etsuji Nakai (@enakai00)
統計力学の基礎
熱力学系とは? • 多数のミクロな物質が集まった観測対象物 • ミクロな内部状態を無視して、マクロな状態のみを観測 • ミクロな内部状態は時々刻々と変化する • マクロな状態は一定と見なせる ◦
例:気体の圧力 ―― ミクロには分子が壁に衝突す る際の力で、瞬間ごとに値は異なる。マクロにはそ の平均値が観測される。
熱力学系の例 • 小正準集団(Microcanonical Emsemble) ◦ 周囲とのエネルギーのやり取りがない孤立系 ◦ ミクロな内部状態のエネルギーは一定に保たれる(エネルギー保存則) • 正準集団(Canonical
Emsemble) ◦ 温度一定の巨大な「熱浴」と接した系 ◦ 熱浴とのエネルギーのやりとりがあるため、系のエネルギーに小さなゆらぎが 生じる(「熱浴」+「系」の全エネルギーは一定)
アンサンブルとは? • 一定時間 T の間、ミクロな状態を微小な時間間隔 Δt で観測して集めた「ス ナップショット」の集合 ◦ Δt
→ 0 の極限で、無限個のスナップショットが得られる • ある物理量について、アンサンブル(に含まれる無限個の状態)に対する平 均値を計算することで、マクロな観測値が計算できる ◦ 原理的には、アンサンブルの「統計分布」を知ることで、任意の物理量の観測値 が計算できることになる
小正準集団の分布 • 小正準集団では、アンサンブルに含まれるすべての状態は同じエネルギー E を持つ ◦ エネルギー保存則より成り立つ • 同じエネルギーの個々の状態は、すべて同じ頻度で出現する ◦
解析力学における「リウビルの定理」と「エルゴード仮説」によって成り立つ ⇒ 後ほど詳しく説明
正準集団の分布 • 正準集団では、系 A におけるエネルギー E の状態の出現確率は、次式で 与えられる(正準分布/ボルツマン分布) ◦ k
: ボルツマン定数 ◦ T : 熱浴の温度 ※ 上記は、個々のミクロな状態の出現確率を表わすもので、同じエネルギーの 状態が複数ある場合は、それぞれが上記の確率で出現する
正準集団の分布(詳細計算) • 「系 A」+「熱浴 B」の全エネルギーを E とする ◦ 系 A
のエネルギーが E A の時、熱浴 B のエネルギーは E - E A ◦ システム全体がとり得る状態数は (W A , W B は、特定のエネルギーに対応する A と B の状態数) ◦ 系 A がエネルギー E A の特定の状態にある時、熱浴 B がとり得る状態数は ◦ 従って、系 A がエネルギー E A の特定の状態にある確率(割合)は
正準集団の分布(詳細計算) • 熱浴の状態数は、熱浴のエネルギーに対して指数的に変化するので(証明 は略)、対数を取ると線形近似が可能 ◦ 熱力学系のエントロピー S を次で定義して、 より、次の近似が成り立つ
◦ ここで、次式の T は、熱浴の温度に一致する(証明は略)
正準分布の応用例
二次元イジングモデル • 平面上の格子点に「スピン」が配置されている • 個々のスピンは ↑(S=1)↓(S=-1)のどちらかの 状態を取る • 隣あったスピンの間にエネルギーが生じる ◦
同じ向きなら -2J ◦ 逆向きなら +2J ◦ スピンの状態を S 1 =±1, S 2 = ±1 として、E = -2JS 1 S 2 • 外部磁場 H をかけるとすべてのスピンに一様に E = -HS のエネルギーが加わる
二次元イジングモデル • あるスピン S に注目して、周りの4つのスピンの状態を S 1 〜S 4 とすると、そのスピン
が担うエネルギーは(スピン間エネルギーは2個で分け合うとして) • この時、スピン S が上を向く確率は
二次元イジングモデル • 特に S 1 〜S 4 = +1, H
= 0 の場合、スピンが上を向く確率は、温度 T の関数として次 のように変化する。 ◦ 低温では、まわりのスピンと同じ向きになる確率が高い ◦ 高温では、スピンの向きはランダムになる(上下が等確率で出現する)
ギブスサンプリング • 個々のスピンが前述の確率分布に従う時、平面上のスピン全体の同時確率分布を 知りたい ◦ 全スピンの合計値のアンサンブル平均から、この物質の「磁化」が計算される • 次の手続きで近似的なサンプリングを実施 a. 初期状態をランダムに決める
b. 1つのスピンを選択して、前述の確率に従ってスピンの方向を決める c. この状態(すべてのスピンの状態)を1つのサンプルとして取得する d. b.〜c. の手続きをすべてのスピンについて何度も繰り返す
ギブスサンプリングの実行例 • サンプリングを長期間実施した後に、1つのサンプルを取得した結果 ◦ 温度と外部磁場によって系の振る舞いが変化することが分かる 外部磁場がない場合 外部磁場がある場合
ギブスサンプリングの実行例 • 問題 ◦ 鉄片に強い磁場をかけた状態で、熱した後に冷やすと磁石になります。 ◦ これを磁場のない状態で熱した後に冷やすと磁石でなくなります。 ◦ これらの現象を前ページのサンプリング結果を用いて説明しなさい。
機械学習への応用例
PRML 8.3.3 Illustration: Image de-noising
PRML 8.3.3 Illustration: Image de-noising http://enakai00.hatenablog.com/entry/2017/11/14/075328
解析力学とエネルギー保存則
ニュートンの運動方程式 • 例:重力 mg を受ける物体の放物運動
ニュートンの運動方程式の課題 • 直交座標系以外では表式が複雑になる ◦ 前ページの例を極座標で表示した場合(見かけがまったく異なる) • 2階の微分方程式なので時間発展を直感的に把握しにくい ◦ ある時刻の座標 x
を特定しても、次の瞬間の座標は一意に決まらない(座標の 1階微分、すなわち、その瞬間の速度にも結果が依存する)
ハミルトンの運動方程式 • 変数を2倍に増やして、同値な1階の微分方程式に変形する ◦ 下記のように置くと、上記は放物運動のニュートン方程式と等価になる • これにより、系の時間発展が1階の微分方程式で記述される ⇒ 相空間 (p,
q) の1点を決めると次の瞬間の座標が一意に決定される ← ハミルトニアン
正準変換 • 母関数 W(p, Q) を用いて変数変換すると方程式の形が不変に保たれる ◦ 下記の関係を用いて (p, q)
⇔ (P, Q) の変換を行う ◦ この時、新しい変数 (P, Q) は次の関係を満たす(証明は略)
正準変換 • 例えば、母関数 を用いて、次の変数変換を行うと、極座標が得られる。
• 具体的に計算すると・・・ ◦ この時、次の方程式は4ページ前の極座標での運動方程式に一致する 正準変換
• 直交座標系でのハミルトニアンは、対象とする系の全エネルギー(運動エネルギー +位置エネルギー)に一致する • ハミルトンの運動方程式より、ハミルトニアン H の値は( H が陽に時刻 t
に依存して いなければ)変化しないことが証明できる ⇒ 一般に、ハミルトニアン H の値をその系の「エネルギー」と定義することで、 エネルギー保存則が普遍的に成立する。 エネルギー保存則
リウビルの定理とエルゴード仮説
リウビルの定理 • 相空間 (p, q) の連結部分の各点が運動方程式に従って移動する時、連結部分の体 積は不変に保たれる(リウビルの定理) • 一次元 (p,
q) の場合で証明する ◦ 密度 ρ(p, q) で相空間に分布する点の集合の運動は、連続方程式を満たす ◦ これを用いると密度関数の時間発展は次式になる ◦ ハミルトンの運動方程式を代入すると、上記は 0 になる。つまり、相空間に分布する点は 密度を一定に保って運動するので、体積が増減することはない
エルゴード仮説 • リウビルの定理より、相空間上の(同一のエネルギーを持つ)すべての点は「平等」 と言える。つまり、特別に点があつまりやすい場所というものはなく、熱力学系にお いて、同一エネルギーのすべての点(状態)が均等に実現すると期待される • ただし、これが成り立つには、相空間上に「到達不可能な点」が存在しないことが前 提となる。熱力学系では、(十分に乱雑な)任意の初期状態から、すべての点が到達 可能であることを暗黙の前提とする ⇒
エルゴード仮説
Thank You.