Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
制限ボルツマンマシンの話 / Introduction of RBM
Search
kaityo256
May 02, 2024
Education
3
1k
制限ボルツマンマシンの話 / Introduction of RBM
制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。
kaityo256
May 02, 2024
Tweet
Share
More Decks by kaityo256
See All by kaityo256
論文紹介のやり方 / How to review
kaityo256
13
65k
デバッグの話 / Debugging for Beginners
kaityo256
9
1.2k
ビット演算の話 / Let's play with bit operations
kaityo256
5
360
GNU Makeの使い方 / How to use GNU Make
kaityo256
15
5.1k
論文の読み方 / How to survey
kaityo256
219
160k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
14
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
9
8.8k
時間の矢について / Time's arrow
kaityo256
12
17k
t-SNEをざっくりと理解 / Overview of t-SNE
kaityo256
2
1.6k
Other Decks in Education
See All in Education
生成AIと歩むこれからの大学
gmoriki
0
960
TP5_-_UV.pdf
bernhardsvt
0
140
COO's Perspective : Code for Everyone 2020-2024
codeforeveryone
0
260
A Chatbot is Not a Search Engine (it's more like a roleplaying game)
dsalo
0
150
Why Did Douglass Change His Mind?
oripsolob
0
350
Information Architectures - Lecture 2 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.4k
あきた地域課題解決インターンMarch2025
toyodome
0
300
Unraveling JavaScript Prototypes
debug_mode
0
140
The Task is not the End: The Role of Task Repetition and Sequencing In Language Teaching
uranoken
0
300
お仕事図鑑pitchトーク
tetsuyaooooo
0
2.3k
Flinga
matleenalaakso
2
14k
ビジネススキル研修紹介(株式会社27th)
27th
PRO
1
600
Featured
See All Featured
BBQ
matthewcrist
87
9.5k
Why Our Code Smells
bkeepers
PRO
336
57k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Done Done
chrislema
182
16k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
Typedesign – Prime Four
hannesfritz
40
2.5k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Building Applications with DynamoDB
mza
93
6.2k
Six Lessons from altMBA
skipperchong
27
3.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Code Review Best Practice
trishagee
67
18k
Transcript
1 19 制限ボルツマンマシンの話 慶應義塾大学理工学部物理情報工学科 渡辺宙志 2024年5月2日 研究室ミーティング
2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising
Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の
スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
4 19 イジング模型 格子の上の全てのボンドについてエネルギー の和を取り、この系の全エネルギーとする このような模型をイジング模型(Ising Model)と呼び、 磁性体の簡単なモデルになっている 以下、強磁性 (𝐽
> 0)の場合を考える 𝐸 = −2𝐽 + 2𝐽 = 0
5 19 イジング模型 𝑖番目のスピンの状態を𝜎𝑖 とする 𝜎𝑖 の値は1(上向き)か-1(下向き)のいずれか −𝐽 𝐽 𝜎𝑖
= 1 𝜎𝑗 = 1 𝜎𝑖 = 1 𝜎𝑗 = −1 両方まとめて−𝐽𝜎𝑖 𝜎𝑗 と書ける
6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 𝑖,𝑗 𝜎𝑖
𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽
𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
8 19 イジング模型からボルツマンマシンへ イジング模型を「スイッチを押したら、状態がボルツマン重みの確率に比 例して出現するマシン」だと思うことにする = = イジング模型のスピンを電球の配列と考え、 スピン下向きを「電気オフ」、スピン上向きを「電気オン」と対応させる
9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤
= exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
10 19 イジング模型からボルツマンマシンへ スピンによって電光掲示板のようにパターンを作ることができる イジングマシンはスピン間相互作用から出現パターンを予想していた 逆に、所望の出現パターンを持つようなスピン間相互作用を作れないか? ボルツマンマシン
11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =
− 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −
𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖
を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
14 19 制限ボルツマンマシン 隠れ層 隠れ層 可視層 可視層 スイッチを押すと全て のランプが重みに従っ て確率的に光るが
見えるのは可視層 のランプのみ
15 19 制限ボルツマンマシン 所望のパターン 1/3 2/3 隠れ層 可視層 RBM 可視層の出現パターンが所望のパターンに一致するように重みを決める
その際、隠れ層の状態は問わない RBMの学習
16 19 制限ボルツマンマシン RBMの学習 大量のデータを暗記させる 学習済みRBMができること 聞くたびに覚えたものからランダムに一つ返す
17 19 RBMの用途 ボルツマンマシンはパターンを記憶できる →覚えていないパターンが来たらわかる(異常検知) →パターンの一部を乱されてもわかる(ノイズ修正) 制限ボルツマンマシンは情報を圧縮できる → 可視層に入力された情報を、一度隠れ層に圧縮し て保存し、また可視層に再現できる
18 19 RBMの情報圧縮 1. 可視層にパターン入力 2. 可視層のパターンから 隠れ層のパターン再現 3. 隠れ層のパターンから
可視層のパターン再現
19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •
ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある