Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
制限ボルツマンマシンの話 / Introduction of RBM
Search
kaityo256
PRO
May 02, 2024
Education
3
1.1k
制限ボルツマンマシンの話 / Introduction of RBM
制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。
kaityo256
PRO
May 02, 2024
Tweet
Share
More Decks by kaityo256
See All by kaityo256
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
2
240
論文紹介のやり方 / How to review
kaityo256
PRO
15
78k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
9
1.4k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
6
430
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5.1k
論文の読み方 / How to survey
kaityo256
PRO
219
160k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
PRO
14
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
PRO
9
9.1k
時間の矢について / Time's arrow
kaityo256
PRO
12
18k
Other Decks in Education
See All in Education
とある EM の初めての育休からの学び
clown0082
1
2.8k
【お子さま向け】Amazon ECS サービスディスカバリーって知ってる?【楽しい読み聞かせ】
tubone24
8
840
Data Processing and Visualisation Frameworks - Lecture 6 - Information Visualisation (4019538FNR)
signer
PRO
1
2.3k
Pen-based Interaction - Lecture 4 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.7k
Travel Japanese - Dining at Restaurants:Part 1
27th
PRO
1
130
小学校プログラミング教育、次の5年に向けて 〜つくること・学ぶことの歓びへ〜 /NextGenerationOfProgrammingEducation
kiriem
2
410
Policing the Poor
oripsolob
0
420
FinOpsスキルの効率的な上げ方 #ochacafe
chacco38
1
120
保育士チームが実践している連続的な観察と多面的な観察を共有するための振り返り / Reflection to share “continuous and multifaceted observations” as practiced by a team of childcare professionals
psj59129
0
3.7k
Multimodal Interaction - Lecture 3 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.5k
Adobe Express
matleenalaakso
1
7.8k
ワクワク発見資料
akenohoshi
0
210
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
Speed Design
sergeychernyshev
28
870
The Language of Interfaces
destraynor
157
24k
Building an army of robots
kneath
304
45k
Optimizing for Happiness
mojombo
377
70k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
29
2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
RailsConf 2023
tenderlove
29
1k
Why Our Code Smells
bkeepers
PRO
336
57k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
BBQ
matthewcrist
88
9.5k
Transcript
1 19 制限ボルツマンマシンの話 慶應義塾大学理工学部物理情報工学科 渡辺宙志 2024年5月2日 研究室ミーティング
2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising
Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の
スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
4 19 イジング模型 格子の上の全てのボンドについてエネルギー の和を取り、この系の全エネルギーとする このような模型をイジング模型(Ising Model)と呼び、 磁性体の簡単なモデルになっている 以下、強磁性 (𝐽
> 0)の場合を考える 𝐸 = −2𝐽 + 2𝐽 = 0
5 19 イジング模型 𝑖番目のスピンの状態を𝜎𝑖 とする 𝜎𝑖 の値は1(上向き)か-1(下向き)のいずれか −𝐽 𝐽 𝜎𝑖
= 1 𝜎𝑗 = 1 𝜎𝑖 = 1 𝜎𝑗 = −1 両方まとめて−𝐽𝜎𝑖 𝜎𝑗 と書ける
6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 𝑖,𝑗 𝜎𝑖
𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽
𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
8 19 イジング模型からボルツマンマシンへ イジング模型を「スイッチを押したら、状態がボルツマン重みの確率に比 例して出現するマシン」だと思うことにする = = イジング模型のスピンを電球の配列と考え、 スピン下向きを「電気オフ」、スピン上向きを「電気オン」と対応させる
9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤
= exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
10 19 イジング模型からボルツマンマシンへ スピンによって電光掲示板のようにパターンを作ることができる イジングマシンはスピン間相互作用から出現パターンを予想していた 逆に、所望の出現パターンを持つようなスピン間相互作用を作れないか? ボルツマンマシン
11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =
− 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −
𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖
を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
14 19 制限ボルツマンマシン 隠れ層 隠れ層 可視層 可視層 スイッチを押すと全て のランプが重みに従っ て確率的に光るが
見えるのは可視層 のランプのみ
15 19 制限ボルツマンマシン 所望のパターン 1/3 2/3 隠れ層 可視層 RBM 可視層の出現パターンが所望のパターンに一致するように重みを決める
その際、隠れ層の状態は問わない RBMの学習
16 19 制限ボルツマンマシン RBMの学習 大量のデータを暗記させる 学習済みRBMができること 聞くたびに覚えたものからランダムに一つ返す
17 19 RBMの用途 ボルツマンマシンはパターンを記憶できる →覚えていないパターンが来たらわかる(異常検知) →パターンの一部を乱されてもわかる(ノイズ修正) 制限ボルツマンマシンは情報を圧縮できる → 可視層に入力された情報を、一度隠れ層に圧縮し て保存し、また可視層に再現できる
18 19 RBMの情報圧縮 1. 可視層にパターン入力 2. 可視層のパターンから 隠れ層のパターン再現 3. 隠れ層のパターンから
可視層のパターン再現
19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •
ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある