グラフ輪講（グラフニューラルネットワーク，Chapter2 準備）

Transcript

1. 1 M1 中⼭ グラフ輪講 第2回
2. ⽬次 教科書︓グラフニューラルネットワーク（佐藤⻯⾺） 今回扱う範囲︓ 第2章 準備 ・2.1 ニューラルネットワーク ・2.2 グラフ理論 ・2.3 古典的なグラフ機械学習⼿法 重要な部分をピックアップし，必要に応じて補⾜説明を加えています． 2
3. 2.1 ニューラルネットワーク この節で扱うもの ・ニューラルネットワーク ・機械学習システム ・最適化アルゴリズム ・MLP，CNN ・エンドツーエンドな学習 これらの概要をざっくり述べていきます． 3
4. 2.1 ニューラルネットワーク 概要 ニューラルネットワーク…脳の神経細胞（ニューロン）を真似たモデル 4 https://udemy.benesse.co.jp/data-science/ai/neural-network.html
5. 2.1 ニューラルネットワーク 概要 ニューラルネットワーク…脳の神経細胞（ニューロン）を真似たモデル →ニューロンをたくさん⽤意すれば，複雑な処理が可能︕ 5 https://www.tel.co.jp/museum/magazine/communication/160229_report01_02/03.html
6. 2.1 ニューラルネットワーク 概要 機械学習モデルの訓練と推論 6 訓練時 機械学習モデル ⼊⼒ 𝑥!"#$% 𝑦!"#$% 出⼒
7. 機械学習モデル 2.1 ニューラルネットワーク 概要 機械学習モデルの訓練と推論 7 訓練時 ⼊⼒ 𝑥!"#$% 𝑦!"#$% 出⼒ 𝒙𝒕𝒓𝒂𝒊𝒏 を受け取って 𝒚𝒕𝒓𝒂𝒊𝒏 を返すように学習 （教師あり学習） Θ! → Θ" → ⋯ → Θ#
8. 機械学習モデル 2.1 ニューラルネットワーク 概要 機械学習モデルの訓練と推論 8 訓練時 ⼊⼒ 𝑥!"#$% 𝑦!"#$% 出⼒ 𝒙𝒕𝒓𝒂𝒊𝒏 を受け取って 𝒚𝒕𝒓𝒂𝒊𝒏 を返すように学習 （教師あり学習） Θ! → Θ" → ⋯ → Θ# 推論時 学習完了 学習済み 機械学習モデル ⼊⼒ 𝑥!)*! Θ# # 𝑦!)*! 出⼒ 𝒙𝒕𝒆𝒔𝒕 を受け取って， 推論結果# 𝒚𝒕𝒆𝒔𝒕 を出⼒
9. 機械学習モデル 2.1 ニューラルネットワーク 概要 機械学習モデルの訓練と推論 9 訓練時 ⼊⼒ 𝑥!"#$% 𝑦!"#$% 出⼒ 𝒙𝒕𝒓𝒂𝒊𝒏 を受け取って 𝒚𝒕𝒓𝒂𝒊𝒏 を返すように学習 （教師あり学習） Θ! → Θ" → ⋯ → Θ# 学習完了 学習済み 機械学習モデル ⼊⼒ 𝑥!)*! Θ# # 𝑦!)*! 出⼒ 𝑦!)*! 𝒙𝒕𝒆𝒔𝒕 を受け取って， 推論結果# 𝒚𝒕𝒆𝒔𝒕 を出⼒ 精度評価 推論時
10. 2.1 ニューラルネットワーク 概要 ニューラルネットワークの学習 損失関数を最⼩化するようにモデルのパラメータを更新する 10 <latexit sha1_base64="13PiLn5kM7xmyEix3Lt+lW3vh5E=">AAACq3ichVHPSxtBFP5cW7Wp1WgvgpelQUkphlkRFaEgFsRDD8Y0JjQbwuw6msXZH+xOArrkH/Af8NBTC0XE/he9eBZ6CPoPlB4t9NJDXzZbShu0b5iZ9773vjffzFiBdCLFWHdIG37wcGR07FHm8fiTicns1PRu5LdCW5RtX/ph1eKRkI4nyspRUlSDUHDXkqJiHb7q5SttEUaO771RR4Gou/zAc/YdmyuCGtlNUzWF4o1YvTA6+ks9DZW+oJtcBk2umx63JBX0Mx3ddLlq2lzGrzv539XPG9kcK7DE9EHHSJ0cUtv2s2cwsQcfNlpwIeBBkS/BEdGowQBDQFgdMWEheU6SF+ggQ9wWVQmq4IQe0npAUS1FPYp7PaOEbdMpkmZITB1z7As7Z7fskl2wr+znnb3ipEdPyxHtVp8rgsbkyUzpx39ZLu0KzT+sezUr7GM10eqQ9iBBerew+/z28eltaW1nLp5nH9g30v+eddlnuoHX/m5/LIqdd8jQBxj/Pvegs7tYMJYLS8Wl3PpG+hVjmMUz5Om9V7COLWyjTOd+whWucaMtaCXtrWb2S7WhlPMUf5kmfgE2rqUK</latexit> ✓t+1 = ✓t ↵r✓ L(✓t) https://dx-consultant-fast-evolving.com/gradient-descent/ 勾配 学習率 損失関数 <latexit sha1_base64="zpAfaVhZuGKLGdntGi+Ja1EYYAY=">AAACnXichVFNSxtBGH7carWprbFeCh5cGpR4aJiIqBQEUQQPIn40RjB2mV0nZnC/2J2ExiV/wD/gQRAURMSfoQcveuvBn1B6VPDiwTebBWml+i477zPPvM87z8yYvi1DxdhNm/amveNtZ9e71PvuDx970r2fVkOvGliiYHm2F6yZPBS2dEVBSWWLNT8Q3DFtUTS3Z5rrxZoIQum531XdFxsO33JlWVpcEWWkJ0oOVxWL29F8I1tSFaH4sD6pl8KqY0SyoWfLRtSiG9mfhhzWv+p1Sj9GjHSG5Vgc+nOQT0AGSSx66ROUsAkPFqpwIOBCEbbBEdK3jjwYfOI2EBEXEJLxukADKdJWqUpQBSd2m8Ytmq0nrEvzZs8wVlu0i01/QEodg+wXO2W37JKdsd/s4b+9orhH00udstnSCt/o2f28cv+qyqGsUHlSvehZoYyJ2Ksk737MNE9htfS1nb3blW/Lg9EQO2J/yP8hu2HndAK3dmcdL4nlfaToAfL/XvdzsDqSy4/lRpdGM1PTyVN0oR9fkKX7HscU5rCIAu17gAtc4Vob0Ga1eW2hVaq1JZo+/BVa8RHrmp57</latexit> L(✓) = X i (f✓(xi) yi)2 損失関数の例︓⼆乗誤差 例えば，𝑓+ 𝑥$ = 1.5, 𝑦$ = 2のとき， 𝑓+ 𝑥$ − 𝑦$ , = −0.5 , = 0.25
11. 2.1 ニューラルネットワーク 概要 ニューラルネットワークの学習 損失関数を最⼩化するようにモデルのパラメータを更新する 確率的勾配法 (stochastic gradient descent︓SGD)︓ ランダムに選んだ1つのデータで学習を⾏うことを繰り返す 11 ニューラル ネットワーク ランダムに 選ばれたデータ https://dx-consultant-fast-evolving.com/gradient-descent/ Θ# → Θ#$! ×T
12. 2.1 ニューラルネットワーク 概要 ニューラルネットワークの学習 確率的勾配法 (stochastic gradient descent︓SGD)︓ 1つのデータで単純にパラメータを更新する →収束が遅く，局所解に陥りやすいという問題点 12 https://ts0818.hatenablog.com/entry/2021/02/13/185103
13. 2.1 ニューラルネットワーク 概要 ニューラルネットワークの学習 確率的勾配法 (stochastic gradient descent︓SGD)︓ 1つのデータで単純にパラメータを更新する →収束が遅く，局所解に陥りやすいという問題点 この問題に対処した最適化アルゴリズム MomentumやAdamなどがある． →特にAdamがよく使⽤される． 詳細は解説記事などをあたってください． 例えば，【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- 13 https://ts0818.hatenablog.com/entry/2021/02/13/185103
14. 2.1 ニューラルネットワーク 概要 ニューラルネットワークの学習 確率的勾配法 (stochastic gradient descent︓SGD)︓ 1つのデータで単純にパラメータを更新する →収束が遅く，局所解に陥りやすいという問題点 この問題に対処した最適化アルゴリズム MomentumやAdamなどがある． 14 https://www.acceluniverse.com/blog/developers/2019/10/deep-learningparameter-update.html SGD Momentum Adam
15. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 例︓アヤメのデータセット 15 （前処理は省略） がく⽚の⻑さ…1.4cm がく⽚の幅…0.2cm 花弁の⻑さ…5.1cm 花弁の幅…3.5cm https://medium.com/eda-iris- dataset/exploratory-data-analysis-eda- on-iris-data-set-by-python-fbaae921654a setosaである確率…0.2 versicolorである確率…0.7 virginicaである確率…0.1 ⼊⼒層 中間層 出⼒層
16. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 16 https://lib-arts.hatenablog.com/entry/math_nn3 MLPの⾏列表記 <latexit sha1_base64="KSanzQdZZV+gTms15trJvtvUEgg=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUhEEUpeOfuQHmMjuNtniurvsroJJf6CuRYdOBRHRz+jSH+jgHwiio0GXDr2uC1FSvcPMPPPM+7zzzIxkqIplM9bxCEPDI6Nj3nHfhH9yKhCcnslbesOUeU7WVd0sSqLFVUXjOVuxVV40TC7WJZUXpNp2b7/Q5Kal6Nqu3TJ4uS5WNeVAkUWbqPRmJRhhMeZEeBDEXRCBGyk9eIs97EOHjAbq4NBgE1YhwqJWQhwMBnFltIkzCSnOPscxfKRtUBanDJHYGo1VWpVcVqN1r6blqGU6RaVukjKMKHtid6zLHtk9e2Efv9ZqOzV6Xlo0S30tNyqBk7ns+7+qOs02Dr9Uf3q2cYB1x6tC3g2H6d1C7uubRxfd7EYm2l5i1+yV/F+xDnugG2jNN/kmzTOX8NEHxH8+9yDIr8Tiq7FEOhFJbrlf4cU8FrFM772GJHaQQo7O5TjFGc49z4JfCAmz/VTB42pC+BbCwieDOonG</latexit> = <latexit sha1_base64="SeRRaaaYBl/1U1gTqKalPjsg8v4=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndRltcd5fdVTDpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxroeYWR0bHzCO+mb8k/PBIKzc3lLb5oyz8m6qptFSbS4qmg8Zyu2youGycWGpPKCVN/p7xda3LQUXduz2wYvN8SaplQVWbSJShcqwQiLMSfCwyDuggjcSOnBW+zjADpkNNEAhwabsAoRFrUS4mAwiCujQ5xJSHH2OY7hI22TsjhliMTWaazRquSyGq37NS1HLdMpKnWTlGFE2RO7Yz32yO7ZC/v4tVbHqdH30qZZGmi5UQmcLGTf/1U1aLZx+KX607ONKjYdrwp5Nxymfwt5oG8dXfSyW5loZ4Vds1fyf8W67IFuoLXe5Js0z1zCRx8Q//ncwyC/FouvxxLpRCS57X6FF4tYxiq99waS2EUKOTqX4xRnOPc8C34hJMwPUgWPqwnhWwhLn7c6ieA=</latexit> W <latexit sha1_base64="3it4SHcrT45wEOfWVrN6oJoKD+A=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndRltcd5fdVTDpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxroeYWR0bHzCO+mb8k/PBIKzc3lLb5oyz8m6qptFSbS4qmg8Zyu2youGycWGpPKCVN/p7xda3LQUXduz2wYvN8SaplQVWbSJSrcrwQiLMSfCwyDuggjcSOnBW+zjADpkNNEAhwabsAoRFrUS4mAwiCujQ5xJSHH2OY7hI22TsjhliMTWaazRquSyGq37NS1HLdMpKnWTlGFE2RO7Yz32yO7ZC/v4tVbHqdH30qZZGmi5UQmcLGTf/1U1aLZx+KX607ONKjYdrwp5Nxymfwt5oG8dXfSyW5loZ4Vds1fyf8W67IFuoLXe5Js0z1zCRx8Q//ncwyC/FouvxxLpRCS57X6FF4tYxiq99waS2EUKOTqX4xRnOPc8C34hJMwPUgWPqwnhWwhLn/s6igI=</latexit> y <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x <latexit sha1_base64="oqMNlfaKWvURCXWZvIgRYVhVw48=">AAADFHichVHNTttAEB67UFJDG1NUqVIvFhGIU7R2IkCtKiFKpR75aQAJR5ZtlrCK/2Rv0gQrL8ADtIeeqFRVFYe+QG8IiRM3DjxC1SOVuHBg7DigJGo7lne+/Wa+mdldK3BYxAm5FMQHI6MPx3KPpPGJx0/y8uTTzchvhDat2L7jh9uWGVGHebTCGXfodhBS07UcumXV3yTxrSYNI+Z773k7oFXXrHlsj9kmR8qQf+gWrTEvDlyTh6zVkdqGqug6Ok2RdOrt3kWU19Jg7gcjVtWOMqsg0HqghAALJDGtF+uBktbpLzpUstVt38L2qSsN5BtygRRJasowUDNQgMxWffkb6LALPtjQABcoeMARO2BChN8OqEAgQK4KMXIhIpbGKXRAQm0DsyhmmMjWca3hbidjPdwnNaNUbWMXB/8QlQrMkAvynVyRM3JMfpGbv9aK0xrJLG30VldLAyN/+Hzj+r8qFz2H/XvVP2fmsAeL6awMZw9SJjmF3dU3Dz5dbbxcn4lnyRfyG+c/IpfkBE/gNf/YX9fo+mdIHkAdvO5hsKkV1fliea1cWFrOniIHL2Aa5vC+F2AJ3sEqVMAWngmvhBXhrfhR/CmeiKfdVFHINFPQZ+L5LXPrx6M=</latexit> ✓ y1 y2 ◆ = ✓ w11 w21 w31 w12 w22 w32 ◆ 0 @ x1 x2 x3 1 A 重み⾏列
17. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 17 ⼊⼒層 中間層 出⼒層 <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x
18. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 18 ⼊⼒層 中間層 出⼒層 <latexit sha1_base64="OZxouGAtrG9vgB1D3g2eC7RSmdg=">AAACd3ichVHLSgMxFD0d3/VVdSO4cLAodVMyIiqCILpxaVtrBZUyM8Y2OC9mpqW1+AP+gAtBUBAVP8ONP+CinyAuFURw4Z3pgKioNyQ5Obnn5iTRHEN4PmPNmNTW3tHZ1d0T7+3rHxhMDA1venbF1Xletw3b3dJUjxvC4nlf+AbfclyumprBC9rBarBfqHLXE7a14dcdvmuqJUvsC131iSomhsvykrzjiZKppgpFRa5Nx4uJJEuzMOSfQIlAElGs24kr7GAPNnRUYILDgk/YgAqP2jYUMDjE7aJBnEtIhPscR4iTtkJZnDJUYg9oLNFqO2ItWgc1vVCt0ykGdZeUMibZA7thz+ye3bJH9v5rrUZYI/BSp1lrablTHDwezb3+qzJp9lH+VP3p2cc+FkKvgrw7IRPcQm/pq4cnz7nF7GRjil2wJ/J/zprsjm5gVV/0ywzPniL4AOX7c/8EmzNpZS49m5lNLq9EX9GNMUwgRe89j2WsYR15OreGM1zhOvYmjUtTUqqVKsUizQi+hKR8AJRuj5A=</latexit> h = (W1x) <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x
19. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 19 ⼊⼒層 中間層 出⼒層 <latexit sha1_base64="OZxouGAtrG9vgB1D3g2eC7RSmdg=">AAACd3ichVHLSgMxFD0d3/VVdSO4cLAodVMyIiqCILpxaVtrBZUyM8Y2OC9mpqW1+AP+gAtBUBAVP8ONP+CinyAuFURw4Z3pgKioNyQ5Obnn5iTRHEN4PmPNmNTW3tHZ1d0T7+3rHxhMDA1venbF1Xletw3b3dJUjxvC4nlf+AbfclyumprBC9rBarBfqHLXE7a14dcdvmuqJUvsC131iSomhsvykrzjiZKppgpFRa5Nx4uJJEuzMOSfQIlAElGs24kr7GAPNnRUYILDgk/YgAqP2jYUMDjE7aJBnEtIhPscR4iTtkJZnDJUYg9oLNFqO2ItWgc1vVCt0ykGdZeUMibZA7thz+ye3bJH9v5rrUZYI/BSp1lrablTHDwezb3+qzJp9lH+VP3p2cc+FkKvgrw7IRPcQm/pq4cnz7nF7GRjil2wJ/J/zprsjm5gVV/0ywzPniL4AOX7c/8EmzNpZS49m5lNLq9EX9GNMUwgRe89j2WsYR15OreGM1zhOvYmjUtTUqqVKsUizQi+hKR8AJRuj5A=</latexit> h = (W1x) <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x 活性化関数 ⾮線形な関数（活性化関数）を⽤いることで， ⾮線形な問題を解けるようになる．（詳細は省略） →ニューラルネットワークには不可⽋なもの．
20. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 20 ⼊⼒層 中間層 出⼒層 <latexit sha1_base64="d7aPb+DQTesHW5Cppe62qAAQ/Ds=">AAACdXichVHLSgMxFD0d3/U16kYQoViVuqlpERVBEN241Na2gpYyM6Y1dF7MTAu1+AP+gAvdKKiIn+HGH3DRTxCXFbpx4e10QFTUG5KcnNxzc5Koti5cj7FGSOrq7unt6x8IDw4Nj4zKY+NZ16o4Gs9olm45+6ricl2YPOMJT+f7tsMVQ9V5Ti1vtfdzVe64wjL3vJrN84ZSMkVRaIpHVEGWa5H1yKErSoYSyxWSxwsFOcrizI/IT5AIQBRB7FjyHQ5xBAsaKjDAYcIjrEOBS+0ACTDYxOVRJ84hJPx9jlOESVuhLE4ZCrFlGku0OghYk9btmq6v1ugUnbpDygjm2DO7Z032xB7YC3v/tVbdr9H2UqNZ7Wi5XRg9m0y3/lUZNHs4/lT96dlDEau+V0HebZ9p30Lr6Ksn5830WmquPs+u2Sv5v2IN9kg3MKtv2s0uT10gTB+Q+P7cP0E2GU8sx5d2l6Ibm8FX9GMKM4jRe69gA9vYQYbOreISN7gNtaRpaVaa76RKoUAzgS8hLX4A8FGPVA==</latexit> y = (W2h) <latexit sha1_base64="OZxouGAtrG9vgB1D3g2eC7RSmdg=">AAACd3ichVHLSgMxFD0d3/VVdSO4cLAodVMyIiqCILpxaVtrBZUyM8Y2OC9mpqW1+AP+gAtBUBAVP8ONP+CinyAuFURw4Z3pgKioNyQ5Obnn5iTRHEN4PmPNmNTW3tHZ1d0T7+3rHxhMDA1venbF1Xletw3b3dJUjxvC4nlf+AbfclyumprBC9rBarBfqHLXE7a14dcdvmuqJUvsC131iSomhsvykrzjiZKppgpFRa5Nx4uJJEuzMOSfQIlAElGs24kr7GAPNnRUYILDgk/YgAqP2jYUMDjE7aJBnEtIhPscR4iTtkJZnDJUYg9oLNFqO2ItWgc1vVCt0ykGdZeUMibZA7thz+ye3bJH9v5rrUZYI/BSp1lrablTHDwezb3+qzJp9lH+VP3p2cc+FkKvgrw7IRPcQm/pq4cnz7nF7GRjil2wJ/J/zprsjm5gVV/0ywzPniL4AOX7c/8EmzNpZS49m5lNLq9EX9GNMUwgRe89j2WsYR15OreGM1zhOvYmjUtTUqqVKsUizQi+hKR8AJRuj5A=</latexit> h = (W1x) <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x
21. 2.1 ニューラルネットワーク モデルの紹介 多層パーセプトロン (Multi-Layer Perceptron︓MLP) ニューラルネットワークの⼀種，シンプルなモデル 21 ⼊⼒層 中間層 出⼒層 <latexit sha1_base64="d7aPb+DQTesHW5Cppe62qAAQ/Ds=">AAACdXichVHLSgMxFD0d3/U16kYQoViVuqlpERVBEN241Na2gpYyM6Y1dF7MTAu1+AP+gAvdKKiIn+HGH3DRTxCXFbpx4e10QFTUG5KcnNxzc5Koti5cj7FGSOrq7unt6x8IDw4Nj4zKY+NZ16o4Gs9olm45+6ricl2YPOMJT+f7tsMVQ9V5Ti1vtfdzVe64wjL3vJrN84ZSMkVRaIpHVEGWa5H1yKErSoYSyxWSxwsFOcrizI/IT5AIQBRB7FjyHQ5xBAsaKjDAYcIjrEOBS+0ACTDYxOVRJ84hJPx9jlOESVuhLE4ZCrFlGku0OghYk9btmq6v1ugUnbpDygjm2DO7Z032xB7YC3v/tVbdr9H2UqNZ7Wi5XRg9m0y3/lUZNHs4/lT96dlDEau+V0HebZ9p30Lr6Ksn5830WmquPs+u2Sv5v2IN9kg3MKtv2s0uT10gTB+Q+P7cP0E2GU8sx5d2l6Ibm8FX9GMKM4jRe69gA9vYQYbOreISN7gNtaRpaVaa76RKoUAzgS8hLX4A8FGPVA==</latexit> y = (W2h) <latexit sha1_base64="OZxouGAtrG9vgB1D3g2eC7RSmdg=">AAACd3ichVHLSgMxFD0d3/VVdSO4cLAodVMyIiqCILpxaVtrBZUyM8Y2OC9mpqW1+AP+gAtBUBAVP8ONP+CinyAuFURw4Z3pgKioNyQ5Obnn5iTRHEN4PmPNmNTW3tHZ1d0T7+3rHxhMDA1venbF1Xletw3b3dJUjxvC4nlf+AbfclyumprBC9rBarBfqHLXE7a14dcdvmuqJUvsC131iSomhsvykrzjiZKppgpFRa5Nx4uJJEuzMOSfQIlAElGs24kr7GAPNnRUYILDgk/YgAqP2jYUMDjE7aJBnEtIhPscR4iTtkJZnDJUYg9oLNFqO2ItWgc1vVCt0ykGdZeUMibZA7thz+ye3bJH9v5rrUZYI/BSp1lrablTHDwezb3+qzJp9lH+VP3p2cc+FkKvgrw7IRPcQm/pq4cnz7nF7GRjil2wJ/J/zprsjm5gVV/0ywzPniL4AOX7c/8EmzNpZS49m5lNLq9EX9GNMUwgRe89j2WsYR15OreGM1zhOvYmjUtTUqqVKsUizQi+hKR8AJRuj5A=</latexit> h = (W1x) <latexit sha1_base64="G0Whcd4dek3ZEbmeQLtmWY9hX2Y=">AAACnnicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtYVirYKsQUZ6bnJirE5KSmlWiExxvFoIsYKlQoxBRlpmeUaMJorngBZQM9AzBQwGQYQhnKDFAQkC+wnCGGIYUhnyGZoZQhlyGVIY+hBMjOYUhkKAbCaAZDBgOGAqBYLEM1UKwIyMoEy6cy1DJwAfWWAlWlAlUkAkWzgWQ6kBcNFc0D8kFmFoN1JwNtyQHiIqBOBQZVg6sGKw0+G5wwWG3w0uAPTrOqwWaA3FIJpJMgelML4vm7JIK/E9SVC6RLGDIQuvC6uYQhjcEC7NZMoNsLwCIgXyRD9JdVTf8cbBWkWq1msMjgNdD9Cw1uGhwG+iCv7Evy0sDUoNkMoAgwRA9uTEaYkZ6hmZ5JoImygxM0KjgYpBmUGDSA4W3O4MDgwRDAEAq0dz7DUYZzDOeZFJjcmHyZ/CFKmRiheoQZUABTBACAep3M</latexit> y = (W2 (W1x)) まとめると， 重み⾏列を掛ける→活性化関数に通す，を繰り返す <latexit sha1_base64="b8GfiUh/aXDTpi+7sr+jTIezZp8=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSodd1IUqqd5iZZ555n3eemZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC77/q+qTrONgy/Vn55tVLHueFXIu+EwvVvIfX3z6KKb3chE20vsmr2S/yvWYQ90A635Jt+keeYSPvqA+M/nHgT5lVh8NZZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nnWfALIWG2nyp4XE0I30JY+AT5OooB</latexit> x
22. 2.1 ニューラルネットワーク モデルの紹介 畳み込みニューラルネットワーク (Convolutional Neural Network︓CNN) 画像を扱うニューラルネットワークモデル．（詳細は省略） 22 https://becominghuman.ai/building-a-convolutional-neural- network-cnn-model-for-image-classification-116f77a7a236
23. 2.1 ニューラルネットワーク 利点 誤差逆伝播法と⼀気通貫学習 誤差逆伝播法︓backpropagation ⼀気通貫学習︓end-to-end learning（エンドツーエンドの⽅が⾃然） 誤差逆伝播法によってエンドツーエンドで学習が可能 23 https://mj-king.net/yaku/yaku/2_07.html
24. 2.1 ニューラルネットワーク 利点 誤差逆伝播法と⼀気通貫学習 誤差逆伝播法︓backpropagation ⼀気通貫学習︓end-to-end learning（エンドツーエンドの⽅が⾃然） 誤差逆伝播法によってエンドツーエンドで学習が可能 24 https://mj-king.net/yaku/yaku/2_07.html 画像の前処理（例︓フィルタの適⽤） パターン認識（例︓サポートベクタマシン） 特徴抽出（例︓エッジ検出） 例︓画像の分類 古典的な⽅式 それぞれで良い⼿ 法を考えないと…
25. 2.1 ニューラルネットワーク 利点 誤差逆伝播法と⼀気通貫学習 誤差逆伝播法︓backpropagation ⼀気通貫学習︓end-to-end learning（エンドツーエンドの⽅が⾃然） 誤差逆伝播法によってエンドツーエンドで学習が可能 25 https://mj-king.net/yaku/yaku/2_07.html 画像の前処理（例︓フィルタの適⽤） パターン認識（例︓サポートベクタマシン） 特徴抽出（例︓エッジ検出） 例︓画像の分類 古典的な⽅式 エンドツーエンドで学習 <latexit sha1_base64="A137VlA7wRf+Ue9cRNMNWNduKps=">AAACZXichVG7SgNBFD1ZXzEaEx+IYKEYIlZhVkTFKmhjmUSjgglhd53ExX2xuwnEkB8QW7WwUhARP8PGH7DIF4hYRrCx8O5mQTSod5iZM2fuuXNmRrY01XEZa4WEnt6+/oHwYGRoODoSi4+O7Thm1VZ4XjE1096TJYdrqsHzrupqfM+yuaTLGt+Vjza8/d0atx3VNLbdusWLulQx1LKqSC5RuUKzFE+wFPNjthuIAUggiIwZv0UBBzChoAodHAZcwhokONT2IYLBIq6IBnE2IdXf52giQtoqZXHKkIg9orFCq/2ANWjt1XR8tUKnaNRtUs4iyZ7YHWuzR3bPXtjHr7Uafg3PS51muaPlVil2MrX1/q9Kp9nF4ZfqT88uylj1vark3fIZ7xZKR187vmhvreWSjXl2zV7J/xVrsQe6gVF7U26yPHeJCH2A+PO5u8HOYkpcTi1llxLp9eArwpjGHBbovVeQxiYyyNO5ZZziDOehZyEqTAiTnVQhFGjG8S2EmU/hBYps</latexit> } ⼀気に全ての処理を⾏える それぞれで良い⼿ 法を考えないと…
26. 2.2 グラフ理論 この節で扱うもの ・近傍，次数，次数⾏列 ・部分グラフ，誘導部分グラフ ・ウォーク，パス ・連結グラフ，⾮連結グラフ ・隣接⾏列，接続⾏列 ・重み付きグラフ ・有向グラフ，無向グラフ ・同類選好的グラフ，異類選好的グラフ 26
27. 2.2 グラフ理論 ・近傍…隣接しているノード集合，N(1)={2,3} ・次数…近傍の数，deg(1)=2 ・次数⾏列…D = Diag(deg(1), deg(2), …, deg(n)) 27      <latexit sha1_base64="J3RT1UmwKXgwFEOh5t1lA3H6hC8=">AAAC6nichVHNLwNREJ9d3+uruIheGg1xamabBnESLo6olsRKs7ueeul+Zfe1QePo4ugi4kSIiD/DxT/g0D9BHElcHMxuNxEUs5l9v/eb+c3Me8/wLB4IxIYkt7V3dHZ19yi9ff0Dg4mh4WLgVn2TFUzXcv0NQw+YxR1WEFxYbMPzmW4bFls3KothfL3G/IC7zprY99iWrZcdvsNNXRBVShwpmsHK3Kl7ti58vneoZFOTKfzimqaEINeKDD3bigxdbUVGAUVjzvZnz1IijRmMLPUTqDFIQ2zLbuIGNNgGF0yogg0MHBCELdAhoG8TVEDwiNuCOnE+IR7FGRyCQtoqZTHK0Imt0L9Mu82YdWgf1gwitUldLHKflCmYwEe8xRd8wDt8wvdfa9WjGuEs+7QaTS3zSoPHo/m3f1U2rQJ2P1V/zixgB2ajWTnN7kVMeAqzqa8dnL7k51Yn6pN4ic80/wU28J5O4NRezesVtnoO4QOo36/7JyhmM+p0JreSS88vxE/RDUkYhym67xmYhyVYhgL1fZaGpDEpKVvyiXwmnzdTZSnWjMAXk68+AIh/pzY=</latexit> 0 B B B B @ 2 0 0 0 0 0 4 0 0 0 0 0 2 0 0 0 0 0 1 0 0 0 0 0 1 1 C C C C A 1 2 3 4 5 1 2 3 4 5
28. 2.2 グラフ理論 ・部分グラフ（サブグラフ） グラフから⼀部のノードを取り出した後， ⼀部のエッジを選択したグラフ ・誘導部分グラフ グラフから⼀部のノードを取り出した後， 全てのエッジを選択したグラフ ・部分グラフ⊃誘導部分グラフ 28       元のグラフ
29. 2.2 グラフ理論 ・ウォーク 辺をたどって⽣成したノードの列 例︓1→2→3→2→4 ・パス ノードに重複のないウォーク 例︓1→2→3 ・ウォーク⊃パス 29      スタート      スタート
30. 2.2 グラフ理論 ・連結グラフ…任意のノード間で⾏き来できるグラフ ・⾮連結グラフ…あるノード間で⾏き来できないグラフ 30           連結グラフ ⾮連結グラフ
31. 2.2 グラフ理論 ・連結グラフ…任意のノード間で⾏き来できるグラフ ・⾮連結グラフ…あるノード間で⾏き来できないグラフ 31           連結グラフ ⾮連結グラフ 連結成分 連結成分
32. 2.2 グラフ理論 ・隣接⾏列 (Adjacency matrix) 32      1 2 3 4 5 1 2 3 4 5 <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A ノード番号 ノ " ド 番 号
33. 2.2 グラフ理論 ・隣接⾏列 (Adjacency matrix) 33      1 2 3 4 5 1 2 3 4 5 <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A ノード番号 ノ " ド 番 号
34. 2.2 グラフ理論 ・隣接⾏列 (Adjacency matrix) ・接続⾏列 34      1 2 3 4 5 1 2 3 4 5      1 2 3 4 5 <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A 6 <latexit sha1_base64="tjrAurcDUVvlQwmyZaj8S6+ij3c=">AAAC/3ichVFNSxxBEH0zGqNj1E1yEbwsWVxy2tQESYInSS4e/VoVHFlmxnbTOF/M9C6axYPX/IFAPCUgIoJ49ezFP+DBnxByNODFgzWzE3ZXSaymuqtf1at+3e1EnkwU0ZWm9/U/GXg6OGQMPxsZHSs8f7GchI3YFVU39MJ41bET4clAVJVUnliNYmH7jidWnK1PaX6lKeJEhsGS2onEum/XA7kpXVsxVCt8NyxH1GXQinxbxXJ71zCL5WLq1OOWZfwFzS7PEtQDdDG6W3TY9xIdtmGJYKMjpFYoUYUyKz4MzDwoIbe5sHAICxsI4aIBHwIBFMcebCQ81mCCEDG2jhZjMUcyywvswmBug6sEV9iMbvFc591ajga8T3smGdvlUzz2mJlFTNIlHdE1XdAx/aLbf/ZqZT1SLTu8Om2uiGpjX8cXbx5l+bwqfO6w/qtZYRMfMq2StUcZkt7CbfObX75dL04vTLbK9JN+s/4fdEXnfIOg+cc9mBcL+0g/wLz/3A+D5bcV811lan6qNPMx/4pBTOAVXvN7v8cMZjGHKlwNWll7o5G+px/qJ/ppu1TXcs5L9Jh+dge/uKoZ</latexit> 0 B B B B @ 1 1 0 0 0 0 1 0 1 1 1 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 1 1 1 C C C C A 1 2 3 4 5 1 2 3 4 5 6 ノード番号 エッジ番号 ノ " ド 番 号 ノ " ド 番 号
35. 2.2 グラフ理論 ・隣接⾏列 (Adjacency matrix) ・接続⾏列 35      1 2 3 4 5 1 2 3 4 5      1 2 3 4 5 <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A 6 <latexit sha1_base64="tjrAurcDUVvlQwmyZaj8S6+ij3c=">AAAC/3ichVFNSxxBEH0zGqNj1E1yEbwsWVxy2tQESYInSS4e/VoVHFlmxnbTOF/M9C6axYPX/IFAPCUgIoJ49ezFP+DBnxByNODFgzWzE3ZXSaymuqtf1at+3e1EnkwU0ZWm9/U/GXg6OGQMPxsZHSs8f7GchI3YFVU39MJ41bET4clAVJVUnliNYmH7jidWnK1PaX6lKeJEhsGS2onEum/XA7kpXVsxVCt8NyxH1GXQinxbxXJ71zCL5WLq1OOWZfwFzS7PEtQDdDG6W3TY9xIdtmGJYKMjpFYoUYUyKz4MzDwoIbe5sHAICxsI4aIBHwIBFMcebCQ81mCCEDG2jhZjMUcyywvswmBug6sEV9iMbvFc591ajga8T3smGdvlUzz2mJlFTNIlHdE1XdAx/aLbf/ZqZT1SLTu8Om2uiGpjX8cXbx5l+bwqfO6w/qtZYRMfMq2StUcZkt7CbfObX75dL04vTLbK9JN+s/4fdEXnfIOg+cc9mBcL+0g/wLz/3A+D5bcV811lan6qNPMx/4pBTOAVXvN7v8cMZjGHKlwNWll7o5G+px/qJ/ppu1TXcs5L9Jh+dge/uKoZ</latexit> 0 B B B B @ 1 1 0 0 0 0 1 0 1 1 1 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 1 1 1 C C C C A 1 2 3 4 5 1 2 3 4 5 6 ノード番号 エッジ番号 ノ " ド 番 号 ノ " ド 番 号
36. 2.2 グラフ理論 ・グラフの表現 ・隣接⾏列 ・接続⾏列 ・ノード集合とエッジ集合 36      1 2 3 4 5 6 隣接⾏列 接続⾏列 ノード集合とエッジ集合 G = (V, E) V = {1,2,3,4,5} E = {{1,2}, {1,3}, {2,1}, {2,3}, {2,4}, {2,5}, {3,1}, {3,2}, {4,2}, {4,5}, {5,2}, {5,4}} <latexit sha1_base64="A137VlA7wRf+Ue9cRNMNWNduKps=">AAACZXichVG7SgNBFD1ZXzEaEx+IYKEYIlZhVkTFKmhjmUSjgglhd53ExX2xuwnEkB8QW7WwUhARP8PGH7DIF4hYRrCx8O5mQTSod5iZM2fuuXNmRrY01XEZa4WEnt6+/oHwYGRoODoSi4+O7Thm1VZ4XjE1096TJYdrqsHzrupqfM+yuaTLGt+Vjza8/d0atx3VNLbdusWLulQx1LKqSC5RuUKzFE+wFPNjthuIAUggiIwZv0UBBzChoAodHAZcwhokONT2IYLBIq6IBnE2IdXf52giQtoqZXHKkIg9orFCq/2ANWjt1XR8tUKnaNRtUs4iyZ7YHWuzR3bPXtjHr7Uafg3PS51muaPlVil2MrX1/q9Kp9nF4ZfqT88uylj1vark3fIZ7xZKR187vmhvreWSjXl2zV7J/xVrsQe6gVF7U26yPHeJCH2A+PO5u8HOYkpcTi1llxLp9eArwpjGHBbovVeQxiYyyNO5ZZziDOehZyEqTAiTnVQhFGjG8S2EmU/hBYps</latexit> }情報量は同じ
37. 2.2 グラフ理論 ・重み付きグラフ エッジに重みが与えられたグラフ 例︓化合物グラフ n重結合のエッジにnの重みを割り当てる 次数︓近傍の重みの和 deg(2) = 1+1+2 = 4 cf. 重みがないグラフでは，次数＝近傍の数 （全ての重みが1の重み付きグラフとみなせる） 37 https://ja.wikipedia.org/ wiki/アクリロニトリル        1 2 1 3 1 1
38. 2.2 グラフ理論 ・有向グラフ エッジに向きがあるグラフ 例︓SNSのフォロー・フォロワー ・無向グラフ エッジに向きがないグラフ 例︓交通ネットワーク 38          
39. 2.2 グラフ理論 ・有向グラフ 隣接⾏列は対称とは限らない ・無向グラフ 隣接⾏列は必ず対称 39           <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A <latexit sha1_base64="aPN/XSmGpghJgISZH6obVva+CYg=">AAAC6nichVHNLwNREJ9d3+uruAiXRqNxamZFECfh4uirSKw0u9unXrpf2X1t0Di6OLqIOBEi4s9w8Q84+BPEkcTFwex2pdoGs5mdmd/Mb2bee4Zn8UAgPktyS2tbe0dnl9Ld09vXnxgY3Ajckm+yrOlarr9l6AGzuMOygguLbXk+023DYptGcTHMb5aZH3DXWRcHHtux9YLDd7mpC4JyiWNFM1iBOxXP1oXP948UTKaTaqwYqaYpteA7QSDWVf0Asa66oTKyisacfG1mLpHCDEaSbHbU2ElBLMtu4hY0yIMLJpTABgYOCPIt0CGgbxtUQPAI24EKYT55PMozOAKFuCWqYlShE1qkf4Gi7Rh1KA57BhHbpCkWqU/MJIzjE97hGz7iPb7g56+9KlGPcJcDskaVy7xc/8nw2se/LJusgL0a68+dBezCbLQrp929CAlPYVb55cOzt7W51fFKGq/wlfa/xGd8oBM45XfzZoWtXkD4AGrjdTc7G5MZdToztTKVml+In6ITRmEMJui+Z2AelmAZsjT3VRqQRqRR2ZJP5XP5oloqSzFnCOpEvv4Cg5mnNA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 1 0 1 0 1 0 1 C C C C A
40. <latexit sha1_base64="aPN/XSmGpghJgISZH6obVva+CYg=">AAAC6nichVHNLwNREJ9d3+uruAiXRqNxamZFECfh4uirSKw0u9unXrpf2X1t0Di6OLqIOBEi4s9w8Q84+BPEkcTFwex2pdoGs5mdmd/Mb2bee4Zn8UAgPktyS2tbe0dnl9Ld09vXnxgY3Ajckm+yrOlarr9l6AGzuMOygguLbXk+023DYptGcTHMb5aZH3DXWRcHHtux9YLDd7mpC4JyiWNFM1iBOxXP1oXP948UTKaTaqwYqaYpteA7QSDWVf0Asa66oTKyisacfG1mLpHCDEaSbHbU2ElBLMtu4hY0yIMLJpTABgYOCPIt0CGgbxtUQPAI24EKYT55PMozOAKFuCWqYlShE1qkf4Gi7Rh1KA57BhHbpCkWqU/MJIzjE97hGz7iPb7g56+9KlGPcJcDskaVy7xc/8nw2se/LJusgL0a68+dBezCbLQrp929CAlPYVb55cOzt7W51fFKGq/wlfa/xGd8oBM45XfzZoWtXkD4AGrjdTc7G5MZdToztTKVml+In6ITRmEMJui+Z2AelmAZsjT3VRqQRqRR2ZJP5XP5oloqSzFnCOpEvv4Cg5mnNA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 1 0 1 0 1 0 1 C C C C A 2.2 グラフ理論 ・有向グラフ 隣接⾏列は対称とは限らない ・無向グラフ 隣接⾏列は必ず対称 40           <latexit sha1_base64="BmuahTVRPKfEnHP9V3vtdJocSSo=">AAAC6nichVE7SwNBEJ473+cjURsxTTAoVmFOgoqVaGPpKyp4Eu7ONS65F3eboAZLG0sbEStFEfFn2PgHLPITxFLBxsK5y2kwos4yOzPfzjczu2t4Fg8EYk2SW1rb2js6u5Tunt6+RLJ/YC1wy77J8qZruf6GoQfM4g7LCy4stuH5TLcNi60bpfnwfL3C/IC7zqrY99iWrRcdvsNNXRBUSB4pmsGK3Kl6ti58vneoYHosrcaKkWqa8hmoXxqDjaw4E5tAtRmMrKIxZ7vRs5DMYBYjSf901NjJQCyLbvIGNNgGF0wogw0MHBDkW6BDQGsTVEDwCNuCKmE+eTw6Z3AICnHLlMUoQye0RHuRos0YdSgOawYR26QuFqlPzDSM4iPe4gs+4B0+4fuvtapRjXCWfbJGncu8QuJ4aOXtX5ZNVsBug/XnzAJ2YDqaldPsXoSEtzDr/MrB6cvKzPJodQwv8Znmv8Aa3tMNnMqreb3Els8h/AC1+bl/OmsTWXUym1vKZWbn4q/ohBSMwDi99xTMwgIsQp76Pkv90rCUki35RD6Tz+upshRzBuGbyFcfjLanOA==</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 1 0 1 0 1 C C C C A
41. 2.2 グラフ理論 ・同類選好的グラフ（homophilous graph） ホモフィリー…似たもの同⼠が繋がる性質 例︓論⽂の引⽤ネットワーク 数学の論⽂は数学の論⽂を引⽤しやすく， 物理の論⽂は物理の論⽂を引⽤しやすい． 41      数学 数学 数学 物理 物理
42. 2.2 グラフ理論 ・同類選好的グラフ（homophilous graph） ホモフィリー…似たもの同⼠が繋がる性質 例︓論⽂の引⽤ネットワーク 数学の論⽂は数学の論⽂を引⽤しやすく， 物理の論⽂は物理の論⽂を引⽤しやすい． ・異類選好的グラフ（heterophily graph） ヘテロフィリー…似てないもの同⼠が繋がる性質 例︓映画関係者のネットワーク （⼀緒に同じ映画を作成したらエッジを繋ぐ） 監督と俳優が繋がりやすい． 監督間や俳優間は繋がりにくい． 42      数学 数学 数学 物理 物理      監督 監督 俳優 俳優 監督
43. 2.3 古典的なグラフ機械学習⼿法 この節で扱うもの ・ラベル伝播法 ・⾏列分解 ・DeepWalk 43
44. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 古典的なノード分類タスクを解く⼿法 ここでは，2値分類（0 or 1）タスクを扱う． 44      ラベル︓0 ラベル︓1 ラベル︓︖ ラベル︓︖ ラベル︓︖ 1 1 2 1 3 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL) ⽬的関数
45. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 古典的なノード分類タスクを解く⼿法 ここでは，2値分類（0 or 1）タスクを扱う． 45      ラベル︓0 ラベル︓1 ラベル︓︖ ラベル︓︖ ラベル︓︖ 1 1 2 1 3 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL) ⽬的関数 訓練データはそのラベルをそのまま⽤いる ラベルのズレ エッジの重み 注︓パラメータではない． 注︓エッジがないペアは重みが0 →ラベルがズレててもOK．
46. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 古典的なノード分類タスクを解く⼿法 ここでは，2値分類（0 or 1）タスクを扱う． 46      ラベル︓0 ラベル︓1 ラベル︓︖ ラベル︓︖ ラベル︓︖ 1 1 2 1 3 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL) ⽬的関数 訓練データはそのラベルをそのまま⽤いる ラベルのズレ エッジの重み 注︓パラメータではない． 注︓エッジがないペアは重みが0 →ラベルがズレててもOK． 繋がっているノードペアのラベルができるだけ 同じになるようにラベルを割り当てよう︕ →ホモフィリーなグラフで上⼿く⾏く
47. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 47 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL)      ラベル︓0 ラベル︓1 ラベル︓︖ ラベル︓︖ ラベル︓︖ 1 1 2 1 3 <latexit sha1_base64="5vClbffd6v18lmLF4bAdtHmGxtY=">AAAC6XichVE7T+NAEB6bt7kDAw2PJiICUUXjgABRIWiu5BVAwiiyzRJW8Uv2JiJE6ajoqEBQHacTQvwMGv4ABT8BKEGiobixY16HgFnN7sw3883M7pq+zUOBeC3JDY1NzS2tbUr7j58dnWpX93LolQKL5SzP9oJV0wiZzV2WE1zYbNUPmOGYNlsxi7NRfKXMgpB77pKo+GzdMQou3+SWIQjKq7u6yQrcrfqOIQK+XVMwNZzSEsVYdV15drJJYPQZzL5kJZn4jvoGHH0LKjpzN1575tU0ZjCW1EdDS4w0JDLnqaegwwZ4YEEJHGDggiDbBgNCWmugAYJP2DpUCQvI4nGcQQ0U4pYoi1GGQWiR9gJ5awnqkh/VDGO2RV1s0oCYKRjCKzzDe7zEc7zBp09rVeMa0SwVOs06l/n5zr3excdvWQ6dArZeWV/OLGATJuNZOc3ux0h0C6vOL+8c3C9OLQxVh/EE72j+33iNF3QDt/xg/Z1nC8cQfYD2/3N/NJazGW08MzY/lp6eSb6iFQZgEEbovSdgGn7BHOSo762kSn1Sv1yU9+VD+aieKksJpwfeifznH1Y/pyg=</latexit> 0 B B B B @ 0 1 1 0 0 1 0 2 1 3 1 2 0 0 0 0 1 0 0 0 0 3 0 0 0 1 C C C C A 1 2 3 4 5 1 2 3 4 5 ノード番号 ノ " ド 番 号 隣接⾏列W
48. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 48 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL)      ラベル︓0 ラベル︓1 ラベル︓︖ ラベル︓︖ ラベル︓︖ 1 1 2 1 3 <latexit sha1_base64="5vClbffd6v18lmLF4bAdtHmGxtY=">AAAC6XichVE7T+NAEB6bt7kDAw2PJiICUUXjgABRIWiu5BVAwiiyzRJW8Uv2JiJE6ajoqEBQHacTQvwMGv4ABT8BKEGiobixY16HgFnN7sw3883M7pq+zUOBeC3JDY1NzS2tbUr7j58dnWpX93LolQKL5SzP9oJV0wiZzV2WE1zYbNUPmOGYNlsxi7NRfKXMgpB77pKo+GzdMQou3+SWIQjKq7u6yQrcrfqOIQK+XVMwNZzSEsVYdV15drJJYPQZzL5kJZn4jvoGHH0LKjpzN1575tU0ZjCW1EdDS4w0JDLnqaegwwZ4YEEJHGDggiDbBgNCWmugAYJP2DpUCQvI4nGcQQ0U4pYoi1GGQWiR9gJ5awnqkh/VDGO2RV1s0oCYKRjCKzzDe7zEc7zBp09rVeMa0SwVOs06l/n5zr3excdvWQ6dArZeWV/OLGATJuNZOc3ux0h0C6vOL+8c3C9OLQxVh/EE72j+33iNF3QDt/xg/Z1nC8cQfYD2/3N/NJazGW08MzY/lp6eSb6iFQZgEEbovSdgGn7BHOSo762kSn1Sv1yU9+VD+aieKksJpwfeifznH1Y/pyg=</latexit> 0 B B B B @ 0 1 1 0 0 1 0 2 1 3 1 2 0 0 0 0 1 0 0 0 0 3 0 0 0 1 C C C C A 1 2 3 4 5 1 2 3 4 5 ノード番号 ノ " ド 番 号 隣接⾏列W L (labeled) ={1,5}, U (unlabeled) ={2,3,4} <latexit sha1_base64="drmRnKvyhh6uWBjciMy1tGTzJ/8=">AAACoHichVFNSxtRFD2OrdqxNandFNwEg+Iq3BFRsUhDu8lOo42KjoSZ8SU+Ml/MvARtyB/oH+iiqxSKiD/DRbusCxf+hOLSQjdd9M5kQFTa3mHuO++8e+477z07dGWsiK6GtOFHj0dGx57o40+fTeTyzye34qAdOaLmBG4Q7dhWLFzpi5qSyhU7YSQsz3bFtt16m6xvd0QUy8B/p45Dse9ZTV82pGMppur5V43Cqm7aoin9buhZKpJHPZ0Kpqm/vpuMJJnCP7gtq+eLVKI0Cg+BkYEislgP8icwcYAADtrwIOBDMXZhIeZvDwYIIXP76DIXMZLpukAPOmvbXCW4wmK2xbnJs72M9Xme9IxTtcO7uPxHrCxghi7plG7oG53RD/r9117dtEfi5ZhHe6AVYT334eXmr/+qPB4VDm9V//Ss0MBy6lWy9zBlklM4A33n/cebzZWNme4sfaZr9t+nKzrnE/idn86Xqtj4hOQBjPvX/RBszZeMxdJCdaFYfpM9xRimMI05vu8llFHBOmq8bx9f8R0X2rRW0da06qBUG8o0L3AntN0/svydVg==</latexit> f = 0 B B B B @ 0 ? ? ? 1 1 C C C C A <latexit sha1_base64="hSXjE9mHUYVNpvkLrOj+AvI/EiA=">AAACk3ichVHLShxBFD22mmjHxFYRAtkMGQyuhtsiURRBTBYuEvCRUcEehu6emrGwX3TXDOrgD7gOuHAVIQTxD9yaRX7AhZ8gWRrIxoW3exokGWJuUVWnTt1z61SVE3kyUUTXPVpvX/+TpwOD+rOh5y+GjZHRjSRsxq4ou6EXxluOnQhPBqKspPLEVhQL23c8sensvkv3N1siTmQYfFL7kaj4diOQdenaiqmqUapXPxQWdMsRDRm0I99Wsdw71KlgWbqZDpYIag981ShSibIodAMzB0XksRIa32ChhhAumvAhEEAx9mAj4bYNE4SIuQrazMWMZLYvcAidtU3OEpxhM7vLY4NX2zkb8DqtmWRql0/xuMesLGCCruiMbukHndMN3f2zVjurkXrZ59npaEVUHT56uf77vyqfZ4WdB9WjnhXqmM28SvYeZUx6C7ejbx0c367PrU2039Ap/WT/X+iaLvkGQeuX+3VVrJ0g/QDz7+fuBhtTJfNtaXp1uri4lH/FAF7hNSb5vWewiGWsoMznfsYFLvFdG9fmtSXtfSdV68k1Y/gjtI/3nwaaHA==</latexit> fL = ✓ 0 1 ◆ <latexit sha1_base64="pH4uFIDospAx6tEJgFzwWp1sEyw=">AAACmHichVHLLgRBFD3ae7wGG2EzMSFWkxoEkYgJC+wYBomWSXerGRX9SnfNBBM/4AdErEhExEdY2PABFj5BLElsLNzu6cQruJ2uOnXuPbdOVemuKXzJ2EONUltX39DY1BxraW1r74h3dq36TskzeM5wTMdb1zWfm8LmOSmkydddj2uWbvI1fWc2yK+VuecLx16Rey7ftLSiLQrC0CRR+fhIIZ9LTMVUnReFXXEtTXpi9yA2nVDVT4PK7a2PZD6eZCkWRuInSEcgiSgWnfgFVGzBgYESLHDYkIRNaPDp20AaDC5xm6gQ5xESYZ7jADHSlqiKU4VG7A6NRVptRKxN66CnH6oN2sWk3yNlAgPsnl2yZ3bLrtgje/u1VyXsEXjZo1mvarmb7zjsWX79V2XRLLH9ofrTs0QBE6FXQd7dkAlOYVT15f2j5+XJ7EBlkJ2xJ/J/yh7YDZ3ALr8Y50s8e4LgAdLfr/snWB1OpcdSo0ujycxM9BRN6EM/hui+x5HBPBaRo32PcY1b3Cm9SkaZUxaqpUpNpOnGl1Cy7zOAm5U=</latexit> fU = 0 @ ? ? ? 1 A ここを決める
49. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 ⽬的関数を最⼩化するようなラベル付けは厳密に解ける． （注︓⼀般的には，機械学習が取り組むタスクは厳密に解けないので， 勾配降下法などの最適化⼿法を⽤いて近似解を求める．） 49 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL)
50. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 ⽬的関数を最⼩化するようなラベル付けは厳密に解ける． （注︓⼀般的には，機械学習が取り組むタスクは厳密に解けないので， 勾配降下法などの最適化⼿法を⽤いて近似解を求める．） 50 <latexit sha1_base64="P/xW9lyKtl8vgNr2jyrrdmsjRCk=">AAAC8nichVFPa9RAFH+J/+r6p6teFC9Dl8r2YJgsRUUQil48eGi33d1C04ZJOmmHJpOYTILrkC8geBb0VEVE9Ft48Qv00I8gHlfw4sGXbIpoUd8wM7/3e+/35s2Ml4QiU5QeGuaJk6dOn5k52zp3/sLF2faly8MszlOfD/w4jNN1j2U8FJIPlFAhX09SziIv5CNv70EVHxU8zUQs19Q44ZsR25EiED5TSLnt504kpKsD4ghJnIipXc/T/XJLlsQJUuZru9Q9xFkeuTqvs4ZHbnHkjjBUlKQbuDm5SQK3WNjqtZzHOdsmjuJPlM4sZaGqZjBM7pExrlO/25RxHy203HaHWrQ2chzYDehAY8tx+x04sA0x+JBDBBwkKMQhMMhwbIANFBLkNkEjlyISdZxDCS3U5pjFMYMhu4frDnobDSvRr2pmtdrHU0KcKSoJzNMD+p5O6Gf6gX6hP/5aS9c1ql7GuHtTLU/c2WdXV7//VxXhrmD3l+qfPSsI4E7dq8Dek5qpbuFP9cXTF5PVu/15fYO+pl+x/316SD/hDWTxzX+7wvuvoPoA+8/nPg6GPcu+ZS2uLHaW7jdfMQPXYQ66+N63YQkewjIM8NyJcc2YMzqmMl+a++abaappNJor8JuZH38Cgji8IA==</latexit> min f2Rn 1 2 X u2V X v2V Wuv(fu fv)2 s.t. fv = yv (v 2 VL) <latexit sha1_base64="QnbTBGNIYx/bCVq22TuS0gEYuzU=">AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtopMWHKtgqaLjEV4eG1iroKoSDGZpx1bqGtWCOT61CWrwPV7yAsoGeARgoYDIMoQxlBigIyBdYzhDDkMKQz5DMUMqQy5DKkMdQAmTnMCQyFANhNIMhgwFDAVAslqEaKFYEZGWC5VMZahm4gHpLgapSgSoSgaLZQDIdyIuGiuYB+SAzi8G6k4G25ABxEVCnAoOqwVWDlQafDU4YrDZ4afAHp1nVYDNAbqkE0kkQvakF8fxdEsHfCerKBdIlDBkIXXjdXMKQxmABdmsm0O0FYBGQL5Ih+suqpn8OtgpSrVYzWGTwGuj+hQY3DQ4DfZBX9iV5aWBq0GwGUAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCAXa28ewhWEvwz4mfiZTJhsmO4hSJkaoHmEGFMDkDgCyXpaR</latexit> fU = (DUU WUU ) 1WULfL 解 導出は教科書を参照（少々難しい．）
51. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 51 <latexit sha1_base64="5vClbffd6v18lmLF4bAdtHmGxtY=">AAAC6XichVE7T+NAEB6bt7kDAw2PJiICUUXjgABRIWiu5BVAwiiyzRJW8Uv2JiJE6ajoqEBQHacTQvwMGv4ABT8BKEGiobixY16HgFnN7sw3883M7pq+zUOBeC3JDY1NzS2tbUr7j58dnWpX93LolQKL5SzP9oJV0wiZzV2WE1zYbNUPmOGYNlsxi7NRfKXMgpB77pKo+GzdMQou3+SWIQjKq7u6yQrcrfqOIQK+XVMwNZzSEsVYdV15drJJYPQZzL5kJZn4jvoGHH0LKjpzN1575tU0ZjCW1EdDS4w0JDLnqaegwwZ4YEEJHGDggiDbBgNCWmugAYJP2DpUCQvI4nGcQQ0U4pYoi1GGQWiR9gJ5awnqkh/VDGO2RV1s0oCYKRjCKzzDe7zEc7zBp09rVeMa0SwVOs06l/n5zr3excdvWQ6dArZeWV/OLGATJuNZOc3ux0h0C6vOL+8c3C9OLQxVh/EE72j+33iNF3QDt/xg/Z1nC8cQfYD2/3N/NJazGW08MzY/lp6eSb6iFQZgEEbovSdgGn7BHOSo762kSn1Sv1yU9+VD+aieKksJpwfeifznH1Y/pyg=</latexit> 0 B B B B @ 0 1 1 0 0 1 0 2 1 3 1 2 0 0 0 0 1 0 0 0 0 3 0 0 0 1 C C C C A 1 2 3 4 5 1 2 3 4 5 隣接⾏列W L = {1,5}, U = {2,3,4} <latexit sha1_base64="QnbTBGNIYx/bCVq22TuS0gEYuzU=">AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtopMWHKtgqaLjEV4eG1iroKoSDGZpx1bqGtWCOT61CWrwPV7yAsoGeARgoYDIMoQxlBigIyBdYzhDDkMKQz5DMUMqQy5DKkMdQAmTnMCQyFANhNIMhgwFDAVAslqEaKFYEZGWC5VMZahm4gHpLgapSgSoSgaLZQDIdyIuGiuYB+SAzi8G6k4G25ABxEVCnAoOqwVWDlQafDU4YrDZ4afAHp1nVYDNAbqkE0kkQvakF8fxdEsHfCerKBdIlDBkIXXjdXMKQxmABdmsm0O0FYBGQL5Ih+suqpn8OtgpSrVYzWGTwGuj+hQY3DQ4DfZBX9iV5aWBq0GwGUAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCAXa28ewhWEvwz4mfiZTJhsmO4hSJkaoHmEGFMDkDgCyXpaR</latexit> fU = (DUU WUU ) 1WULfL 解︓ <latexit sha1_base64="Ql4FxPgmL7DlKZ4z9xEezKo9KJo=">AAAC6HichVFLLwRBEK4Z7/HYxYW4bGyI06YGQZyEi6PXPhIjm5nRVjOvzPRusHFyc3ITcSIRET/DxR9w8BPEcSUuDmpmR7ypTnV//XV9VdXdhmfxQCDeS3JDY1NzS2ub0t7R2ZVIdvfkArfsmyxrupbrFww9YBZ3WFZwYbGC5zPdNiyWN7bnwvN8hfkBd50VseuxNVsvOXyDm7ogqpg80AxW4k7Vs3Xh8519ZTQ1nMJPrmlKCCY/kjEX+tjXwDdXfyIjhaIxZ/29ZDGZxgxGlvoO1BikIbYFN3kJGqyDCyaUwQYGDgjCFugQ0FgFFRA84tagSpxPiEfnDPZBIW2ZohhF6MRu01yi3WrMOrQPcwaR2qQqFrlPyhQM4R1eYQ1v8Rof8OXXXNUoR9jLLq1GXcu8YuKwb/n5X5VNq4DNd9WfPQvYgKmoV069exET3sKs6yt7x7Xl6aWh6jCe4yP1f4b3eEM3cCpP5sUiWzqF8APUr8/9HeRGM+pEZnxxPD0zG39FKwzAIIzQe0/CDMzDAmSp7oOUkPqkfnlLPpKP5ZN6qCzFml74ZPL5K9mqpv4=</latexit> 0 B B B B @ 2 0 0 0 0 0 7 0 0 0 0 0 3 0 0 0 0 0 1 0 0 0 0 0 3 1 C C C C A 次数⾏列D <latexit sha1_base64="drmRnKvyhh6uWBjciMy1tGTzJ/8=">AAACoHichVFNSxtRFD2OrdqxNandFNwEg+Iq3BFRsUhDu8lOo42KjoSZ8SU+Ml/MvARtyB/oH+iiqxSKiD/DRbusCxf+hOLSQjdd9M5kQFTa3mHuO++8e+477z07dGWsiK6GtOFHj0dGx57o40+fTeTyzye34qAdOaLmBG4Q7dhWLFzpi5qSyhU7YSQsz3bFtt16m6xvd0QUy8B/p45Dse9ZTV82pGMppur5V43Cqm7aoin9buhZKpJHPZ0Kpqm/vpuMJJnCP7gtq+eLVKI0Cg+BkYEislgP8icwcYAADtrwIOBDMXZhIeZvDwYIIXP76DIXMZLpukAPOmvbXCW4wmK2xbnJs72M9Xme9IxTtcO7uPxHrCxghi7plG7oG53RD/r9117dtEfi5ZhHe6AVYT334eXmr/+qPB4VDm9V//Ss0MBy6lWy9zBlklM4A33n/cebzZWNme4sfaZr9t+nKzrnE/idn86Xqtj4hOQBjPvX/RBszZeMxdJCdaFYfpM9xRimMI05vu8llFHBOmq8bx9f8R0X2rRW0da06qBUG8o0L3AntN0/svydVg==</latexit> f = 0 B B B B @ 0 ? ? ? 1 1 C C C C A 1 2 3 4 5 1 2 3 4 5
52. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 52 <latexit sha1_base64="5vClbffd6v18lmLF4bAdtHmGxtY=">AAAC6XichVE7T+NAEB6bt7kDAw2PJiICUUXjgABRIWiu5BVAwiiyzRJW8Uv2JiJE6ajoqEBQHacTQvwMGv4ABT8BKEGiobixY16HgFnN7sw3883M7pq+zUOBeC3JDY1NzS2tbUr7j58dnWpX93LolQKL5SzP9oJV0wiZzV2WE1zYbNUPmOGYNlsxi7NRfKXMgpB77pKo+GzdMQou3+SWIQjKq7u6yQrcrfqOIQK+XVMwNZzSEsVYdV15drJJYPQZzL5kJZn4jvoGHH0LKjpzN1575tU0ZjCW1EdDS4w0JDLnqaegwwZ4YEEJHGDggiDbBgNCWmugAYJP2DpUCQvI4nGcQQ0U4pYoi1GGQWiR9gJ5awnqkh/VDGO2RV1s0oCYKRjCKzzDe7zEc7zBp09rVeMa0SwVOs06l/n5zr3excdvWQ6dArZeWV/OLGATJuNZOc3ux0h0C6vOL+8c3C9OLQxVh/EE72j+33iNF3QDt/xg/Z1nC8cQfYD2/3N/NJazGW08MzY/lp6eSb6iFQZgEEbovSdgGn7BHOSo762kSn1Sv1yU9+VD+aieKksJpwfeifznH1Y/pyg=</latexit> 0 B B B B @ 0 1 1 0 0 1 0 2 1 3 1 2 0 0 0 0 1 0 0 0 0 3 0 0 0 1 C C C C A 1 2 3 4 5 1 2 3 4 5 隣接⾏列W L = {1,5}, U = {2,3,4} <latexit sha1_base64="hSXjE9mHUYVNpvkLrOj+AvI/EiA=">AAACk3ichVHLShxBFD22mmjHxFYRAtkMGQyuhtsiURRBTBYuEvCRUcEehu6emrGwX3TXDOrgD7gOuHAVIQTxD9yaRX7AhZ8gWRrIxoW3exokGWJuUVWnTt1z61SVE3kyUUTXPVpvX/+TpwOD+rOh5y+GjZHRjSRsxq4ou6EXxluOnQhPBqKspPLEVhQL23c8sensvkv3N1siTmQYfFL7kaj4diOQdenaiqmqUapXPxQWdMsRDRm0I99Wsdw71KlgWbqZDpYIag981ShSibIodAMzB0XksRIa32ChhhAumvAhEEAx9mAj4bYNE4SIuQrazMWMZLYvcAidtU3OEpxhM7vLY4NX2zkb8DqtmWRql0/xuMesLGCCruiMbukHndMN3f2zVjurkXrZ59npaEVUHT56uf77vyqfZ4WdB9WjnhXqmM28SvYeZUx6C7ejbx0c367PrU2039Ap/WT/X+iaLvkGQeuX+3VVrJ0g/QDz7+fuBhtTJfNtaXp1uri4lH/FAF7hNSb5vWewiGWsoMznfsYFLvFdG9fmtSXtfSdV68k1Y/gjtI/3nwaaHA==</latexit> fL = ✓ 0 1 ◆ <latexit sha1_base64="pH4uFIDospAx6tEJgFzwWp1sEyw=">AAACmHichVHLLgRBFD3ae7wGG2EzMSFWkxoEkYgJC+wYBomWSXerGRX9SnfNBBM/4AdErEhExEdY2PABFj5BLElsLNzu6cQruJ2uOnXuPbdOVemuKXzJ2EONUltX39DY1BxraW1r74h3dq36TskzeM5wTMdb1zWfm8LmOSmkydddj2uWbvI1fWc2yK+VuecLx16Rey7ftLSiLQrC0CRR+fhIIZ9LTMVUnReFXXEtTXpi9yA2nVDVT4PK7a2PZD6eZCkWRuInSEcgiSgWnfgFVGzBgYESLHDYkIRNaPDp20AaDC5xm6gQ5xESYZ7jADHSlqiKU4VG7A6NRVptRKxN66CnH6oN2sWk3yNlAgPsnl2yZ3bLrtgje/u1VyXsEXjZo1mvarmb7zjsWX79V2XRLLH9ofrTs0QBE6FXQd7dkAlOYVT15f2j5+XJ7EBlkJ2xJ/J/yh7YDZ3ALr8Y50s8e4LgAdLfr/snWB1OpcdSo0ujycxM9BRN6EM/hui+x5HBPBaRo32PcY1b3Cm9SkaZUxaqpUpNpOnGl1Cy7zOAm5U=</latexit> fU = 0 @ ? ? ? 1 A <latexit sha1_base64="QnbTBGNIYx/bCVq22TuS0gEYuzU=">AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtopMWHKtgqaLjEV4eG1iroKoSDGZpx1bqGtWCOT61CWrwPV7yAsoGeARgoYDIMoQxlBigIyBdYzhDDkMKQz5DMUMqQy5DKkMdQAmTnMCQyFANhNIMhgwFDAVAslqEaKFYEZGWC5VMZahm4gHpLgapSgSoSgaLZQDIdyIuGiuYB+SAzi8G6k4G25ABxEVCnAoOqwVWDlQafDU4YrDZ4afAHp1nVYDNAbqkE0kkQvakF8fxdEsHfCerKBdIlDBkIXXjdXMKQxmABdmsm0O0FYBGQL5Ih+suqpn8OtgpSrVYzWGTwGuj+hQY3DQ4DfZBX9iV5aWBq0GwGUAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCAXa28ewhWEvwz4mfiZTJhsmO4hSJkaoHmEGFMDkDgCyXpaR</latexit> fU = (DUU WUU ) 1WULfL 解︓ <latexit sha1_base64="Eepdhw31F758f8vyZBEqVqOh2Bw=">AAACaXichVHLSsNAFD2N7/qquhHdFIPiqkxEVFyJblza1rSFKiWJUx2bJiFJCxr8AVfuRF0piIif4cYfcOEniEsFNy68SQOiRb3DzJw5c8+dMzO6YwrPZ+wpIXV0dnX39PYl+wcGh4ZTI6MFz264BlcN27Tdkq553BQWV33hm7zkuFyr6yYv6rW1cL/Y5K4nbGvTP3D4dl3btURVGJpPVKFYCVT1qJKSWYZFkW4HSgxkxLFhp26whR3YMNBAHRwWfMImNHjUylDA4BC3jYA4l5CI9jmOkCRtg7I4ZWjE1mjcpVU5Zi1ahzW9SG3QKSZ1l5RpTLNHdste2QO7Y8/s49daQVQj9HJAs97ScqcyfDyef/9XVafZx96X6k/PPqpYirwK8u5ETHgLo6VvHp6+5pdz08EMu2Iv5P+SPbF7uoHVfDOuszx3gSR9gPLzudtBYS6jLGTms/Pyymr8Fb2YxBRm6b0XsYJ1bEClc/dxgjOcJ16kEWlcmmilSolYM4ZvIcmfehiMEw==</latexit> WUU <latexit sha1_base64="srIDP3c8pBS9WJOOPmXPMqzqD8Y=">AAACaXichVFNLwNBGH66vqo+WlwaLmJDnJpZEcRJuDg4tKWthKbZXYPR/crutgmb/gEnN8GJRET8DBd/wMFPEEcSFwdvt5sIDd7JzDzzzPu888yM5hjC8xl7ikkdnV3dPfHeRF//wGAyNTRc9Oyaq/OCbhu2u6mpHjeExQu+8A2+6bhcNTWDl7TqSnO/VOeuJ2xrwz90eNlU9yyxK3TVJ6pYqgSFtUYlJbMMC2O8HSgRkBFF1k7dYBs7sKGjBhMcFnzCBlR41LaggMEhroyAOJeQCPc5GkiQtkZZnDJUYqs07tFqK2ItWjdreqFap1MM6i4pxzHJHtkte2UP7I49s49fawVhjaaXQ5q1lpY7leRxev39X5VJs4/9L9Wfnn3sYiH0Ksi7EzLNW+gtff3o9HV9MT8ZTLEr9kL+L9kTu6cbWPU3/TrH8xdI0AcoP5+7HRRnMspcZjY3Ky8tR18RxxgmME3vPY8lrCKLAp17gBOc4Tz2Ig1JaWm0lSrFIs0IvoUkfwJoD4wK</latexit> WUL <latexit sha1_base64="uvg7FVkpbVMr0OXqzS55rCzpKQY=">AAACaXichVFNLwNBGH66vqq+iotwEZuKUzMVQZwaLg4OtPqRVNPsrsGwX9ndNqlN/4CTm+BEIiJ+hos/4OAniCOJi4N3t5sIgncyM8888z7vPDOj2rpwPcYeY1JHZ1d3T7w30dc/MDiUHB4pulbd0XhBs3TLKauKy3Vh8oInPJ2XbYcrhqrzknqwEuyXGtxxhWVuek2bVw1l1xQ7QlM8ooqlmr+21qolZZZmYUz+BJkIyIhi3UpeYwvbsKChDgMcJjzCOhS41CrIgMEmrgqfOIeQCPc5WkiQtk5ZnDIUYg9o3KVVJWJNWgc13VCt0Sk6dYeUk0ixB3bDXtg9u2VP7P3XWn5YI/DSpFlta7ldGzoay7/9qzJo9rD3qfrTs4cdLIZeBXm3Qya4hdbWNw5PXvJLuZQ/zS7ZM/m/YI/sjm5gNl61qw2eO0eCPiDz/bl/guJsOjOfntuYk7PL0VfEMYEpzNB7LyCLVayjQOfu4xinOIs9S8PSmDTeTpVikWYUX0KSPwBV/YwB</latexit> WLL <latexit sha1_base64="FzXDCe3BT9NsZkQpMsAph9i8qoo=">AAACaXichVFNLwNBGH66vqo+WlwaLmJDnJpZEcRJuDg4tKWthKbZXYPR/crutgmb/gEnN8GJRET8DBd/wMFPEEcSFwdvt5sIDd7JzDzzzPu888yM5hjC8xl7ikkdnV3dPfHeRF//wGAyNTRc9Oyaq/OCbhu2u6mpHjeExQu+8A2+6bhcNTWDl7TqSnO/VOeuJ2xrwz90eNlU9yyxK3TVJ6pYqgRrhUYlJbMMC2O8HSgRkBFF1k7dYBs7sKGjBhMcFnzCBlR41LaggMEhroyAOJeQCPc5GkiQtkZZnDJUYqs07tFqK2ItWjdreqFap1MM6i4pxzHJHtkte2UP7I49s49fawVhjaaXQ5q1lpY7leRxev39X5VJs4/9L9Wfnn3sYiH0Ksi7EzLNW+gtff3o9HV9MT8ZTLEr9kL+L9kTu6cbWPU3/TrH8xdI0AcoP5+7HRRnMspcZjY3Ky8tR18RxxgmME3vPY8lrCKLAp17gBOc4Tz2Ig1JaWm0lSrFIs0IvoUkfwJoBowK</latexit> WLU <latexit sha1_base64="Ql4FxPgmL7DlKZ4z9xEezKo9KJo=">AAAC6HichVFLLwRBEK4Z7/HYxYW4bGyI06YGQZyEi6PXPhIjm5nRVjOvzPRusHFyc3ITcSIRET/DxR9w8BPEcSUuDmpmR7ypTnV//XV9VdXdhmfxQCDeS3JDY1NzS2ub0t7R2ZVIdvfkArfsmyxrupbrFww9YBZ3WFZwYbGC5zPdNiyWN7bnwvN8hfkBd50VseuxNVsvOXyDm7ogqpg80AxW4k7Vs3Xh8519ZTQ1nMJPrmlKCCY/kjEX+tjXwDdXfyIjhaIxZ/29ZDGZxgxGlvoO1BikIbYFN3kJGqyDCyaUwQYGDgjCFugQ0FgFFRA84tagSpxPiEfnDPZBIW2ZohhF6MRu01yi3WrMOrQPcwaR2qQqFrlPyhQM4R1eYQ1v8Rof8OXXXNUoR9jLLq1GXcu8YuKwb/n5X5VNq4DNd9WfPQvYgKmoV069exET3sKs6yt7x7Xl6aWh6jCe4yP1f4b3eEM3cCpP5sUiWzqF8APUr8/9HeRGM+pEZnxxPD0zG39FKwzAIIzQe0/CDMzDAmSp7oOUkPqkfnlLPpKP5ZN6qCzFml74ZPL5K9mqpv4=</latexit> 0 B B B B @ 2 0 0 0 0 0 7 0 0 0 0 0 3 0 0 0 0 0 1 0 0 0 0 0 3 1 C C C C A <latexit sha1_base64="ixDC7n6HK+IICXjSDyLP/hTviY4=">AAACaXichVG7SgNBFD1Z3/EVtQnaBINiFWZFVKyCWlhY5GEeoBJ211FH98XuJhBDfsDKTtRKQUT8DBt/wCKfIJYKNhbe3SyIinqHmTlz5p47Z2ZUWxeux1grInV0dnX39PZF+wcGh4ZjI6NF16o6Gi9olm45ZVVxuS5MXvCEp/Oy7XDFUHVeUg9X/P1SjTuusMwNr27zbUPZM8Wu0BSPqOJqpVFYb1ZiSZZiQSR+AjkESYSRsWI32MIOLGiowgCHCY+wDgUutU3IYLCJ20aDOIeQCPY5moiStkpZnDIUYg9p3KPVZsiatPZruoFao1N06g4pE5hij+yWvbAHdsee2PuvtRpBDd9LnWa1reV2Zfg4nn/7V2XQ7GH/U/WnZw+7WAy8CvJuB4x/C62trx2dvuSXclONaXbFnsn/JWuxe7qBWXvVrrM8d4EofYD8/bl/guJsSp5PzWXnkunl8Ct6MYFJzNB7LyCNNWRQoHMPcIIznEeepREpLo23U6VIqBnDl5CSH0Gwi/c=</latexit> DUL <latexit sha1_base64="hu98bWb5oBC1rubnbWo9xh4v058=">AAACaXichVG7SgNBFD1ZXzG+Em2CNmJQrMKsBBWroBYWFiaaB0QJu+uoYza7y+4mEJf8gJWdqJWCiPgZNv6AhZ8glhFsLLzZLIiKeoeZOXPmnjtnZlRLF47L2FNI6uru6e0L90cGBoeGR6Kx0bxj1myN5zRTN+2iqjhcFwbPucLVedGyuVJVdV5QKyvt/UKd244wjS23YfGdqrJviD2hKS5R+dWyt77eLEcTLMn8mPwJ5AAkEMSGGb3BNnZhQkMNVXAYcAnrUOBQK0EGg0XcDjzibELC3+doIkLaGmVxylCIrdC4T6tSwBq0btd0fLVGp+jUbVJOYpo9slvWYg/sjj2z919reX6NtpcGzWpHy63yyHF88+1fVZVmFwefqj89u9jDou9VkHfLZ9q30Dr6+tFpa3MpO+3NsCv2Qv4v2RO7pxsY9VftOsOzF4jQB8jfn/snyM8l5flkKpNKpJeDrwhjAlOYpfdeQBpr2ECOzj3ECc5wHnqRYlJcGu+kSqFAM4YvISU+AC+ei+4=</latexit> DLL <latexit sha1_base64="xLMJVsLkc3MgOFju/QG+O2+uqJk=">AAACaXichVG7SgNBFD1Z3/EVtQnaBINiFWZFVKyCWlhY5GEeoBJ211FH98XuJhBDfsDKTtRKQUT8DBt/wCKfIJYKNhbe3SyIinqHmTlz5p47Z2ZUWxeux1grInV0dnX39PZF+wcGh4ZjI6NF16o6Gi9olm45ZVVxuS5MXvCEp/Oy7XDFUHVeUg9X/P1SjTuusMwNr27zbUPZM8Wu0BSPqOJqpbFeaFZiSZZiQSR+AjkESYSRsWI32MIOLGiowgCHCY+wDgUutU3IYLCJ20aDOIeQCPY5moiStkpZnDIUYg9p3KPVZsiatPZruoFao1N06g4pE5hij+yWvbAHdsee2PuvtRpBDd9LnWa1reV2Zfg4nn/7V2XQ7GH/U/WnZw+7WAy8CvJuB4x/C62trx2dvuSXclONaXbFnsn/JWuxe7qBWXvVrrM8d4EofYD8/bl/guJsSp5PzWXnkunl8Ct6MYFJzNB7LyCNNWRQoHMPcIIznEeepREpLo23U6VIqBnDl5CSH0Gni/c=</latexit> DLU <latexit sha1_base64="k75eht2uPlCxHqRrhLV9/Yewv+Q=">AAACaXichVHLSsNAFD2N7/po1Y3ophgUV2UiRcWVqAuXrZq2oKUkcdSxaRKStKDFH3DlTtSVgoj4GW78ARf9BOmyghsX3qYB0aLeYWbOnLnnzpkZ3TGF5zNWj0hd3T29ff0D0cGh4ZFYfHQs69kV1+CqYZu2m9c1j5vC4qovfJPnHZdrZd3kOb201trPVbnrCdva9o8dXihrB5bYF4bmE5VdL9ZU9bQYl1mSBZHoBEoIZISRtuP32MUebBiooAwOCz5hExo8ajtQwOAQV0CNOJeQCPY5ThElbYWyOGVoxJZoPKDVTshatG7V9AK1QaeY1F1SJjDDXtgDa7Jn9she2cevtWpBjZaXY5r1tpY7xdjZxNb7v6oyzT4Ov1R/evaxj6XAqyDvTsC0bmG09dWTi+bW8uZMbZbdsgb5v2F19kQ3sKpvxl2Gb14jSh+g/HzuTpCdTyoLyVQmJa+shl/RjylMY47eexEr2EAaKp17hHNc4irSkEalCWmynSpFQs04voUkfwJTuYwA</latexit> DUU 次数⾏列D <latexit sha1_base64="drmRnKvyhh6uWBjciMy1tGTzJ/8=">AAACoHichVFNSxtRFD2OrdqxNandFNwEg+Iq3BFRsUhDu8lOo42KjoSZ8SU+Ml/MvARtyB/oH+iiqxSKiD/DRbusCxf+hOLSQjdd9M5kQFTa3mHuO++8e+477z07dGWsiK6GtOFHj0dGx57o40+fTeTyzye34qAdOaLmBG4Q7dhWLFzpi5qSyhU7YSQsz3bFtt16m6xvd0QUy8B/p45Dse9ZTV82pGMppur5V43Cqm7aoin9buhZKpJHPZ0Kpqm/vpuMJJnCP7gtq+eLVKI0Cg+BkYEislgP8icwcYAADtrwIOBDMXZhIeZvDwYIIXP76DIXMZLpukAPOmvbXCW4wmK2xbnJs72M9Xme9IxTtcO7uPxHrCxghi7plG7oG53RD/r9117dtEfi5ZhHe6AVYT334eXmr/+qPB4VDm9V//Ss0MBy6lWy9zBlklM4A33n/cebzZWNme4sfaZr9t+nKzrnE/idn86Xqtj4hOQBjPvX/RBszZeMxdJCdaFYfpM9xRimMI05vu8llFHBOmq8bx9f8R0X2rRW0da06qBUG8o0L3AntN0/svydVg==</latexit> f = 0 B B B B @ 0 ? ? ? 1 1 C C C C A 1 2 3 4 5 1 2 3 4 5
53. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 53 <latexit sha1_base64="QnbTBGNIYx/bCVq22TuS0gEYuzU=">AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtopMWHKtgqaLjEV4eG1iroKoSDGZpx1bqGtWCOT61CWrwPV7yAsoGeARgoYDIMoQxlBigIyBdYzhDDkMKQz5DMUMqQy5DKkMdQAmTnMCQyFANhNIMhgwFDAVAslqEaKFYEZGWC5VMZahm4gHpLgapSgSoSgaLZQDIdyIuGiuYB+SAzi8G6k4G25ABxEVCnAoOqwVWDlQafDU4YrDZ4afAHp1nVYDNAbqkE0kkQvakF8fxdEsHfCerKBdIlDBkIXXjdXMKQxmABdmsm0O0FYBGQL5Ih+suqpn8OtgpSrVYzWGTwGuj+hQY3DQ4DfZBX9iV5aWBq0GwGUAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCAXa28ewhWEvwz4mfiZTJhsmO4hSJkaoHmEGFMDkDgCyXpaR</latexit> fU = (DUU WUU ) 1WULfL 解︓ <latexit sha1_base64="YyNF1bXDQ4BPyu3uiuVZu3TGvt0=">AAADW3ichVFNT9RAGH67FYURZdWQkHhp3EDgwObtQsSYmBC8eOTDBRKKm7bMLhP6lXZ2IzZ78ajeOXjCxBjjz+DCH/DAwR9gOEL04sF3ut0A3SjTzMwz7zzP02dmnMgTiUQ80Ur6jaGbt4ZH2O3RO3fHyvfurydhO3Z53Q29MN507IR7IuB1KaTHN6OY277j8Q1n77na3+jwOBFh8FLuR3zbt1uBaArXllRqlH81G3XjmcEsjzflNLMc3hJBGvm2jMXrLlswpgxU3bKYmucuYdVNZvFg54I/O+CgWDXFJFXtkpvZxwUHKxatXTnzKp01uwNmSjTXF/djFA2KARS/wGGNcgWrmDVjEJg5qEDelsPyF7BgB0JwoQ0+cAhAEvbAhoS+LTABIaLaNqRUiwmJbJ9DFxhp28TixLCpukdji1ZbeTWgtfJMMrVLf/Gox6Q0YBK/41c8w2P8hj/xzz+90sxDZdmn2elpedQYezex9vtalU+zhN0L1X8zS2jCkyyroOxRVlGncHv6zpuDs7Wnq5PpFH7CU8p/iCd4RCcIOufu5xW++hHUA5jF6x4E67Wq+bg6vzJfWVzKn2IYHsIjmKb7XoBFeAHLUAdXs7S32nvtQ+mHrutMH+1RS1queQBXmj7+F1nX00A=</latexit> fU = 0 @ 0 @ 7 0 0 0 3 0 0 0 1 1 A 0 @ 0 2 1 2 0 0 1 0 0 1 A 1 A 1 0 @ 1 3 1 0 0 0 1 A ✓ 0 1 ◆ <latexit sha1_base64="DU2sMJ0ld3nYD+HjHy2rmSVP3RQ=">AAACtXichVFNSxtBGH7cWo1rNbG9CL0shoinMFuDUaEg7aXH+JEoZEPY3UzSIfvF7iSYhvyB/oEeemqhlNJ7/0Av/QM9CF5bEI8ReunBN5uloQb1HWbmmWfe551nZqzAEZFk7GxGeTD7cG4+taAuPlpaTmdWHlcivxPavGz7jh+eWGbEHeHxshTS4SdByE3Xcvix1X452j/u8jASvnckewGvuWbLE01hm5Koeqb0XDUs3hJeP3BNGYrTgbqjGT5JNL2gGUa1EMiaujlNTbJUg3uNf/J6JsvyLA5tGugJyCKJkp/5DAMN+LDRgQsOD5KwAxMRtSp0MATE1dAnLiQk4n2OAVTSdiiLU4ZJbJvGFq2qCevRelQzitU2neJQD0mpIcd+si9syH6wr+yC/b21Vj+uMfLSo9kaa3lQT79dPfxzr8qlWeL1RHWnZ4kmtmOvgrwHMTO6hT3Wd9+8Gx7uHuT66+wjuyT/H9gZ+0438LpX9qd9fvAeKn2AfvO5p0HlWV7fyhf2C9m9F8lXpPAUa9ig9y5iD69QQpnO/YZz/MJvpajUlIbSHKcqM4nmCf4Lxb8GNJqmWg==</latexit> = 0 B @ 9 14 3 14 9 14 1 C A      ラベル︓0 ラベル︓1 ラベル︓ 1 1 2 1 3 2 3 4 9 14 ラベル︓ 9 14 ラベル︓ 3 14
54. 2.3 古典的なグラフ機械学習⼿法 ラベル伝播法 54 <latexit sha1_base64="QnbTBGNIYx/bCVq22TuS0gEYuzU=">AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtopMWHKtgqaLjEV4eG1iroKoSDGZpx1bqGtWCOT61CWrwPV7yAsoGeARgoYDIMoQxlBigIyBdYzhDDkMKQz5DMUMqQy5DKkMdQAmTnMCQyFANhNIMhgwFDAVAslqEaKFYEZGWC5VMZahm4gHpLgapSgSoSgaLZQDIdyIuGiuYB+SAzi8G6k4G25ABxEVCnAoOqwVWDlQafDU4YrDZ4afAHp1nVYDNAbqkE0kkQvakF8fxdEsHfCerKBdIlDBkIXXjdXMKQxmABdmsm0O0FYBGQL5Ih+suqpn8OtgpSrVYzWGTwGuj+hQY3DQ4DfZBX9iV5aWBq0GwGUAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCAXa28ewhWEvwz4mfiZTJhsmO4hSJkaoHmEGFMDkDgCyXpaR</latexit> fU = (DUU WUU ) 1WULfL 解︓ <latexit sha1_base64="YyNF1bXDQ4BPyu3uiuVZu3TGvt0=">AAADW3ichVFNT9RAGH67FYURZdWQkHhp3EDgwObtQsSYmBC8eOTDBRKKm7bMLhP6lXZ2IzZ78ajeOXjCxBjjz+DCH/DAwR9gOEL04sF3ut0A3SjTzMwz7zzP02dmnMgTiUQ80Ur6jaGbt4ZH2O3RO3fHyvfurydhO3Z53Q29MN507IR7IuB1KaTHN6OY277j8Q1n77na3+jwOBFh8FLuR3zbt1uBaArXllRqlH81G3XjmcEsjzflNLMc3hJBGvm2jMXrLlswpgxU3bKYmucuYdVNZvFg54I/O+CgWDXFJFXtkpvZxwUHKxatXTnzKp01uwNmSjTXF/djFA2KARS/wGGNcgWrmDVjEJg5qEDelsPyF7BgB0JwoQ0+cAhAEvbAhoS+LTABIaLaNqRUiwmJbJ9DFxhp28TixLCpukdji1ZbeTWgtfJMMrVLf/Gox6Q0YBK/41c8w2P8hj/xzz+90sxDZdmn2elpedQYezex9vtalU+zhN0L1X8zS2jCkyyroOxRVlGncHv6zpuDs7Wnq5PpFH7CU8p/iCd4RCcIOufu5xW++hHUA5jF6x4E67Wq+bg6vzJfWVzKn2IYHsIjmKb7XoBFeAHLUAdXs7S32nvtQ+mHrutMH+1RS1queQBXmj7+F1nX00A=</latexit> fU = 0 @ 0 @ 7 0 0 0 3 0 0 0 1 1 A 0 @ 0 2 1 2 0 0 1 0 0 1 A 1 A 1 0 @ 1 3 1 0 0 0 1 A ✓ 0 1 ◆ <latexit sha1_base64="DU2sMJ0ld3nYD+HjHy2rmSVP3RQ=">AAACtXichVFNSxtBGH7cWo1rNbG9CL0shoinMFuDUaEg7aXH+JEoZEPY3UzSIfvF7iSYhvyB/oEeemqhlNJ7/0Av/QM9CF5bEI8ReunBN5uloQb1HWbmmWfe551nZqzAEZFk7GxGeTD7cG4+taAuPlpaTmdWHlcivxPavGz7jh+eWGbEHeHxshTS4SdByE3Xcvix1X452j/u8jASvnckewGvuWbLE01hm5Koeqb0XDUs3hJeP3BNGYrTgbqjGT5JNL2gGUa1EMiaujlNTbJUg3uNf/J6JsvyLA5tGugJyCKJkp/5DAMN+LDRgQsOD5KwAxMRtSp0MATE1dAnLiQk4n2OAVTSdiiLU4ZJbJvGFq2qCevRelQzitU2neJQD0mpIcd+si9syH6wr+yC/b21Vj+uMfLSo9kaa3lQT79dPfxzr8qlWeL1RHWnZ4kmtmOvgrwHMTO6hT3Wd9+8Gx7uHuT66+wjuyT/H9gZ+0438LpX9qd9fvAeKn2AfvO5p0HlWV7fyhf2C9m9F8lXpPAUa9ig9y5iD69QQpnO/YZz/MJvpajUlIbSHKcqM4nmCf4Lxb8GNJqmWg==</latexit> = 0 B @ 9 14 3 14 9 14 1 C A      ラベル︓0 ラベル︓1 ラベル︓1 1 1 2 1 3 2 3 4 ラベル︓1 ラベル︓0 0.5以上→1 0.5未満→0 ラベリング
55. 2.3 古典的なグラフ機械学習⼿法 ⾏列分解 グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． 55      ⽬的関数 <latexit sha1_base64="fPShiwxVIFbWEvCBw07rTZSoL0M=">AAAC1HichVE9TxtBEB1fzEccAk5oIqVZxQIRIaw9CyURlZWkSAk2thEcPt2d17DivnS3dxJsrkI0KdJSUIEURVF+Rpr8ARf8hCglSBRQMHc+FCUoMKvdffNm3uzsrunbPBSUnhaUB8WR0bHxh6VHE48np8pPnrZDLwos1rI82wvWTCNkNndZS3BhszU/YIZj2qxj7rxL452YBSH33FWx67NNx9hyeZ9bhkBKL3uaw11d7hGNu0RzDLFtmrKRdCV6gjssJL0kIVo/MCypJrKGOIwcXUaZoH3jxjfu3HuMxQmZJ50hWCDretRdxTV+2a2V9HKFVmlm5DZQc1CB3Ja98lfQoAceWBCBAwxcEIhtMCDEsQEqUPCR2wSJXICIZ3EGCZRQG2EWwwwD2R1ct9DbyFkX/bRmmKktPMXGGaCSwAwd0G/0jP6k3+kvevXfWjKrkfayi7s51DJfn/r0rHlxr8rBXcD2H9WdPQvow5usV469+xmT3sIa6uO9w7PmUmNGztIT+hv7P6an9AfewI3PrS8rrHEE6Qeo/z73bdCuVdVX1cWVxUr9bf4V4/AcXsAcvvdrqMMHWIYWnjuAy0KxMKK0lY/KvnIwTFUKuWYa/jLl8zXJi7JQ</latexit> min z2Rn⇥d 1 2 X u2V X v2V (Duv + Wuv ZT u Zv)2 1 1 2 1 3
56. 2.3 古典的なグラフ機械学習⼿法 ⾏列分解 グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． 56      ⽬的関数 <latexit sha1_base64="fPShiwxVIFbWEvCBw07rTZSoL0M=">AAAC1HichVE9TxtBEB1fzEccAk5oIqVZxQIRIaw9CyURlZWkSAk2thEcPt2d17DivnS3dxJsrkI0KdJSUIEURVF+Rpr8ARf8hCglSBRQMHc+FCUoMKvdffNm3uzsrunbPBSUnhaUB8WR0bHxh6VHE48np8pPnrZDLwos1rI82wvWTCNkNndZS3BhszU/YIZj2qxj7rxL452YBSH33FWx67NNx9hyeZ9bhkBKL3uaw11d7hGNu0RzDLFtmrKRdCV6gjssJL0kIVo/MCypJrKGOIwcXUaZoH3jxjfu3HuMxQmZJ50hWCDretRdxTV+2a2V9HKFVmlm5DZQc1CB3Ja98lfQoAceWBCBAwxcEIhtMCDEsQEqUPCR2wSJXICIZ3EGCZRQG2EWwwwD2R1ct9DbyFkX/bRmmKktPMXGGaCSwAwd0G/0jP6k3+kvevXfWjKrkfayi7s51DJfn/r0rHlxr8rBXcD2H9WdPQvow5usV469+xmT3sIa6uO9w7PmUmNGztIT+hv7P6an9AfewI3PrS8rrHEE6Qeo/z73bdCuVdVX1cWVxUr9bf4V4/AcXsAcvvdrqMMHWIYWnjuAy0KxMKK0lY/KvnIwTFUKuWYa/jLl8zXJi7JQ</latexit> min z2Rn⇥d 1 2 X u2V X v2V (Duv + Wuv ZT u Zv)2 𝒖𝒗 間のスコア 𝑢 = 𝑣なら次数 𝑢 ≠ 𝑣なら重み 注︓エッジが無ければ0 1 1 2 1 3 u，vの特徴量
57. 2.3 古典的なグラフ機械学習⼿法 ⾏列分解 グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． 57      ⽬的関数 <latexit sha1_base64="fPShiwxVIFbWEvCBw07rTZSoL0M=">AAAC1HichVE9TxtBEB1fzEccAk5oIqVZxQIRIaw9CyURlZWkSAk2thEcPt2d17DivnS3dxJsrkI0KdJSUIEURVF+Rpr8ARf8hCglSBRQMHc+FCUoMKvdffNm3uzsrunbPBSUnhaUB8WR0bHxh6VHE48np8pPnrZDLwos1rI82wvWTCNkNndZS3BhszU/YIZj2qxj7rxL452YBSH33FWx67NNx9hyeZ9bhkBKL3uaw11d7hGNu0RzDLFtmrKRdCV6gjssJL0kIVo/MCypJrKGOIwcXUaZoH3jxjfu3HuMxQmZJ50hWCDretRdxTV+2a2V9HKFVmlm5DZQc1CB3Ja98lfQoAceWBCBAwxcEIhtMCDEsQEqUPCR2wSJXICIZ3EGCZRQG2EWwwwD2R1ct9DbyFkX/bRmmKktPMXGGaCSwAwd0G/0jP6k3+kvevXfWjKrkfayi7s51DJfn/r0rHlxr8rBXcD2H9WdPQvow5usV469+xmT3sIa6uO9w7PmUmNGztIT+hv7P6an9AfewI3PrS8rrHEE6Qeo/z73bdCuVdVX1cWVxUr9bf4V4/AcXsAcvvdrqMMHWIYWnjuAy0KxMKK0lY/KvnIwTFUKuWYa/jLl8zXJi7JQ</latexit> min z2Rn⇥d 1 2 X u2V X v2V (Duv + Wuv ZT u Zv)2 𝒖𝒗 間のスコア 𝑢 = 𝑣なら次数 𝑢 ≠ 𝑣なら重み 注︓エッジが無ければ0 1 1 2 1 3 uとvの特徴量の内積を，uとvスコアに近づける （例︓ Z! "𝑍# を2に，Z$ "𝑍% を0に， Z# "𝑍# を3に．） →グラフ構造を捉えた特徴量と⾔える． ここでも対象はホモフィリーなグラフ． u，vの特徴量
58. 2.3 古典的なグラフ機械学習⼿法 ⾏列分解 グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． 58      ⽬的関数 <latexit sha1_base64="fPShiwxVIFbWEvCBw07rTZSoL0M=">AAAC1HichVE9TxtBEB1fzEccAk5oIqVZxQIRIaw9CyURlZWkSAk2thEcPt2d17DivnS3dxJsrkI0KdJSUIEURVF+Rpr8ARf8hCglSBRQMHc+FCUoMKvdffNm3uzsrunbPBSUnhaUB8WR0bHxh6VHE48np8pPnrZDLwos1rI82wvWTCNkNndZS3BhszU/YIZj2qxj7rxL452YBSH33FWx67NNx9hyeZ9bhkBKL3uaw11d7hGNu0RzDLFtmrKRdCV6gjssJL0kIVo/MCypJrKGOIwcXUaZoH3jxjfu3HuMxQmZJ50hWCDretRdxTV+2a2V9HKFVmlm5DZQc1CB3Ja98lfQoAceWBCBAwxcEIhtMCDEsQEqUPCR2wSJXICIZ3EGCZRQG2EWwwwD2R1ct9DbyFkX/bRmmKktPMXGGaCSwAwd0G/0jP6k3+kvevXfWjKrkfayi7s51DJfn/r0rHlxr8rBXcD2H9WdPQvow5usV469+xmT3sIa6uO9w7PmUmNGztIT+hv7P6an9AfewI3PrS8rrHEE6Qeo/z73bdCuVdVX1cWVxUr9bf4V4/AcXsAcvvdrqMMHWIYWnjuAy0KxMKK0lY/KvnIwTFUKuWYa/jLl8zXJi7JQ</latexit> min z2Rn⇥d 1 2 X u2V X v2V (Duv + Wuv ZT u Zv)2 𝒖𝒗 間のスコア 𝑢 = 𝑣なら次数 𝑢 ≠ 𝑣なら重み 注︓エッジが無ければ0 1 1 2 1 3 uとvの特徴量の内積を，uとvスコアに近づける （例︓ Z! "𝑍# を2に，Z$ "𝑍% を0に， Z# "𝑍# を3に．） →グラフ構造を捉えた特徴量と⾔える． ここでも対象はホモフィリーなグラフ． u，vの特徴量 これ以降は教科書を参照．
59. 2.3 古典的なグラフ機械学習⼿法 DeepWalk グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． Skip-gramをグラフ表現学習に適⽤した⼿法 （Skip-gramの知識を前提とします．） 59      1 1 2 1 3
60. 2.3 古典的なグラフ機械学習⼿法 DeepWalk グラフ構造を捉えた特徴量を作成する⼿法 →この特徴量を使って，ノード分類や リンク予測などのタスクを解くことができる． Skip-gramをグラフ表現学習に適⽤した⼿法 （Skip-gramの知識を前提とします．） 60      1 1 2 1 3 Skip-gram︓たくさんの⽂章から，単語の分散表現を獲得 DeepWalk︓たくさんのウォークから，ノードの特徴量を獲得
61. 2.3 古典的なグラフ機械学習⼿法 DeepWalk 61 Skip-gram︓たくさんの⽂章から，単語の分散表現を獲得 DeepWalk︓たくさんのウォークから，ノードの特徴量を獲得 https://developers.microad.co.jp/entry/2018/11/15/153652 Skip-gram
62. 2.3 古典的なグラフ機械学習⼿法 DeepWalk 62 Skip-gram︓たくさんの⽂章から，単語の分散表現を獲得 DeepWalk︓たくさんのウォークから，ノードの特徴量を獲得 https://developers.microad.co.jp/entry/2018/11/15/153652 Skip-gram DeepWalk ランダムウォーク 2→1→3→2→4→2
63. 2.3 古典的なグラフ機械学習⼿法 DeepWalk 63 Skip-gram︓たくさんの⽂章から，単語の分散表現を獲得 DeepWalk︓たくさんのウォークから，ノードの特徴量を獲得 https://developers.microad.co.jp/entry/2018/11/15/153652 ランダムウォーク 2→1→3→2→4→2 Skip-gram DeepWalk                   Skip-gram同様，計算量を減らすために階層的ソフトマックスや， ネガティブサンプリングなどのテクニックも⽤いられる． 近くにあるノードの特徴量が似たものになる．
64. まとめ 第2章 準備 ・2.1 ニューラルネットワーク 最適化アルゴリズムやMLPなどニューラルネットワークの基礎を紹介． ・2.2 グラフ理論 部分グラフやウォーク，隣接⾏列などを紹介． ・2.3 古典的なグラフ機械学習⼿法 ラベル伝播法，⾏列分解，DeepWalkを紹介． 64