グラフ輪講（グラフニューラルネットワーク，Chapter6 スペクトルグラフ理論）

Transcript

1. 1 M2 中⼭ グラフ輪講 第6回
2. ⽬次 教科書︓グラフニューラルネットワーク（佐藤⻯⾺） 今回扱う範囲︓ 第6章 スペクトルグラフ理論 ・6.1 スペクトルグラフ理論とは ・6.2 準備 ・6.3 グラフフーリエ変換 ・6.4 グラフフーリエ変換をもとにしたグラフニューラルネットワーク ・6.5 補⾜︓スペクトルをもとにした古典的な⼿法 ⼀部の重要な部分をピックアップして説明します．（かなり改変してます） 2
3. 教科書の内容に⼊る前に… GNNの歴史（ざっくり） 3 年 内容 ⽂献 2010年代前半 CNN (Convolutional Neural Network) が発展 2014年 Brunaらの研究[1]で，グラフフーリエ変換を⽤いたスペクトル領域で畳み 込みが提案される．ただし，グラフフーリエ変換に必要な固有値分解が O(N3)であり，⼤規模なグラフは扱えない． [1] 2016年 ChebNet[2]の登場．スペクトル領域のフィルタリングをチェビシェフの多 項式で近似することで，計算量を削減． [2] 2017年 GCN[3]の登場．ChebNetを凄くシンプルに．⾼い計算効率，⾼いノード分 類精度，容易な実装でベースラインモデルとなる．引⽤数4万5000件． GCNはスペクトル⼿法から出発しているが，近傍ノードから特徴量を集約す るスペーシャル⼿法として解釈できる︕（詳細は後述） [3] 2017年 GraphSAGE[4]の登場，Inductive設定に対応．スペーシャル⼿法 [4] 2018年 GAT[5]の登場，AttentionをGNNに輸⼊．スペーシャル⼿法 [5]
4. 教科書の内容に⼊る前に…，GNNの歴史（ざっくり） ・そもそもスペクトル⼿法，スペーシャル⼿法とは︖ ・スペクトル⼿法 1. グラフフーリエ変換でグラフ信号をスペクトル領域に変換 2. スペクトル領域でフィルタリング（ローパスフィルタとか） 3. 逆グラフフーリエ変換でスペクトル領域から元の空間に戻す ・スペーシャル⼿法 直接的に近傍ノードから情報を集約する（スペクトル領域を経由しない） ・GNNはスペクトル⼿法からスペーシャル⼿法へ移⾏していった GCNはスペクトル/スペーシャルの両タイプと⾒なせる →GCNはスペクトル⼿法とスペーシャル⼿法の橋渡しとなっている︕ 4
5. スペクトルグラフ理論とは ・スペクトルグラフ理論 隣接⾏列やラプラシアン⾏列などの固有値分解を通して， グラフの性質を分析する理論 ・スペクトルを⾒れば⾊々わかる ・分光スペクトル →元素がわかる ・グラフのスペクトル →グラフの形状がわかる 5
6. 準備 ・フーリエ変換を利⽤したフィルタリング （復習︓アナログ信号処理） 6 <latexit sha1_base64="rRvE3pbaiLq5i77zuzsAqGIlvJ0=">AAACrHichVHLShxBFD12TKKdh2PcBNwUGQzjwqFGJIogiAF16WtUmB6H7p7qsbRfdNcMjM38gD/gwpWChCB+RTbZhyyE5ANClgpussjtnoaQSJLbdN1Tp+65darKCl0ZK86vB7QHgw8fPR4a1p88ffZ8pDD6YjsO2pEtqnbgBtGuZcbClb6oKqlcsRtGwvQsV+xYh2/T9Z2OiGIZ+FuqG4q6Z7Z86UjbVEQ1CisGWy4ZgSda5iRbYIb0VSOZouSobm8vyQFzSmqSGXYzUEzsJVMHfQVTPdZUzNB1vVEo8jLPgt0HlRwUkcdaUHgHA00EsNGGBwEfirALEzF9NVTAERJXR0JcREhm6wI96KRtU5WgCpPYQxpbNKvlrE/ztGecqW3axaU/IiXDBP/M3/Mb/pFf8m/8x197JVmP1EuXstXXirAxcvxy8+6/Ko+ywv4v1T89KziYy7xK8h5mTHoKu6/vHJ3cbM5vTCSv+Tn/Tv7P+DX/QCfwO7f2xbrYOEX6AJU/r/s+2J4uV96UZ9ZniotL+VMMYRyvUKL7nsUiVrGGKu17hU/4gq9aWdvSalq9X6oN5Jox/Baa8xP6NaNn</latexit> F(!) = Z 1 1 f(t) · e j!tdt <latexit sha1_base64="neCDVHaHC2uwtv2ZYNYA0hhc4ss=">AAACvXichVHLahRBFD3p+IjjI2OyEdwUDpHJIkN1CCqBYDAQsszDSQbSydBdUz0p0y+6a0YmTf+AP+DCVQISxH9w48YfcJG9GxHdRHDjwts9DSEGzW267qlT99w6VeVEnko05ycjxuiVq9euj92o3Lx1+8549e7EZhL2YiGbIvTCuOXYifRUIJtaaU+2oljavuPJLWd/KV/f6ss4UWHwXA8iuePb3UC5StiaqHa1ZTG3rqfZArPc2BapmaWzVqQySwW6nc5QcvUg201LwJbrVujLrj3NLNEJNZO76Yshw3TGWKfEVqVdrfEGL4JdBGYJaihjNawew0IHIQR68CERQBP2YCOhbxsmOCLidpASFxNSxbpEhgppe1QlqcImdp/GLs22Szaged4zKdSCdvHoj0nJMMU/83f8lH/i7/lX/vufvdKiR+5lQNkZamXUHn91b+PXpSqfssbemeq/njVcPCm8KvIeFUx+CjHU9w9en27Mr0+lD/kR/0b+D/kJ/0gnCPo/xds1uf4G+QOYf1/3RbA52zAfNebW5mqLz8qnGMN9PECd7vsxFrGCVTRp3w/4gu/4YTw1pOEZwbDUGCk1kzgXxss/GlCrYQ==</latexit> f(t) = 1 2⇡ Z 1 1 F(!) · ej!td! , 時間領域→周波数領域 周波数領域→時間領域 この式によって，信号を周波数領域で捉えることができる． 逆フーリエ変換 フーリエ変換
7. 準備 ・フィルタリングの例，周波数が10Hzと50Hzの波を考える 7 <latexit sha1_base64="iDeFDOScg4ZqaL3F7V7hAIX1Txs=">AAACr3ichVFNS1tBFD0+rdpYNbWbgptHg0WhhPuCbUUohLoRV37FCEbT955jHHxfvJmEpsE/0D/gwpWCSOnG/9BN/0AFV7qVLi1000VvXh4UG9Q7zMydM+fcOTPjRJ5Umuiix+jte9Q/MPg4M/RkeGQ0+3RsTYX12BUlN/TCeN2xlfBkIEpaak+sR7GwfccTZWdvrr1fbohYyTBY1c1IbPp2LZA70rU1Q9XsQkWLj7qlZC2wvf2qZb4zlQwmC5VIVrT0hbJIT70yb7MKXazXzKpmc5SnJMzuxEqTHNJYDLOnqGAbIVzU4UMggObcgw3FbQMWCBFjm2gxFnMmk32BfWRYW2eWYIbN6B6PNV5tpGjA63ZNlahdPsXjHrPSxAT9oC90Q9/pK13TnztrtZIabS9Nnp2OVkTV0c/PV34/qPJ51tj9p7rXs8YOZhKvkr1HCdK+hdvRNz4d3KzMLk+0XtIx/WT/R3RB3/gGQeOXe7Iklg+R4Q+w/n/u7mStkLfe5KeXpnPF9+lXDGIcLzDJ7/0WRcxjESU+9wznuMSVYRllY8v40KEaPanmGW6FIf8Cjb6l2A==</latexit> signal1 = sin(2⇡ ⇥ 10t), signal2 = sin(2⇡ ⇥ 50t) <latexit sha1_base64="iDeFDOScg4ZqaL3F7V7hAIX1Txs=">AAACr3ichVFNS1tBFD0+rdpYNbWbgptHg0WhhPuCbUUohLoRV37FCEbT955jHHxfvJmEpsE/0D/gwpWCSOnG/9BN/0AFV7qVLi1000VvXh4UG9Q7zMydM+fcOTPjRJ5Umuiix+jte9Q/MPg4M/RkeGQ0+3RsTYX12BUlN/TCeN2xlfBkIEpaak+sR7GwfccTZWdvrr1fbohYyTBY1c1IbPp2LZA70rU1Q9XsQkWLj7qlZC2wvf2qZb4zlQwmC5VIVrT0hbJIT70yb7MKXazXzKpmc5SnJMzuxEqTHNJYDLOnqGAbIVzU4UMggObcgw3FbQMWCBFjm2gxFnMmk32BfWRYW2eWYIbN6B6PNV5tpGjA63ZNlahdPsXjHrPSxAT9oC90Q9/pK13TnztrtZIabS9Nnp2OVkTV0c/PV34/qPJ51tj9p7rXs8YOZhKvkr1HCdK+hdvRNz4d3KzMLk+0XtIx/WT/R3RB3/gGQeOXe7Iklg+R4Q+w/n/u7mStkLfe5KeXpnPF9+lXDGIcLzDJ7/0WRcxjESU+9wznuMSVYRllY8v40KEaPanmGW6FIf8Cjb6l2A==</latexit> signal1 = sin(2⇡ ⇥ 10t), signal2 = sin(2⇡ ⇥ 50t)
8. 準備 ・フィルタリングの例，周波数が10Hzと50Hzの波を考える 2つの信号の和にローパスフィルタを適⽤して低周波(10Hz)を取り出す 8
9. 準備 9 フーリエ変換 時間領域 周波数領域 周波数領域で50Hzの信号を除去 逆フーリエ変換 元々の信号 フィルタ処理をした信号
10. 準備 10 フーリエ変換 時間領域 周波数領域 周波数領域で50Hzの信号を除去 逆フーリエ変換 元々の信号 フィルタ処理をした信号 グラフフーリエ変換，逆グラフフーリエ変換を ⽤いると周波数領域で処理が⾏える︕
11. グラフフーリエ変換 ・グラフラプラシアン L 11 <latexit sha1_base64="uHGMXe1YTR/OQDmMg9FTJUzR1e4=">AAACaXichVFNLwNBGH66vuur5SJcxKbiopkVQSQSXwcHB1RbCY3srsHqfmV32oTGH3ByE5xIRMTPcPEHHPoTxJHExcG7202EBu9kZp555n3eeWZGc03DF4xVY1JDY1NzS2tbvL2js6s7kezJ+U7J03lWd0zH29BUn5uGzbPCECbfcD2uWprJ81pxIdjPl7nnG469Lg5dXrDUPdvYNXRVEJVbnlkcnYtvJ2SWZmEM1gMlAjKiWHESt9jCDhzoKMEChw1B2IQKn9omFDC4xBVQIc4jZIT7HMeIk7ZEWZwyVGKLNO7RajNibVoHNf1QrdMpJnWPlINIsSd2x17ZI7tnz+zj11qVsEbg5ZBmrabl7nb3SV/m/V+VRbPA/pfqT88Cu5gKvRrk3Q2Z4BZ6TV8+OnvNTK+lKsPsmr2Q/ytWZQ90A7v8pt+s8rVLBB+g/HzuepAbSysT6fHVcXl2PvqKVgxgCCP03pOYxRJWkKVzD3CKc1zEXqSk1Cf111KlWKTpxbeQ5E9SMosA</latexit> L = D A <latexit sha1_base64="jwXV56Vsv9yiyz4nJNWv3ufqznc=">AAAC6HichVHNLwNREJ9dX7U+WlyIS6MhTs2sCOLUcHFsUSRWmt311NP9yu5ro5qe3JzcRJxIRMSf4eIfcPAniCOJi4Ppdn0H8zLvzfxmfjPz3jM8iwcC8U6SW1rb2jtinUpXd09vPNHXvxK4Zd9kedO1XH/N0ANmcYflBRcWW/N8ptuGxVaN0nwjvlphfsBdZ1lUPbZh60WHb3FTFwQVEvuawYrcqXm2Lny+W1cwOZZUI8VQNU15cz4CEfg5EILf6eobiJ8zFY05m+89C4kUpjGU5E9DjYwURJJ1ExegwSa4YEIZbGDggCDbAh0CWuugAoJH2AbUCPPJ4mGcQR0U4pYpi1GGTmiJ9iJ56xHqkN+oGYRsk7pYpD4xkzCKt3iJj3iDV3iPL7/WqoU1GrNU6TSaXOYV4geDS8//smw6BWx/sP6cWcAWzISzcprdC5HGLcwmv7J39Lg0uzhaG8MzfKD5T/EOr+kGTuXJPM+xxRNQ6APU78/901iZSKtT6cncZCozF31FDIZhBMbpvachAwuQhTz1vZfi0qA0JO/Ih/KRfNxMlaWIMwBfRD57BfY5pxA=</latexit> 0 B B B B @ 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 0 1 1 0 1 0 0 0 1 0 1 C C C C A <latexit sha1_base64="yGP+lRx09Yr7qwab4rZ8chHOS1I=">AAAC6HichVFLLwRBEK4Z7/HYxYW4bGyI06ZmCeK04eLotUiMbGZGW828MtO7wWZPbk5uIk4kIuJnuPgDDn6COJK4OKiZnWA9a1LTX39VX1V1t+FZPBCI95Lc0NjU3NLaprR3dHYlkt09y4Fb8k2WN13L9VcNPWAWd1hecGGxVc9num1YbMXYmQnjK2XmB9x1lsSex9ZtvejwTW7qgqhC8kAzWJE7Fc/Whc93q0o2NZzCOtc0JQSjP5H1gU/kR+ALGbqqaMzZeO9ZSKYxg5GlvgM1BmmIbc5NXoIGG+CCCSWwgYEDgrAFOgT0rYEKCB5x61AhzifEoziDKiikLVEWowyd2B36F2m3FrMO7cOaQaQ2qYtF7pMyBUN4h1f4hLd4jQ/4+mutSlQjnGWPVqOmZV4hcdi3+PKvyqZVwNaH6s+ZBWzCZDQrp9m9iAlPYdb05f3jp8WphaHKMJ7jI81/hvd4Qydwys/mxTxbOAWFHkD9et3fwXI2o45nxubH0rnp+ClaYQAGYYTuewJyMAtzkKe+D1JC6pP65W35SD6WT2qpshRreqHO5PM39jmnEA==</latexit> 0 B B B B @ 2 0 0 0 0 0 3 0 0 0 0 0 3 0 0 0 0 0 3 0 0 0 0 0 1 1 C C C C A 隣接⾏列A 次数⾏列D グラフラプラシアン <latexit sha1_base64="VWb9EeZ159bPfgWhgi0OURiZEKs=">AAAC9HichVG9ThtBEJ47IDEHCQaaSDQWxhYN1hyxAFFZpElpIDZIHLLujsWsuD/drS3A4gVoKCmgIRGKEBIvkSYvkIJHQJQGpUnBeH0G2Ygwq9md+Wa+mdldK3B4JBBvFLWvf+Dd+8SgNjT84eNIcnSsHPm10GYl23f8cN0yI+Zwj5UEFw5bD0JmupbD1qzdL634Wp2FEfe9b2I/YJuuWfX4NrdNQVAleWxYrMq9RuCaIuR7h9psKpua0TsbSjUMTXqfe2IdvDsocexKjWMx3lEZ0jWDeVtP/SvJNOZQSuqlocdGGmIp+smfYMAW+GBDDVxg4IEg2wETIloboANCQNgmNAgLyeIyzuAQNOLWKItRhknoLu1V8jZi1CO/VTOSbJu6OKQhMVOQwT94iU38jVd4i/9erdWQNVqz7NNptbksqIwcfVr9+ybLpVPAzjPrvzML2IYFOSun2QOJtG5ht/n1g5Pm6uJKppHF73hH85/jDf6iG3j1e/tima2cgkYfoPc+90ujPJvT53L55Xy6sBR/RQImYBKm6b3noQBfoQgl6vugTChTSkatq2fqD/WinaoqMWccukS9fgRbdamw</latexit> 0 B B B B @ 2 1 1 0 0 1 3 1 1 0 1 1 3 1 0 0 1 1 3 1 0 0 0 1 1 1 C C C C A 簡単のため，信号の値は-1,0,1としている グラフ信号の例
12. グラフフーリエ変換 ・グラフラプラシアン L の固有値分解 12 <latexit sha1_base64="VWb9EeZ159bPfgWhgi0OURiZEKs=">AAAC9HichVG9ThtBEJ47IDEHCQaaSDQWxhYN1hyxAFFZpElpIDZIHLLujsWsuD/drS3A4gVoKCmgIRGKEBIvkSYvkIJHQJQGpUnBeH0G2Ygwq9md+Wa+mdldK3B4JBBvFLWvf+Dd+8SgNjT84eNIcnSsHPm10GYl23f8cN0yI+Zwj5UEFw5bD0JmupbD1qzdL634Wp2FEfe9b2I/YJuuWfX4NrdNQVAleWxYrMq9RuCaIuR7h9psKpua0TsbSjUMTXqfe2IdvDsocexKjWMx3lEZ0jWDeVtP/SvJNOZQSuqlocdGGmIp+smfYMAW+GBDDVxg4IEg2wETIloboANCQNgmNAgLyeIyzuAQNOLWKItRhknoLu1V8jZi1CO/VTOSbJu6OKQhMVOQwT94iU38jVd4i/9erdWQNVqz7NNptbksqIwcfVr9+ybLpVPAzjPrvzML2IYFOSun2QOJtG5ht/n1g5Pm6uJKppHF73hH85/jDf6iG3j1e/tima2cgkYfoPc+90ujPJvT53L55Xy6sBR/RQImYBKm6b3noQBfoQgl6vugTChTSkatq2fqD/WinaoqMWccukS9fgRbdamw</latexit> 0 B B B B @ 2 1 1 0 0 1 3 1 1 0 1 1 3 1 0 0 1 1 3 1 0 0 0 1 1 1 C C C C A 固有ベクトル𝑢! , … , 𝑢" 固有値𝜆! , … , 𝜆" Lの固有ベクトルがグラフフーリエ基底，固有値がグラフ周波数になる （証明は教科書P.157）つまり，グラフ信号はLの固有ベクトルで分解できる
13. グラフフーリエ変換 ・グラフフーリエ基底（Lの固有ベクトル）の可視化 固有値（周波数）が⼤きいほど，対応する信号（基底）の隣接ノード間の変化⼤ 13
14. グラフフーリエ変換 ・グラフフーリエ変換 14 <latexit sha1_base64="40mlDfd5m/bNY7czjxysG81gJe0=">AAAConichVFNa9RAGH4arda12lUvQi/BtWV7cHkjxRZhoVgoxYN0u25baGpIsrPtsPkimSzUkD/gH/DQk4oU8Wd40aulh/4E8VjBi4e+mw2KFvUdZuaZZ97nnWdmnMiTiSI6GdMuXBy/dHniSuXq5LXrU9UbNzeSMI1d0XFDL4y3HDsRngxER0nlia0oFrbveGLT6S8P9zcHIk5kGDxV+5HY8e3dQPakayumrGqzV+/P6U3dTFLfymST8mfZk3tGrmcred30uFDXtuScbrrdUOmplf3kchZa1Ro1qAj9PDBKUEMZa2H1ECa6COEihQ+BAIqxBxsJt20YIETM7SBjLmYki32BHBXWppwlOMNmts/jLq+2Szbg9bBmUqhdPsXjHrNSxwwd0zs6pY/0nr7Qj7/WyooaQy/7PDsjrYisqRe329//q/J5Vtj7pfqnZ4UeFguvkr1HBTO8hTvSD56/PG0/XJ/JZuk1fWX/r+iEPvANgsE3921LrB+gwh9g/Pnc58HG/YbxoDHfmq8tPSq/YgLTuIM6v/cClrCKNXT43Df4hM840u5qj7WW1h6lamOl5hZ+C808A7BxoBk=</latexit> f(k) = N 1 X i=0 F( i) · u i (k) 空間領域→グラフ周波数領域 グラフ周波数領域→空間領域 逆グラフフーリエ変換 グラフフーリエ変換 <latexit sha1_base64="Jk9ZSZyFPi/NCOdPeYjY9r9FFIk=">AAACo3ichVFNaxNBGH662lrT2qZ6EbwsDZH0YHhXihUhUhREEEqbNm2hicvuZlKH7Be7s4G47B/wD3jwpCgi/oxexGv10J9QPFbw4sE3m6VFi/oOM/PMM+/zzjMzdujKWBEdTWgXLk5OXZq+XJqZvTI3X164uh0HSeSIlhO4QbRrW7FwpS9aSipX7IaRsDzbFTt2/+Fof2cgolgG/pYahqLjWfu+7EnHUkyZ5fvpo6zWdlnQtUy5pDf0dpx4ZtpvUPY0XbtlZHqv1l/S2043UHpipqe5mc68Wa5QnfLQzwOjABUUsR6U36ONLgI4SOBBwIdi7MJCzG0PBgghcx2kzEWMZL4vkKHE2oSzBGdYzPZ53OfVXsH6vB7VjHO1w6e43CNW6qjSV/pAJ/SJPtIx/fxrrTSvMfIy5Nkea0Vozr+4vvnjvyqPZ4VnZ6p/elbo4W7uVbL3MGdGt3DG+sHzlyeb95rV9Ca9oW/s/zUd0QHfwB98d95tiOYrlPgDjD+f+zzYvl037tSXN5Yrqw+Kr5jGDSyixu+9glU8xjpafO5bfMYhvmhV7YnW1LbGqdpEobmG30Lr/AJB56BF</latexit> F( i) = N 1 X k=0 f(k) · u i (k) グラフ信号を周波数領域で考えることができる グラフフーリエ基底 でグラフ信号を分解
15. グラフフーリエ変換 ・グラフフーリエ変換の例1︓さっきの例 𝜆! の成分が0，𝜆# の成分が1.3くらい， 𝜆$ の成分が-0.4くらい， 15
16. グラフフーリエ変換 ・グラフフーリエ変換の例2︓信号の変化なし 𝜆! （グラフ周波数=0）の成分が-2.1くらい．振動がないからそれ以外は0 16
17. グラフフーリエ変換 ・グラフフーリエ変換の例3︓信号の変化⼤ 𝜆" （⾼いグラフ周波数）の成分が⼤きい． 17
18. グラフフーリエ変換 ・グラフフーリエ変換の例4︓もう少し⼤きいグラフ こんな感じでグラフ信号をグラフ周波数領域に変換できる 18
19. グラフフーリエ変換 19 グラフフーリエ変換 空間領域 グラフ周波数領域 グラフ周波数領域で𝜆%, 𝜆" の信号を除去 逆グラフフーリエ変換 元々の信号 フィルタ処理をした信号 グラフ信号の フィルタリング ⾼周波成分がなくなり 信号が滑らかに︕
20. グラフフーリエ変換 ・グラフフーリエ変換，逆グラフフーリエ変換の⾏列表記 20 <latexit sha1_base64="Jk9ZSZyFPi/NCOdPeYjY9r9FFIk=">AAACo3ichVFNaxNBGH662lrT2qZ6EbwsDZH0YHhXihUhUhREEEqbNm2hicvuZlKH7Be7s4G47B/wD3jwpCgi/oxexGv10J9QPFbw4sE3m6VFi/oOM/PMM+/zzjMzdujKWBEdTWgXLk5OXZq+XJqZvTI3X164uh0HSeSIlhO4QbRrW7FwpS9aSipX7IaRsDzbFTt2/+Fof2cgolgG/pYahqLjWfu+7EnHUkyZ5fvpo6zWdlnQtUy5pDf0dpx4ZtpvUPY0XbtlZHqv1l/S2043UHpipqe5mc68Wa5QnfLQzwOjABUUsR6U36ONLgI4SOBBwIdi7MJCzG0PBgghcx2kzEWMZL4vkKHE2oSzBGdYzPZ53OfVXsH6vB7VjHO1w6e43CNW6qjSV/pAJ/SJPtIx/fxrrTSvMfIy5Nkea0Vozr+4vvnjvyqPZ4VnZ6p/elbo4W7uVbL3MGdGt3DG+sHzlyeb95rV9Ca9oW/s/zUd0QHfwB98d95tiOYrlPgDjD+f+zzYvl037tSXN5Yrqw+Kr5jGDSyixu+9glU8xjpafO5bfMYhvmhV7YnW1LbGqdpEobmG30Lr/AJB56BF</latexit> F( i) = N 1 X k=0 f(k) · u i (k) <latexit sha1_base64="L4JMw5WyJ9ddygRfJBgY+UqhOaM=">AAACenichVHLSsNAFD2Nr1pfVREEN6WloljCpBQVQRDduBKr9gG1hCSOGkyTkEdBiz/gD7hwpSCifoYbf8BFP0FcVnDjwts0ICrqDZl75sw9d87MqLahux5jzYjQ1d3T2xftjw0MDg2PxEfHiq7lOxovaJZhOWVVcbmhm7zg6Z7By7bDlZpq8JJ6tNZeL9W54+qWueMd27xaUw5MfV/XFI8oOT5RSCwnKr4sZXw5mxFFkfJGVY6nmMiCSPwEUghSCGPTit9gF3uwoMFHDRwmPMIGFLj0VSCBwSauigZxDiE9WOc4RYy0PlVxqlCIPaLxgGaVkDVp3u7pBmqNdjHod0iZQJo9sVvWYo/snj2z9197NYIebS/HlNWOltvyyNnk9tu/qhplD4efqj89e9jHYuBVJ+92wLRPoXX09ZPz1vbSVroxza7YC/m/ZE32QCcw66/adZ5vXSBGDyB9v+6foJgVpXkxl8+lVlbDp4hiCknM0H0vYAXr2ESB9m3gEne4j7wLSWFWmOuUCpFQM44vIeQ+AEB4kEc=</latexit> U = [u1, u2, ..., uN ] <latexit sha1_base64="yx/Z1gKSgy/WZAkRBwW5jHt2M4A=">AAAClnichVHLSsNAFD3Gd31V3RTciEVRkDARURGUooguROqjKrSlJOlYB9MkJGmhFn/AH+jClYKI+A2uBPUHXPgJ4lLBjQtv06ioqDdk5twz99w5M6PZhnA9xu7rpPqGxqbmltZQW3tHZ1e4u2fTtQqOzhO6ZVjOtqa63BAmT3jCM/i27XA1rxl8S9ubr65vFbnjCsvc8Eo2T+fVnCl2hK56RGXCSmqZirPqTFaoueFkyvCzjDL6jsZGZVn+yFbSI5lwlMnMj/6fQAlAFEHErfAZUsjCgo4C8uAw4RE2oMKlLwkFDDZxaZSJcwgJf53jACHSFqiKU4VK7B6NOcqSAWtSXu3p+mqddjHod0jZj0F2x87ZE7tlF+yBvf7aq+z3qHop0azVtNzOdB1G1l/+VeVp9rD7qfrTs4cdTPleBXm3faZ6Cr2mL+5Xntan1wbLQ+yEPZL/Y3bPrugEZvFZP13la0cI0QMo36/7J9gck5UJeXx1PBqbC56iBX0YwDDd9yRiWEIcCdq3gktc40aKSLPSgrRYK5XqAk0vvoQUfwMqb5sm</latexit> ⇤ = diag([ 1, 2, ..., N ]) <latexit sha1_base64="ya1U6oMYXaarUIWLXvtIqaKJY64=">AAACa3ichVFNSwJRFD1OX2YfWm6iWkhitJJnSEUQSEG0VGtSMIuZ6WmD48wwMwom/YGWbVrYpiAi+hlt+gMt/AkRrQratOg6DkRJdYc377zz7rnvvPtkU1Nth7G2T+jrHxgc8g8HRkbHxoOhicld26hZChcVQzOsvCzZXFN1Ljqqo/G8aXGpKms8J1c2Ovu5Ords1dB3nIbJi1WprKslVZEcovKbkbWIuL9TOghFWZy5EekFCQ9E4UXaCN1gD4cwoKCGKjh0OIQ1SLDpKyABBpO4IprEWYRUd5/jBAHS1iiLU4ZEbIX+ZVoVPFandaem7aoVOkWjYZEyghh7ZLfslT2wO/bEPn6t1XRrdLw0aJa7Wm4eBE+ntt//VVVpdnD0pfrTs4MSVlyvKnk3XaZzC6Wrrx+fv26vZmPNeXbFnsn/JWuze7qBXn9TrjM820KAHiDxs929YHcxnliKJzPJaGrdewo/ZjCHBer3MlLYQhqi2+cztHDhexHCwrQw200VfJ4mjG8hxD4BdbmL/w==</latexit> F = UT f <latexit sha1_base64="40mlDfd5m/bNY7czjxysG81gJe0=">AAAConichVFNa9RAGH4arda12lUvQi/BtWV7cHkjxRZhoVgoxYN0u25baGpIsrPtsPkimSzUkD/gH/DQk4oU8Wd40aulh/4E8VjBi4e+mw2KFvUdZuaZZ97nnWdmnMiTiSI6GdMuXBy/dHniSuXq5LXrU9UbNzeSMI1d0XFDL4y3HDsRngxER0nlia0oFrbveGLT6S8P9zcHIk5kGDxV+5HY8e3dQPakayumrGqzV+/P6U3dTFLfymST8mfZk3tGrmcred30uFDXtuScbrrdUOmplf3kchZa1Ro1qAj9PDBKUEMZa2H1ECa6COEihQ+BAIqxBxsJt20YIETM7SBjLmYki32BHBXWppwlOMNmts/jLq+2Szbg9bBmUqhdPsXjHrNSxwwd0zs6pY/0nr7Qj7/WyooaQy/7PDsjrYisqRe329//q/J5Vtj7pfqnZ4UeFguvkr1HBTO8hTvSD56/PG0/XJ/JZuk1fWX/r+iEPvANgsE3921LrB+gwh9g/Pnc58HG/YbxoDHfmq8tPSq/YgLTuIM6v/cClrCKNXT43Df4hM840u5qj7WW1h6lamOl5hZ+C808A7BxoBk=</latexit> f(k) = N 1 X i=0 F( i) · u i (k) <latexit sha1_base64="JoTpYlus04bXf4YJVzPjKCpWH/I=">AAACaXichVHLSsNAFD2N7/poq5uim2JRXJWJFBVBKArislVTBRVJ4rTGpklIpgUt/oArd6KuFETEz3DjD7joJ0iXCm5ceJMGREW9w8ycOXPPnTMzmmManmCsGZE6Oru6e3r7ov0Dg0OxeGK46Nk1V+eKbpu2u6mpHjcNiyvCECbfdFyuVjWTb2iVJX9/o85dz7CtdXHo8J2qWraMkqGrgqhiKbWQUpZ342mWYUGkfgI5BGmEkbfjt9jGHmzoqKEKDguCsAkVHrUtyGBwiNtBgziXkBHscxwjStoaZXHKUImt0Fim1VbIWrT2a3qBWqdTTOouKVOYYE/sjr2wR3bPntn7r7UaQQ3fyyHNWlvLnd3YSXLt7V9VlWaB/U/Vn54FSpgLvBrk3QkY/xZ6W18/OntZm1+daEyya9Yi/1esyR7oBlb9Vb8p8NVLROkD5O/P/RMUpzPyTCZbyKZzi+FX9GIM45ii955FDivIQ6FzD3CKc1xEWlJCSkqj7VQpEmpG8CWk9AfEJYs5</latexit> f = UF （⾏列を書き下したらわかる）
21. グラフフーリエ変換 ・グラフ周波数領域でのフィルタリング 21 <latexit sha1_base64="p1Sv0h62UvOxaGJj+jfC/1pDI9I=">AAADGHichVHLahRBFL3d8RHbR8ZkY3DTOCRkNkN1CCqBYFAI40bycJJAOjTd1XfGItUPumsGk2Z+wB8QdJVACMGlPyC4ULeCi3yCuIzgxoW3exqHcVBvU1X3nrrn9KkqL5YiVYydafrYhYuXLo9fMa5eu35jonJzcjONOgnHJo9klGx7bopShNhUQkncjhN0A0/ilrf3KN/f6mKSiih8qvZj3A3cdihagruKIKfydsXJWkIqTNDvmUum7WFbhFkcuCoRz3tGY86WpOa7jlUzZ01Gw+Z+pNKisG0jRwZN87WRBrtbVoPEH0ZKlSHtgeSTmmFj6P+2ZK44lSqrsyLM0cQqkyqUsRpVTsAGHyLg0IEAEEJQlEtwIaVvByxgEBO2CxlhCWWi2EfogUHcDnUhdbiE7tHcpmqnREOqc820YHP6i6SRENOEGfaFnbJz9pG9YV/Zz79qZYVG7mWfVq/PxdiZeHFr48d/WQGtCp4NWP/0rKAF9wuvgrzHBZKfgvf53YOX5xuL6zPZLDti38j/ITtj7+kEYfc7P17D9ddg0ANYf173aLI5X7fu1hfWFqrLD8unGIfbcAfm6L7vwTI0YBWawLVp7YHW0B7rr/R3+gf9U79V10rOFAyF/vkXTH/Daw==</latexit> Ffiltered = 0 B B B @ H( 1) 0 · · · 0 0 H( 2) · · · 0 . . . . . . ... . . . 0 0 · · · H( N ) 1 C C C A F <latexit sha1_base64="ngCLevEQ2/Gxk/MI/yqoYnTj9rw=">AAADM3ichZG/T9tAFMefTUvBLRDogtTFIgLRJXqGlFaVkBBdMkJCABWjyL4c4YR/yb5EhYh/oP8AAxOVqqrq3L+gS6duDIgNsVSIKUgsHfrsWKUm0J51d+/efb7P37uzA0dEEvFEUfsePOx/NDCoPX4yNDySGx1bjfxmyHiV+Y4frttWxB3h8aoU0uHrQcgt13b4mr3zJt5fa/EwEr63IncDvulaDU9sCWZJStVyP0ybN4TXDlxLhuLdvlaaNh2S162a8Vyf1w19SsdMN00tDm64mV4uZbLcbJb7i8lyxZi7k8lyLxJOM7lX/2O/lstjAZOm9wZGGuQhbUt+7hOYUAcfGDTBBQ4eSIodsCCibwMMQAgotwltyoUUiWSfwz5opG0SxYmwKLtDY4NWG2nWo3VcM0rUjP7iUA9JqcMkHuNn7OB3/II/8de9tdpJjdjLLs12V8uD2sj78cr1f1UuzRK2b1T/9CxhC14lXgV5D5JMfArW1bf2DjqV1+XJ9hR+wAvyf4Qn+I1O4LWu2MdlXj4EjR7AuH3dvcHqTMGYKxSXi/mFxfQpBuAZTMA03fdLWIASLEEVmFJU3ipMqatf1VP1TD3voqqSap5CpqmXvwERXr7v</latexit> 0 B B B B @ H( 1) = 1 0 0 0 0 0 H( 2) = 1 0 0 0 0 0 H( 3) = 1 0 0 0 0 0 H( 4) = 0 0 0 0 0 0 H( 5) = 0 1 C C C C A グラフ周波数ごとに何らかの処理を⾏う さっきの例なら， 𝜆! , 𝜆# , 𝜆$ はそのまま， 𝜆% , 𝜆" はカットしたので， フィルタカーネル
22. グラフフーリエ変換 ・グラフフーリエ変換の結論（これが分かれば多分OK） 22 <latexit sha1_base64="SryElCXO9BTqkqDslhSXcb8AuWw=">AAADHnichVFNa9RAGH4TP1rjR1e9FDw4uLR0L8uklCqCUCxCT7VfaQtNDclksh06+SCZXaxh/4B/wIOXVhCR/oKeBemleBLsT5AeW/DiwTfZ4LIu6htm5n2feZ8nz8x4iRSZovRU0y9dvnJ1ZPSacf3GzVtjtdt31rO4nTJusVjG6abnZlyKiFtKKMk3k5S7oSf5hrc7X+xvdHiaiThaU3sJ3w7dViQCwVyFkFM7Cpw8EFLxlPtd8oRYxPZ4S0R5EroqFS+7xsKULVHPdx2zQSYJxWEzP1ZZWdi2USD9punGUIPdqap+4g8ilcqAdl9ysWHYPPJ/WyLWizUSOLU6bdIyyHBiVkkdqliKax/ABh9iYNCGEDhEoDCX4EKG3xaYQCFBbBtyxFLMRLnPoQsGctvYxbHDRXQX5xZWWxUaYV1oZiWb4V8kjhSZBCboV/qRntNjeki/059/1cpLjcLLHq5ej8sTZ+z1+OqP/7JCXBXs9Fn/9KwggEelV4HekxIpTsF6/M6rN+erj1cm8kn6jp6h/wN6Sj/hCaLOBXu/zFfegoEPYP553cPJ+nTTnG3OLM/U555WTzEK9+ABTOF9P4Q5WIAlsIBp97Vn2qL2XN/XP+sn+pdeq65VnLswEPq3Xz42xYM=</latexit> ffiltered = U 0 B B B @ H( 1) 0 · · · 0 0 H( 2) · · · 0 . . . . . . ... . . . 0 0 · · · H( N ) 1 C C C A U T f 空間領域→周波数領域 元の信号 フィルタカーネルで フィルタリング 周波数領域→空間領域 処理後の信号
23. グラフフーリエ変換をもとにしたGNN ・⼿動でフィルタカーネルを設定 ⾼グラフ周波数成分を減衰 ・フィルタカーネルのパラメータ化 データから⾃動で良いフィルタを作成 （誤差逆伝播でOK） 23 <latexit sha1_base64="W9nTeG1t0ZNNpT89FLaH8kYs4Cw=">AAADT3ichVFLaxRBEK6Z9ZGMj2z0IngZXBIiwlKzBCOCEPSSU9gkbhJIh6Wnp3fTZF7M9A7GYdGzf8CDJwUR8Wd48erBQ36CeoyQi4g1s0OWNVFr6Omvvq6vHt1u7KtUIx4aZu3c+QsXp6atS5evXJ2pz17bTKNBImRHRH6UbLs8lb4KZUcr7cvtOJE8cH255e4/Ks63MpmkKgof64NY7ga8H6qeElwT1a1/Y67sqzCPA64T9WRorSwwn+Qe7zq37Qc26yVc5M4wP2HvOEN73kZaTHiRTkuHMatgxuLWmeLWSDwpZFnljYE3yVTZJ2qOS62eWWqVSllMht7JaN16A5tYmn0aOBVoQGXtqP4OGHgQgYABBCAhBE3YBw4pfTvgAEJM3C7kxCWEVHkuYQgWaQcUJSmCE7tP/z55OxUbkl/kTEu1oCo+rYSUNszhF3yPR/gJP+BX/PnXXHmZo+jlgHZ3pJVxd+bFjY3j/6oC2jXsjVX/7FlDD+6VvSrqPS6ZYgox0mdPXx5t3F+fy+fxDX6n/l/jIX6kCcLsh3i7JtdfgUUP4Px53afBZqvp3G0uri02lh9WTzEFN+EWLNB9L8EyrEAbOiCMtpEZz4zn5mfz2PxVq0JNowLXYcJq078B7l7Wnw==</latexit> 0 B B B @ H( 1) = 1 1+1 0 · · · 0 0 H( 2) = 1 2+1 · · · 0 . . . . . . ... . . . 0 0 · · · H( N ) = 1 N +1 1 C C C A <latexit sha1_base64="8w8SQGn37xW+RNCzvQv2lVh4spc=">AAACh3ichVHLSsNAFD2Nr7a+qm4EN2JRFKFOpNQiCFU3XfqqClZKEqc6NE1CkhZq6F78AReuFEREcKt7N/6ACz9BXCq4ceFtGhQV9Q4zc+bMPXfOzKiWLhyXsYeQ1NLa1t4RjkQ7u7p7emN9/euOWbE1ntNM3bQ3VcXhujB4zhWuzjctmytlVecbammxsb9R5bYjTGPNrVl8u6zsGqIoNMUlqhAbyY7ndUrfUQpiYi5ftBXNk+veBzcp1wuxOEswP4Z/AjkAcQSxZMbOkccOTGiooAwOAy5hHQocaluQwWARtw2POJuQ8Pc56oiStkJZnDIUYks07tJqK2ANWjdqOr5ao1N06jYphzHK7tkFe2Z37JI9srdfa3l+jYaXGs1qU8utQu/h4Orrv6oyzS72PlV/enZRRNr3Ksi75TONW2hNfXX/6Hl1dmXUG2On7In8n7AHdks3MKov2tkyXzlGlD5A/v7cP8H6dEJOJZLLyXhmIfiKMIYwgnF67xlkkMUScnTuAa5wjRspIk1JKSndTJVCgWYAX0Kafwe1CZZa</latexit> H( i) = 1 i + 1 <latexit sha1_base64="kXEV3+3IV7M2/otsaq/mo9k2M0g=">AAADEnichVFLaxRBEK4ZX3F8ZDUXwUvjkuBpqQnBFwghuXiSvCYJZOIw01OzaTIvZnoX47B/wLPgwZOCiIh/wJvk4sGrh/wE8RjBiwdrZwfDuqg9dPdXX9VX83V3kMeq1IhHhnnq9Jmz56bOWxcuXro83bpydbPMeoUkR2ZxVmwHfkmxSsnRSse0nRfkJ0FMW8H+8jC/1aeiVFm6oQ9y2k38bqoiJX3NlNd6H3lVpGJNBYUDcV84wg2oq9IqT3xdqMcDy9V7pH3PFnMCeboyzHRZB65r1cyoYH4i6fab6ASE40zTYaxv0+6h5VIa/rYhnEcbIvJabexgPcQksBvQhmasZK034EIIGUjoQQIEKWjGMfhQ8rcDNiDkzO1CxVzBSNV5ggFYrO1xFXGFz+w+r12Odho25XjYs6zVkv8S8yxYKWAWv+BbPMZP+A6/4s+/9qrqHkMvB7wHIy3l3vTTa+s//qtKeNewd6L6p2cNEdypvSr2ntfM8BRypO8/eX68fm9ttprDV/iN/b/EIzzkE6T97/L1Kq29AIsfwP7zuifB5nzHvtVZWF1oLy41TzEF1+EG3OT7vg2L8ABWwAFpzBh3jSVj2XxmfjA/moejUtNoNDMwNszPvwDRUsJf</latexit> ffiltered = U 0 B B B @ ✓1 0 · · · 0 0 ✓2 · · · 0 . . . . . . ... . . . 0 0 · · · ✓N 1 C C C A UT f <latexit sha1_base64="LeF+Gjw7qLm3a8WmZcmDFJNYEuA=">AAACi3icSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQuopcVXp2XmlKQWpabUKtgqhKbHx5RkpJYkKmjE+ACNSUnUDI0LSYsXUDbQMwADBUyGIZShzAAFAfkCyxliGFIY8hmSGUoZchlSGfIYSoDsHIZEhmIgjGYwZDBgKACKxTJUA8WKgKxMsHwqQy0DF1BvKVBVKlBFIlA0G0imA3nRUNE8IB9kZjFYdzLQlhwgLgLqVGBQNbhqsNLgs8EJg9UGLw3+4DSrGmwGyC2VQDoJoje1IJ6/SyL4O0FduUC6hCEDoQuvm0sY0hgswG7NBLq9ACwC8kUyRH9Z1fTPwVZBqtVqBosMXgPdv9DgpsFhoA/yyr4kLw1MDZrNwAWMAEP04MZkhBnpGZrpmQSaKDs4QaOCg0GaQYlBAxje5gwODB4MAQyhQHt7GDYx7GbYw8TLZMxkxWQDUcrECNUjzIACmFwBAJqXvg==</latexit> ffiltered = Ug✓(⇤)UT f
24. グラフフーリエ変換をもとにしたGNN ・多項式フィルタカーネル これを⽤いると，固有ベクトルや固有値を計算しなくとも計算が可能 24 <latexit sha1_base64="jwcp/kGqa06LnDQW65IGlmqYito=">AAACxXichVFNSxtRFD2O1Wq0Gu1GcDM0KBYh3AlSRRCCLtqlX1HB2OnM5BmHzBczLwENoXv/gAtXFoqU/oyC+Ae68CeI7vzopgvvTEZCK613mPfOO+ee++57zwwcO5JEF11K94ue3pd9/ZmBwVdDw9mR0Y3Ir4eWKFm+44dbphEJx/ZESdrSEVtBKAzXdMSmWVuK9c2GCCPb99blfiB2XKPq2bu2ZUim9Oynqt4syz0hjdZU2WFfxXirLqhtSid1+hFqqdphCinzsRBzFV9GHa32qNX0bI7ylIT6FGgpyCGNZT97ijIq8GGhDhcCHiRjBwYi/rahgRAwt4MmcyEjO9EFWsiwt85ZgjMMZms8Vnm1nbIer+OaUeK2eBeH/5CdKiboJ32jGzqn73RJv/9Zq5nUiHvZ59lse0WgDx+Orf161uXyLLHXcf23Z4ldzCW92tx7kDDxKay2v3FwdLM2vzrRnKQvdMX9n9AF/eATeI1b6+uKWD1Ghh9A+/u6n4KNQl57l59ZmckVF9On6MM43mCK73sWRXzAMkq87xmucYd75b3iKlJptFOVrtTzGn+E8vkBReqtwA==</latexit> g✓( ) = ✓0 + ✓1 + ✓2 2 + · · · + ✓k k <latexit sha1_base64="1uxNb8CcBcRec/qyHOhwndXti0Y=">AAADBHichVHNa9RAFH+J1tb1o1u9CF4Gly4twjIpqxVBKHrx2K+0haaGfLxsh04mIZldrCFXD/4DHjyIgojoTbx68eI/4KF/gnis4MWDL9lA0VZ9j+S9+b3f782bGT+VItecHxjmqdMTZyanzrbOnb9wcbo9c2kjT4ZZgHaQyCTb8r0cpVBoa6ElbqUZerEvcdPfu1fVN0eY5SJR63o/xZ3YGygRicDTBLnt55FbREJqzDAs2R1mM8fHgVBFGns6Ew9LNnALR++i9so5R1Lj0HOtedYl58xxKJxAWKgIVOQ1zwnDROdjpFv7CRI1zxxU4dG+9oNivYzcdof3eG3seGI1SQcaW07ar8GBEBIIYAgxICjQlEvwICffBgs4pITtQEFYRpmo6wgltEg7JBYSwyN0j/4DWm03qKJ11TOv1QHtIunLSMlgln/hb/gh/8zf8q/85197FXWPapZ9iv5Yi6k7/eTK2o//qmKKGnaPVP+cWUMEt+pZBc2e1kh1imCsHz16erh2e3W26PKX/BvN/4If8E90AjX6HrxawdVn0KIHsP687uPJxkLPutnrr/Q7S3ebp5iCq3AN5ui+F2EJ7sMy2BAYE8Z1o2/cMB+b78z35ocx1TQazWX4zcyPvwABBMAC</latexit> ffiltered = U 0 B B B @ g✓( 1) 0 g✓( 2) 0 ... g✓( n) 1 C C C A UT f <latexit sha1_base64="VWss87h9LpxywPzrIEwL+LXGycg=">AAACj3ichVHLShxBFD22z4xRR90I2TQOBlEYbouoCMqgmwgufGRUcLTpbmu0mH7RXTOggz+QVXZZuEpARNy7VXCTH8jCT5AsDWTjwjs9LZJI4m266tS599w6VWWHrowV0W2L1trW3tHZ9SbT/banty/bP7ARB9XIEUUncINoy7Zi4UpfFJVUrtgKI2F5tis27cpiI79ZE1EsA/+jOgzFjmft+7IsHUsxZWbH5vSSOhDKMkkv6+N6Ka56Zl3OGce7laeM1Jd3pV42sznKUxL6S2CkIIc0VoLsGUrYQwAHVXgQ8KEYu7AQ87cNA4SQuR3UmYsYySQvcIwMa6tcJbjCYrbC4z6vtlPW53WjZ5yoHd7F5T9ipY4R+kHndE/f6YLu6OGfvepJj4aXQ57tplaEZt+nofXfr6o8nhUOnlX/9axQxkziVbL3MGEap3Ca+trRl/v12bWR+nv6Rj/Z/1e6pRs+gV/75ZyuirUTZPgBjL+v+yXYmMgbU/nJ1clcYSF9ii68wzBG+b6nUcAHrKDI+37GJa5wrfVr09q8VmiWai2pZhB/hLb0CJ96mF8=</latexit> = ✓0f + k X i=1 ✓iLif … （式変形は教科書P.181,182参照）
25. 多項式フィルタカーネルはkホップ以内のノードから情報を収集 （厳密な詳細は教科書P.183） 関連事項︓ A𝑘のijはiからjへのkホップのパスの数を表す （𝐿'の解釈は難しい…） <latexit sha1_base64="b1TB8p2DHoyhcGcYhuoWw1mOfyM=">AAAC9HichVHNTttAEB6bn1K3JYFekLhYDUE9ReOACkJCovTCERLyI2GIbGcTVvGf7E0EjfICvfTYQ3tpEaoqJF6CS1+AQx4BcUwRFw6dOAZKUdOx1vvNN/PNzO6avs1DgdiV5JHRsfEnE0+VZ89fTCaSU9PF0GsGFitYnu0FZdMImc1dVhBc2KzsB8xwTJuVzMa7frzUYkHIPXdbHPps1zHqLq9xyxBEVZIf3+5l1VVV0U1W527bdwwR8IOOombVeRXjNcC6rtx5t1FtCPtnhYUHFbR4RVjRmVu9a1xJpjCDkamPgRaDFMS26SW/gw5V8MCCJjjAwAVB2AYDQvp2QAMEn7hdaBMXEOJRnEEHFNI2KYtRhkFsg/518nZi1iW/XzOM1BZ1sWkFpFQhjef4A3v4E0/wAm/+Wasd1ejPcki7OdAyv5L4MJO//q/KoV3A/r1q6MwCarAczcppdj9i+qewBvrW+0+9/Eou3Z7Hb3hJ83/FLp7RCdzWL+t4i+U+g0IPoP193Y9BMZvR3mQWtxZTa+vxU0zALLyC13TfS7AGG7AJBep7Jc1Kc1Jabslf5CP5eJAqS7HmJTww+fQ3+OKpig==</latexit> A2 = 0 B B B B @ 2 0 0 2 0 0 2 2 0 1 0 2 2 0 1 2 0 0 3 0 0 1 1 0 1 1 C C C C A <latexit sha1_base64="Imyulh+TLCgW6RIN1EyHRKXg2cM=">AAAC8nichVFLS8NAEJ7Ed3xVvShegkXxVCYiKoJQ9eLRV1UwUpK41qV5kWyLWvoHBM+CnlRERP+FF/+AB3+CeKzgxYPTNL5RZ5ndmW/mm5ndNX2bhwLxXpLr6hsam5pblNa29o7ORFf3SugVAotlLM/2gjXTCJnNXZYRXNhszQ+Y4Zg2WzXzs9X4apEFIffcZbHrsw3HyLl8i1uGICibOJhWp1RFN1mOuyXfMUTAd8qKiuqQqsWKkeq68sl7i/yOfq+gvaNfchWduZvvjbOJJKYwEvWnocVGEmKZ9xIXoMMmeGBBARxg4IIg2wYDQlrroAGCT9gGlAgLyOJRnEEZFOIWKItRhkFonvYceesx6pJfrRlGbIu62KQBMVUYxDu8xAre4hU+4MuvtUpRjeosu3SaNS7zs537vUvP/7IcOgVsf7D+nFnAFkxEs3Ka3Y+Q6i2sGr+4d1hZmlwcLA3hKT7S/Cd4jzd0A7f4ZJ0vsMVjUOgDtO/P/dNYGUlpY6nRhdFkeib+imbohwEYpvcehzTMwTxkqG9F6pMGpKQs5CP5RD6rpcpSzOmBLyJfvwIg0aja</latexit> A = 0 B B B B @ 0 1 1 0 0 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 0 0 0 1 0 1 C C C C A グラフフーリエ変換をもとにしたGNN ・多項式フィルタカーネルの解釈 25 <latexit sha1_base64="+qCWgs5E7bBkjxPAF2yFeALNsVw=">AAACm3ichVHLShxBFD22iU7GqKPZBILQZDAIwnBbZBRBkLgJwYWPjAqONt091VpMv+iuGTDN/EB+IIu4MRBCyF+YTSDZZuEniEsFNy5yp6dDSES9TVedOveeW6eq7MiTiSI67dP6HzwcGCw8Kg49Hh4ZLY2NbyZhK3ZEzQm9MN62rUR4MhA1JZUntqNYWL7tiS27udzNb7VFnMgweKMOI7HrW/uBdKVjKabMUtU1U1d6SsSi0VnU6+pAKMsk3dWn9XrS8s1ULhqdveafjNRX9qTumqUyVSgL/SYwclBGHqth6TPqaCCEgxZ8CARQjD1YSPjbgQFCxNwuUuZiRjLLC3RQZG2LqwRXWMw2edzn1U7OBrzu9kwytcO7ePzHrNQxSb/oC13Qd/pKZ3R9a68069H1csiz3dOKyBx993Tj6l6Vz7PCwV/VnZ4VXMxnXiV7jzKmewqnp2+/fX+xsbA+mb6gj3TO/o/plL7xCYL2pfNpTax/QJEfwPj/um+CzZmKUa3Mrs2Wl17mT1HAMzzHFN/3HJbwCquo8b5HOMEP/NQmtGXttbbSK9X6cs0T/BNa7Tdt453j</latexit> ffiltered = ✓0f + k X i=1 ✓iLif 5 2 3 4 1 例︓1→2への1ホップのパスは1本 1→1への2ホップのパスは2本 （1→2→1，1→3→1） 1→4への2ホップのパスは2本 （1→2→4，1→3→4）
26. グラフフーリエ変換をもとにしたGNN ・ChebNet [1] ・多項式フィルタカーネルの基底を 1, 𝑥 … , 𝑥# → T! , 𝑇# , … , 𝑇' に変更 ・ラプラシアンを調整 →チェビシェフ多項式は直交基底であり（c.f.単項式基底1, 𝑥 … , 𝑥#は直交×） パラメータθの数値が安定する．（詳細は教科書P.186） 26 <latexit sha1_base64="+qCWgs5E7bBkjxPAF2yFeALNsVw=">AAACm3ichVHLShxBFD22iU7GqKPZBILQZDAIwnBbZBRBkLgJwYWPjAqONt091VpMv+iuGTDN/EB+IIu4MRBCyF+YTSDZZuEniEsFNy5yp6dDSES9TVedOveeW6eq7MiTiSI67dP6HzwcGCw8Kg49Hh4ZLY2NbyZhK3ZEzQm9MN62rUR4MhA1JZUntqNYWL7tiS27udzNb7VFnMgweKMOI7HrW/uBdKVjKabMUtU1U1d6SsSi0VnU6+pAKMsk3dWn9XrS8s1ULhqdveafjNRX9qTumqUyVSgL/SYwclBGHqth6TPqaCCEgxZ8CARQjD1YSPjbgQFCxNwuUuZiRjLLC3RQZG2LqwRXWMw2edzn1U7OBrzu9kwytcO7ePzHrNQxSb/oC13Qd/pKZ3R9a68069H1csiz3dOKyBx993Tj6l6Vz7PCwV/VnZ4VXMxnXiV7jzKmewqnp2+/fX+xsbA+mb6gj3TO/o/plL7xCYL2pfNpTax/QJEfwPj/um+CzZmKUa3Mrs2Wl17mT1HAMzzHFN/3HJbwCquo8b5HOMEP/NQmtGXttbbSK9X6cs0T/BNa7Tdt453j</latexit> ffiltered = ✓0f + k X i=1 ✓iLif [1] Defferrard, M. et al. (2016). Convolutional neural networks on graphs with fast localized spectral filtering. In NeurIPS <latexit sha1_base64="KyKI8ogScCbh4A/fxmnEB2sLJgg=">AAACb3ichVHLSsNAFD2N7/qqulAQJFgU3ZQbERVBKLpx2YdVQaUkcdRgmoQkLdbiD/gBunDhA0TEz3DjD7jwE8SVKLhx4U0aEBX1DjNz5sw9d87MaI5peD7RQ0xqaGxqbmlti7d3dHZ1J3p6lz277OqioNum7a5qqidMwxIF3/BNseq4Qi1ppljRdheC/ZWKcD3Dtpb8qiM2Suq2ZWwZuuoztb5UpLG9cXlOVuR4MZGkFIUh/wRKBJKIImMnrrCOTdjQUUYJAhZ8xiZUeNzWoIDgMLeBGnMuIyPcFzhAnLVlzhKcoTK7y+M2r9Yi1uJ1UNML1TqfYnJ3WSljhO7pml7ojm7okd5/rVULawReqjxrda1wit2HA/m3f1Ulnn3sfKr+9OxjCzOhV4O9OyET3EKv6yv7xy/52dxIbZQu6In9n9MD3fINrMqrfpkVuRMEH6B8f+6fYHkipUylJrOTyfR89BWtGMQwxvi9p5HGIjIo8LkOjnCKs9iz1C8NSXI9VYpFmj58CWn8A74YjHs=</latexit> T0(x) = 1 <latexit sha1_base64="7mR0NhkCPQ9UHyyJU/irfev2OXY=">AAACbnichVHLSsNAFD2Nr1ofrQoiiBgslbopEykqgiC6canVVqFKSeK0hqZJSNJSLf6Ae3EhKAoi4me48Qdc9BPEjVDBjQtv04BoUW+YzJkz99w5c0exdM1xGasHhI7Oru6eYG+or39gMBwZGs44ZtlWeVo1ddPeUWSH65rB067m6nzHsrlcUnS+rRRXm/vbFW47mmlsuYcW3yvJBUPLa6rsEpXdyknx6oy4JFbFXCTKEswLsR1IPojCj3Uzcotd7MOEijJK4DDgEtYhw6EvCwkMFnF7qBFnE9K8fY5jhEhbpixOGTKxRfoXaJX1WYPWzZqOp1bpFJ2GTUoRMfbE7liDPbJ79sw+fq1V82o0vRzSrLS03MqFT8Y23/9VlWh2cfCl+tOzizwWPK8aebc8pnkLtaWvHJ01NhdTsdo0u2Yv5P+K1dkD3cCovKk3Gzx1jhA9gPSz3e0gM5uQ5hLJjWR0ecV/iiDGMYU49Xsey1jDOtJex05xgcvAqzAqTAiTrVQh4GtG8C2E+CcSiIyv</latexit> T1(x) = x <latexit sha1_base64="5xwGNd4gYVBjRscW+zDvwAziU2A=">AAACh3ichVHLSsNAFD2N7/po1Y3gJlgURayTUlQEwcfGZdVWBZWQxFGHpklI0qIW9+IPuHClICKCW9278Qdc+AniUsGNC2/SgKiod5iZM2fuuXNmRndM4fmMPcakuvqGxqbmlnhrW3tHItnZtezZZdfgBcM2bXdV1zxuCosXfOGbfNVxuVbSTb6iF+eC/ZUKdz1hW3l/z+EbJW3bElvC0Hyi1GRfXq2KYeVgcHdInpIzu3lVBHBEDviRkFeTKZZmYcg/gRKBFKLI2ckLrGMTNgyUUQKHBZ+wCQ0etTUoYHCI20CVOJeQCPc5DhAnbZmyOGVoxBZp3KbVWsRatA5qeqHaoFNM6i4pZfSzB3bJXtg9u2JP7P3XWtWwRuBlj2a9puWOmjjqWXr7V1Wi2cfOp+pPzz62MBF6FeTdCZngFkZNX9k/flmaXOyvDrAz9kz+T9kju6MbWJVX43yBL54gTh+gfH/un2A5k1bG0tmFbGp6NvqKZvSiD4P03uOYxjxyKNC5h7jGDW6lFmlUGpMmaqlSLNJ040tIMx/C9JPy</latexit> Ti+1(x) = 2xTi(x) Ti 1(x) , <latexit sha1_base64="a7oXT5nSpywL25xsiwytlOu2BHI=">AAACpnichVHLahRBFD1pX3F8ZNSN4KZxiIwIw20JKkIg6saFSF6TCWRi291zOymm+kF3zUBs5gf8gSyyUpAgfoYbNy5V8gniMoIbF97paREN6m266tS599w6VeWnWuWG6GDKOnb8xMlT06drZ86eOz9Tv3BxLU8GWcDtINFJtu57OWsVc9soo3k9zdiLfM0dv/9gnO8MOctVEq+anZQ3I28rVqEKPCOUW78XukWotOGMeyN73u6abTaeS3Zo37C7+SByCzXvjJ70f2aUveqqZtco3ePi0eh66NYb1KIy7KPAqUADVSwm9X100UOCAANEYMQwgjU85PJtwAEhFW4ThXCZIFXmGSPURDuQKpYKT9i+jFuy2qjYWNbjnnmpDmQXLX8mShuz9IFe0yG9ozf0mb7/tVdR9hh72ZHZn2g5dWeeX1759l9VJLPB9i/VPz0bhLhTelXiPS2Z8SmCiX74bPdw5e7ybHGNXtIX8f+CDuitnCAefg1eLfHyHmryAM6f130UrN1sObdac0tzjYX71VNM4wquoin3fRsLeIhFtGXffbzHR3yymtZjq211JqXWVKW5hN/CevoDBWaiXQ==</latexit> ffiltered = ✓0f + k X i=1 ✓iTi(˜ L)f <latexit sha1_base64="BoOFWQ0jxYoPZ6Jk78xVcMntTNo=">AAACiXichVHLLgRBFD3ae7wGG4lNxyA2JtUiiEQibEgsvAaJkUl3Tw0VNd2d7ppJ6MwP+AELKxIRsbFla+MHLHyCWJLYWLjT04kguJWqOnXqnlunqixPikAx9lin1Tc0NjW3tCba2js6u5LdPRuBW/JtnrFd6fpblhlwKRyeUUJJvuX53Cxakm9a+/PV/c0y9wPhOuvqwOM7RXPXEQVhm4qoXHIwq4TM83Cpos/o2YJv2uFYJcxKqpA3c05lSR/VF3PJFEuzKPSfwIhBCnEsu8kLZJGHCxslFMHhQBGWMBFQ24YBBo+4HYTE+YREtM9RQYK0JcrilGESu0/jLq22Y9ahdbVmEKltOkVS90mpY4g9sEv2wu7ZFXti77/WCqMaVS8HNFs1LfdyXUd9a2//qoo0K+x9qv70rFDAVORVkHcvYqq3sGv68uHxy9r06lA4zM7YM/k/ZY/sjm7glF/t8xW+eoIEfYDx/bl/go2xtDGRHl8ZT83OxV/Rgn4MYITeexKzWMAyMnTuEa5xg1utTTO0KW26lqrVxZpefAlt/gMi+Zbu</latexit> ˜ L = 2 n L I ラプラシアンの固有値が[-1,1] に収まるように正規化 再起的に計算可能 ,
27. グラフフーリエ変換をもとにしたGNN ・ChebNet [1] （補⾜）基底が平⾏に近いと係数が⼤きくなる． x=(1,0), y=(0,1) なら (2,2)=2x+2y（直交基底，数値的に安定） u=(1,0), v=(1,0.1) なら (2,2)=20v-18u（平⾏に近い，数値的に不安定） 27 [1] Defferrard, M. et al. (2016). Convolutional neural networks on graphs with fast localized spectral filtering. In NeurIPS （教科書はミスってる）
28. グラフフーリエ変換をもとにしたGNN ・GCNの前に…対称正規化ラプラシアンについて ノードの次数が⼤きくなると，Lの値が⼤きくなり，数値的に不安定． 28 <latexit sha1_base64="QKLQZSHk+ecRPyhEsjVOQjL8T0U=">AAADB3ichVG9ThtBEJ47CDFHAIc0SDQrLFAarDnLAQspEkoaCgp+YkDiiHV3rJ0V96e7tYVj8QDJC6SgAglFUYp0iBbR8AIUPEJESaQ0FMydD/MnYE43O/N9883O7lqBIyKJeKaoXd0vel5merW+V/0Dg9nXQ8uRXw9tXrZ9xw9XLTPijvB4WQrp8NUg5KZrOXzF2vwY8ysNHkbC9z7JZsDXXbPmiaqwTUlQJbs397nA3jPD4jXhtQLXlKHY2tbYJBtnE8VrxwqxQ2YYWpLrhQ79Lmb0DnOLvmFYJ0/ctTpmsF2UunQzzeDeRmeYSjaHeUyMPQz0NMhBavN+9icYsAE+2FAHFzh4ICl2wISIvjXQASEgbB1ahIUUiYTnsA0aaetUxanCJHSTfI2ytRT1KI97Ronapl0c+kNSMhjDU/yFF3iCv/EvXj7aq5X0iGdp0mq1tTyoDH4fXvr/rMqlVcKXG9WTM0uoQimZVdDsQYLEp7Db+sbXHxdL04tjrXHcw3OafxfP8JhO4DX+2fsLfHEHNHoA/f51PwyWC3l9Ml9cKOZmPqRPkYERGIW3dN9TMAOzMA9lsJWMklemlJL6Tf2jHqiH7VJVSTVv4I6pR1cHAKzN</latexit> L2 = 0 B B B B @ 6 4 4 2 0 4 12 4 5 1 4 4 12 5 1 2 5 5 12 4 0 1 1 4 2 1 C C C C A <latexit sha1_base64="Nc2a+P/LxLnTwPM1P/CXqb14bHo=">AAADBHicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQvM91GwVYhJSk3PzKsuyE0sKcqsqOUyUlBT0DWEEQoGECImhgvCN0aXhsmgSUNkwNoxpWEyCAIibcgVk5qXAndLvICygZ4BGChgMgyhDGUGKAjIF1jOEMOQwpDPkMxQypDLkMqQx1ACZOcwJDIUA2E0gyGDAUMBUCyWoRooVgRkZYLlUxlqGbiAekuBqlKBKhKBotlAMh3Ii4aK5gH5IDOLwbqTgbbkAHERUKcCg6rBVYOVBp8NThisNnhp8AenWdVgM0BuqQTSSRC9qQXx/F0Swd8J6soF0iUMGQhdeN1cwpDGYAF2aybQ7QVgEZAvkiH6y6qmfw62ClKtVjNYZPAa6P6FBjcNDgN9kFf2JXlpYGrQbAYuYAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCGVIZmRl1GY0YTRlamNaw7SZaStEKRMjVI8wAwpg2gcA1jGrmg==</latexit> L = 0 B B B B @ 2 1 1 0 0 1 3 1 1 0 1 1 3 1 0 0 1 1 3 1 0 0 0 1 1 1 C C C C A
29. <latexit sha1_base64="QMY8kN18viaIz1wdxfnwrC0ffH8=">AAADb3icnVHLitRAFL3p+JhpH9OjCwVBCpsZpkGbigwqgjDoxoWLedgzA50mVCrVbfUklUyqurEN+QE/QBcufICI+Blu/AEX8wniSkZw48KbdECc8QHekKpTp+45dW+Vn4RSG0r3rJp95Oix4zOz9RMnT52ea8yf2dTxKOWiw+MwTrd9pkUolegYaUKxnaSCRX4otvydO8X+1likWsbqvpkkohexgZJ9yZlBypu3Zu95mWvEQ5PpSZTnXXl52CO3iOuLgVQZR2udE4cskmmS7JOcSEwYEtclV9x+ynjm5Jmrd1OTuYEYLI092arAsJXnB6WuEruFuuQIUwGyKEFCqklVCpGasGDIuFCGmJjkRUp5Iv1fOxWb31oKFVRdeo0mbdMyyGHgVKAJVazGjTfgQgAxcBhBBAIUGMQhMND4dcEBCglyPciQSxHJcl9ADnXUjjBLYAZDdgfHAa66FatwXXjqUs3xlBD/FJUEFuhH+pbu0w/0Hf1Ev//RKys9ilomOPtTrUi8ucfnN779UxXhbODBT9VfazbQhxtlrRJrT0qm6IJP9eNHT/c3bq4vZIv0Ff2M9b+ke/Q9dqDGX/nrNbH+DOr4AM7B6z4MNq+2nWvt5bXl5srt6ilm4AJcgiW87+uwAndhFTrArcR6Yj23XtS+2OfsizaZptasSnMWfgm79QMlhejM</latexit> Lsym[i, j] = 8 > > < > > : 1 if i = j 1 p deg(vi) deg(vj ) if i 6= j and vi is adjacent to vj 0 if i 6= j and vi is not adjacent to vj グラフフーリエ変換をもとにしたGNN ・GCNの前に…対称正規化ラプラシアンについて ノードの次数が⼤きくなると，Lの値が⼤きくなり，数値的に不安定． →次数で正規化する．𝐿()*の固有値は[0,2]に含まれる．（教科書P.188） 29 <latexit sha1_base64="HStfGOjPfCwauPwFy02P6PVUc+g=">AAAC2nichVE9SytBFL27T30xfkVtBJvFoNgYZiX4RBD0aaFg4VdUcDXsjhNdsl/sTsLLG7axU1vBwkpBRPwZr3l/wEL8BWKpYGPhzWZBdFHvMDNnztxz58yM4VlmwAm5leQfTc0tP1Ot6bb2js6uTHfPWuBWfMoK1LVcf8PQA2aZDitwk1tsw/OZbhsWWzfKM/X99SrzA9N1VnnNY1u2vuuYJZPqHKliprKwLTTO/nAR1OwwVLSA67TsMytmd1gpDMVkqMxuixGt5OtUqKEYxcyFJDWpzCsjSXo6QRUzWZIjUShJoMYgC3EsuplL0GAHXKBQARsYOMARW6BDgG0TVCDgIbcFAjkfkRntMwghjdoKZjHM0JEt47iLq82YdXBdrxlEaoqnWNh9VCowSG7IFXkk/8k1uScvn9YSUY26lxrORkPLvGLXYd/K87cqG2cOe2+qLz1zKMF45NVE717E1G9BG/rq35PHlYnlQTFEzskD+j8jt+Qf3sCpPtGLJbZ8Cmn8APXjcyfB2mhOHcvll/LZqd/xV6SgHwZgGN/7F0zBHCxCAc+9kyQpLbXJmrwvH8hHjVRZijW98C7k41dNy7VM</latexit> Lsym def = D 1 2 LD 1 2 = I D 1 2 AD 1 2 （対⾓成分） （⾮対⾓成分） ⾼次数のノードの関わると⼩さく，低次数のノードが関わると⼤きくなる． つまり，ノードの影響⼒を上⼿いこと調整している︕
30. <latexit sha1_base64="QMY8kN18viaIz1wdxfnwrC0ffH8=">AAADb3icnVHLitRAFL3p+JhpH9OjCwVBCpsZpkGbigwqgjDoxoWLedgzA50mVCrVbfUklUyqurEN+QE/QBcufICI+Blu/AEX8wniSkZw48KbdECc8QHekKpTp+45dW+Vn4RSG0r3rJp95Oix4zOz9RMnT52ea8yf2dTxKOWiw+MwTrd9pkUolegYaUKxnaSCRX4otvydO8X+1likWsbqvpkkohexgZJ9yZlBypu3Zu95mWvEQ5PpSZTnXXl52CO3iOuLgVQZR2udE4cskmmS7JOcSEwYEtclV9x+ynjm5Jmrd1OTuYEYLI092arAsJXnB6WuEruFuuQIUwGyKEFCqklVCpGasGDIuFCGmJjkRUp5Iv1fOxWb31oKFVRdeo0mbdMyyGHgVKAJVazGjTfgQgAxcBhBBAIUGMQhMND4dcEBCglyPciQSxHJcl9ADnXUjjBLYAZDdgfHAa66FatwXXjqUs3xlBD/FJUEFuhH+pbu0w/0Hf1Ev//RKys9ilomOPtTrUi8ucfnN779UxXhbODBT9VfazbQhxtlrRJrT0qm6IJP9eNHT/c3bq4vZIv0Ff2M9b+ke/Q9dqDGX/nrNbH+DOr4AM7B6z4MNq+2nWvt5bXl5srt6ilm4AJcgiW87+uwAndhFTrArcR6Yj23XtS+2OfsizaZptasSnMWfgm79QMlhejM</latexit> Lsym[i, j] = 8 > > < > > : 1 if i = j 1 p deg(vi) deg(vj ) if i 6= j and vi is adjacent to vj 0 if i 6= j and vi is not adjacent to vj グラフフーリエ変換をもとにしたGNN ・GCNの前に…対称正規化ラプラシアンについて 30 <latexit sha1_base64="FsmgNVq0WRkGguYfYXAxQerMUMQ=">AAAC7HichVFLS8NAEJ7EV62vqhdBhWBRPJWJiIog+Lh49FUVrJQkrnUx2YRkW6zFs+BZ8CAeFFTEn+HFP+DBnyDiScGLB6dpfKPOMrsz38w3M7trejYPJOKtolZV19TWxerjDY1NzS2J1rbFwM37Fktbru36y6YRMJsLlpZc2mzZ85nhmDZbMjenyvGlAvMD7ooFWfTYqmPkBF/nliEJyiZ2J7QxLWOyHBclzzGkz7d2NNT6ND1SDDWTeXc+AhH4ORCC3+n6G4hfM5lYe++ZTSQxhaFoPw09MpIQyYybOIcMrIELFuTBAQYCJNk2GBDQWgEdEDzCVqFEmE8WD+MMdiBO3DxlMcowCN2kPUfeSoQK8ss1g5BtUReb1CemBr14gxf4iNd4iXf48mutUlijPEuRTrPCZV62Za9j/vlflkOnhI0P1p8zS1iHkXBWTrN7IVK+hVXhF7YPHudH53pLfXiC9zT/Md7iFd1AFJ6s01k2dwhx+gD9+3P/NBYHUvpQanB2MDk+GX1FDDqhB/rpvYdhHKZhBtLU90FpV7qUblWo++qhelRJVZWI0w5fRD17BZeDqHo=</latexit> A = 0 B B B B @ 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 0 1 1 0 1 0 0 0 1 0 1 C C C C A <latexit sha1_base64="kHThtVcMpNKkdnX+C6DAuOCP/dc=">AAAC7HichVFNS+RAEK3E9Wv8GvUiuAvBQfE0VFRUBEF0Dx6d0VHByJDEdmxMOiHpGdTBs+BZ8CAeVlBZ9mfsZf/AHvwJIp5G8LKHrWTCzo66a4VKv35Vr6q62/IdHkrEO0Vt+dDa1t7Rmerq7untS/cPrIdeObBZwfYcL9i0zJA5XLCC5NJhm37ATNdy2Ia1vxTFNyosCLkn1uShz7ZdsyT4LrdNSVQxffJZm9cMi5W4qPquKQN+cKxNaGMaNrlhxGDyLbI58BfZCLwgI9c1g4mdPz2L6QxmMTbtNdATkIHEVrz0LRiwAx7YUAYXGAiQhB0wIaRvC3RA8InbhipxASEexxkcQ4q0ZcpilGESu0//Eu22ElbQPqoZxmqbujjkASk1GMWf+BVr+AO/4T3++metalwjmuWQVquuZX6x73Ro9fldlUurhL2G6r8zS9iF2XhWTrP7MROdwq7rK0fntdW5/Gh1DK/wgeb/gnf4nU4gKk/2dY7lLyBFD6C/vO7XYH0iq09np3JTmYXF5Ck6YBhGYJzuewYWYBlWoEB9H5VB5aPySRXqmXqhXtZTVSXRDEKTqTe/AZ8VqH0=</latexit> D = 0 B B B B @ 2 0 0 0 0 0 3 0 0 0 0 0 3 0 0 0 0 0 3 0 0 0 0 0 1 1 C C C C A <latexit sha1_base64="4rkTrprjo3euYcqRI3pAb+yL264=">AAADP3ichVHNShxBEK6ZRKNr1E1yEXIZsihestQYSUJAWBIPHv1bFRyzzLS9a+P8pad30QzzAnmBHHKKIEF8ipBLXiAHfQERQQQFETykZnYwcUXtobqrv/q+mq+7ndAVkULc0/QHD7u6H/X0Fvoe9w8MFp88XYiCpmS8ygI3kEuOHXFX+LyqhHL5Uii57TkuX3TWP6T1xRaXkQj8ebUZ8hXPbviiLpitCKoV9yc/xi+turRZbCbxWJIYE4bl8Ibw49CzlRQbiXFVtqJPUmWkEQOvhWVlSQfzVQczZ93D/I91B7ODlYZpWNxfvfJdK5awjNkwbiZmnpQgH9NB8QdYsAoBMGiCBxx8UJS7YENE3zKYgBAStgIxYZIykdU5JFAgbZNYnBg2oes0N2i3nKM+7dOeUaZm9BeXQpLSgGH8gzt4ir9xFw/x8tZecdYj9bJJq9PW8rA2+GVo7vxelUergrV/qjs9K6jD28yrIO9hhqSnYG196/PX07l3s8PxCG7hEfn/jnv4i07gt87Y9gyf/QYFegCz87pvJgtjZfN1eXxmvFR5nz9FDzyHFzBK9/0GKjAF01AFplW0uhZoof5TP9CP9ZM2VddyzTO4NvSLvyhdzWY=</latexit> D 1 2 = 0 B B B B B @ 1 p 2 0 0 0 0 0 1 p 3 0 0 0 0 0 1 p 3 0 0 0 0 0 1 p 3 0 0 0 0 0 1 1 C C C C C A <latexit sha1_base64="HStfGOjPfCwauPwFy02P6PVUc+g=">AAAC2nichVE9SytBFL27T30xfkVtBJvFoNgYZiX4RBD0aaFg4VdUcDXsjhNdsl/sTsLLG7axU1vBwkpBRPwZr3l/wEL8BWKpYGPhzWZBdFHvMDNnztxz58yM4VlmwAm5leQfTc0tP1Ot6bb2js6uTHfPWuBWfMoK1LVcf8PQA2aZDitwk1tsw/OZbhsWWzfKM/X99SrzA9N1VnnNY1u2vuuYJZPqHKliprKwLTTO/nAR1OwwVLSA67TsMytmd1gpDMVkqMxuixGt5OtUqKEYxcyFJDWpzCsjSXo6QRUzWZIjUShJoMYgC3EsuplL0GAHXKBQARsYOMARW6BDgG0TVCDgIbcFAjkfkRntMwghjdoKZjHM0JEt47iLq82YdXBdrxlEaoqnWNh9VCowSG7IFXkk/8k1uScvn9YSUY26lxrORkPLvGLXYd/K87cqG2cOe2+qLz1zKMF45NVE717E1G9BG/rq35PHlYnlQTFEzskD+j8jt+Qf3sCpPtGLJbZ8Cmn8APXjcyfB2mhOHcvll/LZqd/xV6SgHwZgGN/7F0zBHCxCAc+9kyQpLbXJmrwvH8hHjVRZijW98C7k41dNy7VM</latexit> Lsym def = D 1 2 LD 1 2 = I D 1 2 AD 1 2
31. <latexit sha1_base64="QMY8kN18viaIz1wdxfnwrC0ffH8=">AAADb3icnVHLitRAFL3p+JhpH9OjCwVBCpsZpkGbigwqgjDoxoWLedgzA50mVCrVbfUklUyqurEN+QE/QBcufICI+Blu/AEX8wniSkZw48KbdECc8QHekKpTp+45dW+Vn4RSG0r3rJp95Oix4zOz9RMnT52ea8yf2dTxKOWiw+MwTrd9pkUolegYaUKxnaSCRX4otvydO8X+1likWsbqvpkkohexgZJ9yZlBypu3Zu95mWvEQ5PpSZTnXXl52CO3iOuLgVQZR2udE4cskmmS7JOcSEwYEtclV9x+ynjm5Jmrd1OTuYEYLI092arAsJXnB6WuEruFuuQIUwGyKEFCqklVCpGasGDIuFCGmJjkRUp5Iv1fOxWb31oKFVRdeo0mbdMyyGHgVKAJVazGjTfgQgAxcBhBBAIUGMQhMND4dcEBCglyPciQSxHJcl9ADnXUjjBLYAZDdgfHAa66FatwXXjqUs3xlBD/FJUEFuhH+pbu0w/0Hf1Ev//RKys9ilomOPtTrUi8ucfnN779UxXhbODBT9VfazbQhxtlrRJrT0qm6IJP9eNHT/c3bq4vZIv0Ff2M9b+ke/Q9dqDGX/nrNbH+DOr4AM7B6z4MNq+2nWvt5bXl5srt6ilm4AJcgiW87+uwAndhFTrArcR6Yj23XtS+2OfsizaZptasSnMWfgm79QMlhejM</latexit> Lsym[i, j] = 8 > > < > > : 1 if i = j 1 p deg(vi) deg(vj ) if i 6= j and vi is adjacent to vj 0 if i 6= j and vi is not adjacent to vj グラフフーリエ変換をもとにしたGNN ・GCNの前に…対称正規化ラプラシアンについて 31 <latexit sha1_base64="HStfGOjPfCwauPwFy02P6PVUc+g=">AAAC2nichVE9SytBFL27T30xfkVtBJvFoNgYZiX4RBD0aaFg4VdUcDXsjhNdsl/sTsLLG7axU1vBwkpBRPwZr3l/wEL8BWKpYGPhzWZBdFHvMDNnztxz58yM4VlmwAm5leQfTc0tP1Ot6bb2js6uTHfPWuBWfMoK1LVcf8PQA2aZDitwk1tsw/OZbhsWWzfKM/X99SrzA9N1VnnNY1u2vuuYJZPqHKliprKwLTTO/nAR1OwwVLSA67TsMytmd1gpDMVkqMxuixGt5OtUqKEYxcyFJDWpzCsjSXo6QRUzWZIjUShJoMYgC3EsuplL0GAHXKBQARsYOMARW6BDgG0TVCDgIbcFAjkfkRntMwghjdoKZjHM0JEt47iLq82YdXBdrxlEaoqnWNh9VCowSG7IFXkk/8k1uScvn9YSUY26lxrORkPLvGLXYd/K87cqG2cOe2+qLz1zKMF45NVE717E1G9BG/rq35PHlYnlQTFEzskD+j8jt+Qf3sCpPtGLJbZ8Cmn8APXjcyfB2mhOHcvll/LZqd/xV6SgHwZgGN/7F0zBHCxCAc+9kyQpLbXJmrwvH8hHjVRZijW98C7k41dNy7VM</latexit> Lsym def = D 1 2 LD 1 2 = I D 1 2 AD 1 2 <latexit sha1_base64="Nc2a+P/LxLnTwPM1P/CXqb14bHo=">AAADBHicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQvM91GwVYhJSk3PzKsuyE0sKcqsqOUyUlBT0DWEEQoGECImhgvCN0aXhsmgSUNkwNoxpWEyCAIibcgVk5qXAndLvICygZ4BGChgMgyhDGUGKAjIF1jOEMOQwpDPkMxQypDLkMqQx1ACZOcwJDIUA2E0gyGDAUMBUCyWoRooVgRkZYLlUxlqGbiAekuBqlKBKhKBotlAMh3Ii4aK5gH5IDOLwbqTgbbkAHERUKcCg6rBVYOVBp8NThisNnhp8AenWdVgM0BuqQTSSRC9qQXx/F0Swd8J6soF0iUMGQhdeN1cwpDGYAF2aybQ7QVgEZAvkiH6y6qmfw62ClKtVjNYZPAa6P6FBjcNDgN9kFf2JXlpYGrQbAYuYAQYogc3JiPMSM/QTM8k0ETZwQkaFRwM0gxKDBrA8DZncGDwYAhgCGVIZmRl1GY0YTRlamNaw7SZaStEKRMjVI8wAwpg2gcA1jGrmg==</latexit> L = 0 B B B B @ 2 1 1 0 0 1 3 1 1 0 1 1 3 1 0 0 1 1 3 1 0 0 0 1 1 1 C C C C A <latexit sha1_base64="1rcnJezUsZFY5kZFp/Zs0O9xZWQ=">AAADo3ichVFPT9RQEJ9SFah/WPRi4qVxs8SLmykQICYkRC8meoCFBRK62bSPt8sL/cfr241r0y/AF+DASaMxxo/hxXhVDnwE4hETLx6cdmsI7ALTTN/Mb+Y3M2+eG3kiVojH2oh+4+at0bFx4/adu/cmSpP31+OwIxmvs9AL5abrxNwTAa8roTy+GUnu+K7HN9zdF1l8o8tlLMJgTfUi3vCddiBagjmKoOaktvi6mcQ9PzUXTcN2eVsESeQ7Soo3qWGZU+ZTuyUdllhpYsd7UiVzaXopirnatjE8fL7cTDroXkG+kDmkVk7Ga3sMu9QMtSjI/3VYCpENmwfbZxtqlspYxVzMQcMqjDIUshyWPoEN2xACgw74wCEARbYHDsT0bYEFCBFhDUgIk2SJPM4hBYO4HcrilOEQukv/NnlbBRqQn9WMczajLh6pJKYJFTzCz3iK3/ALnuDfS2sleY1slh6dbp/Lo+bE/sPVP9eyfDoV7JyxrpxZQQsW8lkFzR7lSHYL1ud33x6crj6rVZIpfI+/aP53eIxf6QZB9zf7uMJrh5A9gHVx3YPG+nTVmqvOrsyWl54XTzEGj+AxPKF9z8MSvIRlqAPTPmjftR/aT72iv9Jr+lo/dUQrOA/gnOiNf9oc8Rc=</latexit> Lsym = 0 B B B B B @ 1 1 p 6 1 p 6 0 0 1 p 6 1 1 3 1 3 0 1 p 6 1 3 1 1 3 0 0 1 3 1 3 1 1 p 3 0 0 0 1 p 3 1 1 C C C C C A
32. グラフフーリエ変換をもとにしたGNN ・GCN [2] (Graph Convolutional Networks) 32 [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR <latexit sha1_base64="+qCWgs5E7bBkjxPAF2yFeALNsVw=">AAACm3ichVHLShxBFD22iU7GqKPZBILQZDAIwnBbZBRBkLgJwYWPjAqONt091VpMv+iuGTDN/EB+IIu4MRBCyF+YTSDZZuEniEsFNy5yp6dDSES9TVedOveeW6eq7MiTiSI67dP6HzwcGCw8Kg49Hh4ZLY2NbyZhK3ZEzQm9MN62rUR4MhA1JZUntqNYWL7tiS27udzNb7VFnMgweKMOI7HrW/uBdKVjKabMUtU1U1d6SsSi0VnU6+pAKMsk3dWn9XrS8s1ULhqdveafjNRX9qTumqUyVSgL/SYwclBGHqth6TPqaCCEgxZ8CARQjD1YSPjbgQFCxNwuUuZiRjLLC3RQZG2LqwRXWMw2edzn1U7OBrzu9kwytcO7ePzHrNQxSb/oC13Qd/pKZ3R9a68069H1csiz3dOKyBx993Tj6l6Vz7PCwV/VnZ4VXMxnXiV7jzKmewqnp2+/fX+xsbA+mb6gj3TO/o/plL7xCYL2pfNpTax/QJEfwPj/um+CzZmKUa3Mrs2Wl17mT1HAMzzHFN/3HJbwCquo8b5HOMEP/NQmtGXttbbSK9X6cs0T/BNa7Tdt453j</latexit> ffiltered = ✓0f + k X i=1 ✓iLif 多項式フィルタカーネル <latexit sha1_base64="QSYKGftFRCEYI7zft7BMWeyMluI=">AAADMXicjVHLahRBFL3d8RHHRyZxI2RTOCSMyAzVQ4giCFGzUHCRh5MMpJOmulKdFOkX3TVDxqJ/wB9w4SoBEXHpJ7hx4dbF7MSdZBnBjQvv9HQc4+DjNt117rn3nL5V5ca+TBWlPcMcO3P23PnxC6WLly5fmShPTq2lUTvhoskjP0paLkuFL0PRVFL5ohUnggWuL9bdvQf9+npHJKmMwieqG4vNgO2E0pOcKaSc8gfP0Z70lUjEdkZm7xJb7QrFHEo8cvMkscjjLW0rsa902g2yDGu2fap5/9fm6iMnJDWyuKVrtpcwrq1MN1B1b4S6cWJU/ek09MFibWj6H26eU67QOs2DjAKrABUoYikqvwIbtiECDm0IQEAICrEPDFJ8NsACCjFym6CRSxDJvC4ggxJq29glsIMhu4ffHcw2CjbEvO+Z5mqOf/HxTVBJYIZ+pK/pMX1P39Av9PsfvXTu0Z+li6s70IrYmXh2bfXbP1UBrgp2h6q/zqzAg9v5rBJnj3Omvws+0HeePj9evbMyo2fpIT3C+Q9oj77DHYSdr/zlslh5ASW8AOv34x4Fa426NV+fW56rLNwvrmIcpuE6VPG8b8ECPIQlaAI3GkbLYIZrvjV75ifz86DVNArNVTgV5tEPUXHQxA==</latexit> ffiltered = ✓0f + ✓1Lsymf = ✓0x + ✓1(In D 1 2 AD 1 2 )f = (✓0 + ✓1)f ✓1D 1 2 AD 1 2 f まず ・ラプラシアンを対称正規化 ・ホップ数kを1に（簡単化） ・θ = 𝜃+ +𝜃! = −𝜃! の制約（簡単化） <latexit sha1_base64="R7HnJiP5JNHDNBMoOvggTUmFDNE=">AAACmXichVHLSsNAFD3Gd3206kZwEyyKIpaJFBVB8LVQV2qtClZLEqcaTJOQTAsa+gP+gKArBRHxJwQ36t6FnyAuFdy48DYNiBb1DjNz5sw9d87MaI5peIKxpxqptq6+obGpOdLS2tYejXV0rnl2wdV5WrdN293QVI+bhsXTwhAm33BcruY1k69r+7Pl/fUidz3DtlbFgcO38uquZeQMXRVEZWPJSTkj9rhQBxayljwkz237w5mcq+q+UvJHSiV5uooazGVjcZZgQcjVQAlBHGEs2bFLZLADGzoKyIPDgiBsQoVHbRMKGBzituAT5xIygn2OEiKkLVAWpwyV2H0ad2m1GbIWrcs1vUCt0ykmdZeUMvrYI7tir+yOXbNn9vFrLT+oUfZyQLNW0XInGz3qTr3/q8rTLLD3pfrTs0AO44FXg7w7AVO+hV7RFw+PX1MTK31+PztnL+T/jD2xW7qBVXzTL5b5yiki9AHKz+euBmsjCWU0kVxOxqdmwq9oQg96MUDvPYYpzGMJaTr3BDe4x4PUI01L89JiJVWqCTVd+BZS6hP3NJxl</latexit> = ✓(In + D 1 2 AD 1 2 )f
33. グラフフーリエ変換をもとにしたGNN ・GCN [2] (Graph Convolutional Networks) 33 [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR <latexit sha1_base64="jeJDE4rEu9GY3WFokdqTmvnOqDw=">AAACpnichVFNSxtBGH7cthqj1agXoZelQUkpDbMSVAqCth70UvyKEYxdd9dZHbLZXXYngbjsH/AP9NBTBZHiz/DixaMt/gTxqOClh77ZLBQNbd9hZp555n3eeWbG9B0RSsaue5Rnz1/09mX6swODL4eGcyOjm6HXCCxetjzHC7ZMI+SOcHlZCunwLT/gRt10eMWsfWzvV5o8CIXnbsiWz3fqxr4rbGEZkig9t2DrkS0cyQO+F6tzalUecGkUlnVXfasufo7eVe3AsCItjqbiWF3oot7Yei7PiiwJtRtoKcgjjRUvd4oq9uDBQgN1cLiQhB0YCKltQwODT9wOIuICQiLZ54iRJW2DsjhlGMTWaNyn1XbKurRu1wwTtUWnONQDUqqYYFfsO7tjF+yM3bBff60VJTXaXlo0mx0t9/Xho/H1h/+q6jRLHPxR/dOzhI3ZxKsg737CtG9hdfTNwy936+/XJqJJdsxuyf83ds3O6QZu8946WeVrX5GlD9CePnc32JwqatPF0mopP/8h/YoMXuE1CvTeM5jHElZQpnNPcYkf+KkUlE9KWal0UpWeVDOGR6Hs/gZqnaIT</latexit> ffiltered = ✓(In + D 1 2 AD 1 2 )f 途中過程 <latexit sha1_base64="FJX7+9fPHkILN8Mis813nUlOxNM=">AAACyXichVFLaxRBEK6MUeP6yKoXIZfGJbKLsPRIUBGEoBdBkDzcJJAJw8xszW6Tnkd6egaTZk7e/AMePCkECfkZuYh3D/kJ4kWIIIoHa2cHQgxqNd319Vf1VVd3+6kUmeb8cMI6M3n23PmpC42Lly5fmW5evbaSJbkKsBckMlFrvpehFDH2tNAS11KFXuRLXPU3H4/iqwWqTCTxc72d4kbkDWIRisDTRLnNvgndonRNKKRGhf2SPWSOHqL2mCMx1G1GcXabOVkeuSZnjojZs3bRKZkTKi8wdmmcbEtp4/Rx0M47laNwSTrKVmIw1B232eJdXhk7DewatKC2haT5HhzoQwIB5BABQgyasAQPMhrrYAOHlLgNMMQpQqKKI5TQIG1OWUgZHrGbtA5ot16zMe1HNbNKHdApkqYiJYNZ/onv8SP+ge/zz/zXX2uZqsaol23y/liLqTv96sby9/+qIvIahseqf/asIYT7Va+Cek8rZnSLYKwvdl4fLT9YmjW3+Dv+hfp/yw/5Ad0gLr4Fu4u49AYa9AH2n899Gqzc6dp3u3OLc635R/VXTMEM3IQ2vfc9mIcnsAA9OvcjfIUf8NN6am1ZL6ydcao1UWuuwwmzXv4GFASwlA==</latexit> fvfiltered = ✓ 0 @fv + X u2N(v) 1 p deg(u) deg(v) fu 1 A ⾃分と近傍を区別している これを無くす．（簡単化） <latexit sha1_base64="fRKqe9FgDA1+MZ/vZDvNyntAg88=">AAACdnichVHLLgRBFD3T3uM12Egk0jEZJJLJHRFEIvHYsPMaJMikuxUqero73TUjTPyAH7AQCxJEfIaNH7DwCWJJwsLCnZ5OBMGtVNWpU/fcOlVlerYMFNFDTKuqrqmtq2+INzY1t7Qm2tqXA7fgWyJrubbrr5pGIGzpiKySyharni+MvGmLFXN3ury/UhR+IF1nSe17YiNvbDtyS1qGYiqXaFtX0t4UpclDfVyf1Af02VwiSWkKQ/8JMhFIIoo5N3GFdWzChYUC8hBwoBjbMBBwW0MGBI+5DZSY8xnJcF/gEHHWFjhLcIbB7C6P27xai1iH1+WaQai2+BSbu89KHSm6p2t6pju6oUd6/7VWKaxR9rLPs1nRCi/XetS5+PqvKs+zws6n6k/PClsYDb1K9u6FTPkWVkVfPDh+XhxbSJV66Zye2P8ZPdAt38ApvlgX82LhBHH+gMz35/4JlgfTmeH00PxQcmIq+op6dKEH/fzeI5jADOaQ5XP3cIpLXMXetG4tpfVVUrVYpOnAl9DoA0p4j3M=</latexit> ˜ A = A + I 隣接⾏列にセルフループを追加 <latexit sha1_base64="4U4PvCU+SE4qjXSte3EnPMJWbgk=">AAACbHichVG7SgNBFD1Z3/EVH4UgghgSrMKsiIqVqIWlr8RIEsLuOtHBfbE7CWjwB2wtLNRCQUT8DBt/wMJPEMEmgo2FN5sF0aDeYWbOnLnnzpkZ3TWFLxl7iigtrW3tHZ1d0e6e3r7+2MBgxnfKnsHThmM6XlbXfG4Km6elkCbPuh7XLN3kW/r+Un1/q8I9Xzj2pjxwecHSdm1REoYmidrOS2Hu8OryUTEWZykWxHgzUEMQRxirTuwGeezAgYEyLHDYkIRNaPCp5aCCwSWugCpxHiER7HMcIUraMmVxytCI3adxl1a5kLVpXa/pB2qDTjGpe6QcR4I9sltWYw/sjj2zj19rVYMadS8HNOsNLXeL/ccjG+//qiyaJfa+VH96lihhLvAqyLsbMPVbGA195fC0tjG/nqgm2RV7If+X7Ind0w3syptxvcbXzxClD1B/PnczyEyl1JnU9Np0fGEx/IpOjGICk/Tes1jAClaRpnMtnOAcF5FXZVgZVcYaqUok1AzhWyjJT5eBjYM=</latexit> ˜ D , <latexit sha1_base64="7A5yjt741cSjCnId64jqYal70X8=">AAACtnichVHLShxBFD22MeqocTQbIZvBwaCLDNUiiQiCjyxcOppRwdGhu+f2WFjT3XTXDGjTP5AfcOEqAQnBD/AD3OQHsnCRrSFkqeDGRe70NIRETG5RVadO3XPrVJUdKBlpIa56jN4nfU/7BwZzQ8Mjz0bzY+Nbkd8KHao4vvLDHduKSEmPKlpqRTtBSFbTVrRtH6529rfbFEbS997po4D2mlbDk650LM1ULV92a7ErlaaQ6klhsVDVB6St6aqWqk7x22Q/flV1Q8uJzSSeTZKMX04eS5hxa/miKIk0Cg+BmYEislj3859QRR0+HLTQBMGDZqxgIeK2CxMCAXN7iJkLGcl0n5Agx9oWZxFnWMwe8tjg1W7Gerzu1IxStcOnKO4hKwuYEl/FZ3Ejvohz8UPcP1orTmt0vBzxbHe1FNRG309s3v1X1eRZ4+C36p+eNVzMp14lew9SpnMLp6tvH5/cbC5sTMUvxUfxk/1/EFfikm/gtW+dszJtnCLHH2D+/dwPwdZsyXxdmivPFZdWsq8YwAtMYprf+w2WsIZ1VPjcC3zDNb4b88a+QUajm2r0ZJrn+COM4BeueKsk</latexit> ffiltered = ✓( ˜ D 1 2 ˜ A ˜ D 1 2 )f （超シンプル）
34. グラフフーリエ変換をもとにしたGNN ・GCN [2] (Graph Convolutional Networks) 34 [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR 途中過程 <latexit sha1_base64="7A5yjt741cSjCnId64jqYal70X8=">AAACtnichVHLShxBFD22MeqocTQbIZvBwaCLDNUiiQiCjyxcOppRwdGhu+f2WFjT3XTXDGjTP5AfcOEqAQnBD/AD3OQHsnCRrSFkqeDGRe70NIRETG5RVadO3XPrVJUdKBlpIa56jN4nfU/7BwZzQ8Mjz0bzY+Nbkd8KHao4vvLDHduKSEmPKlpqRTtBSFbTVrRtH6529rfbFEbS997po4D2mlbDk650LM1ULV92a7ErlaaQ6klhsVDVB6St6aqWqk7x22Q/flV1Q8uJzSSeTZKMX04eS5hxa/miKIk0Cg+BmYEislj3859QRR0+HLTQBMGDZqxgIeK2CxMCAXN7iJkLGcl0n5Agx9oWZxFnWMwe8tjg1W7Gerzu1IxStcOnKO4hKwuYEl/FZ3Ejvohz8UPcP1orTmt0vBzxbHe1FNRG309s3v1X1eRZ4+C36p+eNVzMp14lew9SpnMLp6tvH5/cbC5sTMUvxUfxk/1/EFfikm/gtW+dszJtnCLHH2D+/dwPwdZsyXxdmivPFZdWsq8YwAtMYprf+w2WsIZ1VPjcC3zDNb4b88a+QUajm2r0ZJrn+COM4BeueKsk</latexit> ffiltered = ✓( ˜ D 1 2 ˜ A ˜ D 1 2 )f ここまでは信号がスカラーを考えてきたが，信号が多次元の場合に拡張 5 2 3 4 1 5 2 3 4 1
35. グラフフーリエ変換をもとにしたGNN ・GCN [2] (Graph Convolutional Networks) 35 [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR 途中過程 <latexit sha1_base64="7A5yjt741cSjCnId64jqYal70X8=">AAACtnichVHLShxBFD22MeqocTQbIZvBwaCLDNUiiQiCjyxcOppRwdGhu+f2WFjT3XTXDGjTP5AfcOEqAQnBD/AD3OQHsnCRrSFkqeDGRe70NIRETG5RVadO3XPrVJUdKBlpIa56jN4nfU/7BwZzQ8Mjz0bzY+Nbkd8KHao4vvLDHduKSEmPKlpqRTtBSFbTVrRtH6529rfbFEbS997po4D2mlbDk650LM1ULV92a7ErlaaQ6klhsVDVB6St6aqWqk7x22Q/flV1Q8uJzSSeTZKMX04eS5hxa/miKIk0Cg+BmYEislj3859QRR0+HLTQBMGDZqxgIeK2CxMCAXN7iJkLGcl0n5Agx9oWZxFnWMwe8tjg1W7Gerzu1IxStcOnKO4hKwuYEl/FZ3Ejvohz8UPcP1orTmt0vBzxbHe1FNRG309s3v1X1eRZ4+C36p+eNVzMp14lew9SpnMLp6tvH5/cbC5sTMUvxUfxk/1/EFfikm/gtW+dszJtnCLHH2D+/dwPwdZsyXxdmivPFZdWsq8YwAtMYprf+w2WsIZ1VPjcC3zDNb4b88a+QUajm2r0ZJrn+COM4BeueKsk</latexit> ffiltered = ✓( ˜ D 1 2 ˜ A ˜ D 1 2 )f ほぼ最終 Ffiltered 0 𝐴 = F n dʼ n n n d d dʼ Θ × × 学習可能パラメータ 特徴量 更新した特徴量 畳み込み処理 <latexit sha1_base64="SWllGd25c6NQ78HM/eDARi9QCQU=">AAACxXichVHLShxBFD12Xjp5OIkbIZvBwZBNhmoREwRBo5gsfY0KjplU99xxCqsfdNcMmKZx7w+4cJVACCGfEQj+gAs/QZKdeWyyyO2ehpCIyS2q6tapc26dqnJCrWIjxOmAdeXqtes3BodKN2/dvjNcvntvPQ66kUt1N9BBtOnImLTyqW6U0bQZRiQ9R9OGszuf7W/0KIpV4K+ZvZC2Pbnjq7ZypWGoWX652EzaShuKqJVWZioNo3SLkoX0RfKo0Y6km9hpMpGmBT6XXkZYbKx1yMisREcaJhZAs1wVNZFH5WJiF0kVRSwF5XdooIUALrrwQPBhONeQiLltwYZAyNg2EsYizlS+T0hRYm2XWcQMyegujzu82ipQn9dZzThXu3yK5h6xsoJxcSLei3NxLD6IM/Hz0lpJXiPzssez09dS2Bw+GF398V+Vx7NB57fqn54N2niSe1XsPcyR7BZuX997dXi+Or0ynjwQb8Rn9v9anIqPfAO/99V9u0wrRyjxB9h/P/fFZH2iZk/VJpcnq7NPi68YxH2M4SG/92PM4jmWUOdzP+ELvuG79czyLGP1+lRroNCM4I+w9n8BS86w8A==</latexit> Ffiltered = ˜ D 1 2 ˜ A ˜ D 1 2 F⇥ = ˆ AF⇥ <latexit sha1_base64="Cbpf+aAxPFoCZEa4JfLj4S3e+cc=">AAACqnichVHLSiNBFD32+MhkRo3jZsBNMDgoaKgWURGExAe41Gh8kGjo7lS0sNPddFcCsekf8AdcuFKQYfAz3Lh14cKZLxhcKrhx4U2nQVTUW1TVqVP33DpVpTum8CRjN23Kl/aOzq7Y1/i37909vYm+H+ueXXMNnjds03Y3dc3jprB4Xgpp8k3H5VpVN/mGvj/f3N+oc9cTtrUmGw7frmq7lqgIQ5NElRKLw8U9TfrZIDmbLEphlrm/EOz4Y8WKqxm+GvjjQRDx2eC9hJFSIsXSLIzkW6BGIIUolu3EbxRRhg0DNVTBYUESNqHBo1aACgaHuG34xLmERLjPESBO2hplccrQiN2ncZdWhYi1aN2s6YVqg04xqbukTGKIXbM/7I5dsnP2nz2+W8sPazS9NGjWW1rulHoPf64+fKqq0iyx96z60LNEBdOhV0HenZBp3sJo6esHR3erM7kh/xc7Zbfk/4TdsAu6gVW/N85WeO4YcfoA9fVzvwXr42l1Mj2xMpHKzEVfEcMABjFM7z2FDJawjDyde44r/MU/ZVTJKVtKoZWqtEWafrwIpfwES4qlmg==</latexit> ( ˆ A = ˜ D 1 2 ˜ A ˜ D 1 2 )
36. グラフフーリエ変換をもとにしたGNN 36 GCN MLP Ffiltered 0 𝐴 = F n dʼ n n n d d dʼ Θ × × 学習可能パラメータ 特徴量 更新した特徴量 畳み込み処理 Ffiltered = F n dʼ n d d dʼ Θ × 学習可能パラメータ 特徴量 更新した特徴量
37. グラフフーリエ変換をもとにしたGNN 37 ・GCN [2] (Graph Convolutional Networks) [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR 表記を⼀般の深層学習⼿法に合わせて変更 これが1層の処理となる これを2層重ねることで，2ホップ先の近傍ノードを扱える 3章とかで⾒たGCNの式と⼀致︕ <latexit sha1_base64="LiliFAzU6bGrUiisTjI+DZithB4=">AAACgnichVHLSgMxFD2O7/qquhFEKBZFXJSMioooVAVx6asqWCkzY9qGTmeGmbRQh67c+QMuXCmIiDv9BDf+gAs/QVwquHHh7XRAVNQbkpyc3HNzkuiOKTzJ2GOD0tjU3NLa1h7p6Ozq7on29m17dsk1eMqwTdvd1TWPm8LiKSmkyXcdl2tF3eQ7emG5tr9T5q4nbGtLVhy+X9RylsgKQ5NEZaJDKxk/K0zJXX5QjS3E0nlN+ovVlfRWnkstE42zBAsi9hOoIYgjjDU7eok0DmDDQAlFcFiQhE1o8KjtQQWDQ9w+fOJcQiLY56giQtoSZXHK0Igt0Jij1V7IWrSu1fQCtUGnmNRdUsYwwh7YFXth9+yaPbH3X2v5QY2alwrNel3LnUzP8cDm27+qIs0S+U/Vn54lspgNvAry7gRM7RZGXV8+PHnZnNsY8UfZOXsm/2fskd3RDazyq3GxzjdOEaEPUL8/90+wPZFQpxNT61Px5FL4FW0YxDDG6L1nkMQq1pCic49whRvcKk3KuKIqk/VUpSHU9ONLKPMfw/+Upg==</latexit> Ffiltered = ˆ AF⇥ <latexit sha1_base64="U1w512d1/3Ip4CVQVv5C3/t9WeI=">AAACd3ichVHLSsNAFD2Nr1pftW4EFxaL4qpMpKgIgo+Ny2rtQ2wpSRw1NE1CMi1q6Q/4Ay4EQUGq+Blu/AEX/QRxWUEEF96mAVFR7zAzZ87cc+fMjGobuisYawakru6e3r5gf2hgcGh4JDwaybhWxdF4WrMMy8mpissN3eRpoQuD52yHK2XV4Fm1tN7ez1a54+qWuS2ObV4oKwemvq9riiCqGI7kDxVR26kvRz2wWs9li+EYizMvoj+B7IMY/Eha4Qby2IMFDRWUwWFCEDagwKW2CxkMNnEF1IhzCOnePkcdIdJWKItThkJsicYDWu36rEnrdk3XU2t0ikHdIWUU0+yR3bIWe2B37Im9/1qr5tVoezmmWe1ouV0cOR1Pvf6rKtMscPip+tOzwD4WPa86ebc9pn0LraOvnpy1Uktb07UZdsWeyf8la7J7uoFZfdGuN/nWOUL0AfL35/4JMnNxeT6e2EzEVtb8rwhiAlOYpfdewAo2kESazj3CBRq4CbxJk9KMNNtJlQK+ZgxfQpI/ANfikSw=</latexit> ˆ Y = ˆ AXW <latexit sha1_base64="vFEk/dBIfRASMZKv6dS65C7yguc=">AAACenichVHLSsNAFD2N7/poVQTBTWlRFKFMpagIgo9Nl7a1VqlSkjja0DQJybSgoT/gD7hwVUFE/Qw3/oCLfoK4rODGhbdpQLSod5iZM2fuuXNmRrF0zRGMNQNST29f/8DgUHB4ZHQsFB6f2HPMqq3ynGrqpr2vyA7XNYPnhCZ0vm/ZXK4oOs8r5e32fr7GbUczjV1xZvGjinxqaCeaKguiiuGpw5Is3IP6esQDm/VUvrgUKYZjLM68iHSDhA9i8GPHDN/iEMcwoaKKCjgMCMI6ZDjUCkiAwSLuCC5xNiHN2+eoI0jaKmVxypCJLdN4SquCzxq0btd0PLVKp+jUbVJGMMue2R1rsSf2wF7Yx6+1XK9G28sZzUpHy61i6GI6+/6vqkKzQOlL9adngROsel418m55TPsWakdfO79sZdcys+4cu2av5L/BmuyRbmDU3tSbNM9cIUgfkPj53N1gbymeWI4n08nYxpb/FYOYQRTz9N4r2EAKO8jRuS4auMdD4EOKSgvSYidVCviaSXwLKfkJn/GR6w==</latexit> ˆ Y = ˆ AHW2 <latexit sha1_base64="s14jD8mBPKgUCWCl/X8cQpxJPwM=">AAACfHichVHLSgMxFD0d3/VVdaHgplgVRSwZKVUEwcfGpa/agpUyM8YanBczaUGLP+APuHClIiLqV7jxB1z4CeJSwY2It9MBUVFvSHJycs/NSaK7pvAlYw8Rpa6+obGpuSXa2tbe0Rnr6l73nZJn8IzhmI6X0zWfm8LmGSmkyXOuxzVLN3lW312o7mfL3POFY6/JPZdvWlrRFtvC0CRRhVjvYnwmnvdF0dJG8juarMwd5LIFdbQQS7AkCyL+E6ghSCCMJSd2gTy24MBACRY4bEjCJjT41DaggsElbhMV4jxCItjnOECUtCXK4pShEbtLY5FWGyFr07pa0w/UBp1iUvdIGccQu2eX7JndsSv2yN5+rVUJalS97NGs17TcLXQe9q2+/quyaJbY+VT96VliG1OBV0He3YCp3sKo6cv7R8+r0ytDlWF2yp7I/wl7YLd0A7v8Ypwv85VjROkD1O/P/ROsTyTVdDK1nErMzodf0Yx+DGCE3nsSs1jEEjLBuWe4xk3kXRlUxpTxWqoSCTU9+BJK+gNDNpIq</latexit> H = ( ˆ AXW1) σは活性化関数（ReLUとか） Hを中間表現と呼ぶ
38. グラフフーリエ変換をもとにしたGNN 38 ・GCN [2] (Graph Convolutional Networks) [2] Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In ICLR https://tkipf.github.io/graph-convolutional-networks/
39. グラフフーリエ変換をもとにしたGNN 39 まとめ ・出発点︓グラフフーリエ変換を⽤いたスペクトル領域でのフィルタリング ・中継地︓フィルタカーネルのパラメータ化，多項式フィルタカーネル ・到達点︓GCNの更新式 →GCNはスペクトル⼿法である． さらに，GCNはスペーシャル⼿法としても解釈できる． （⾃分とその隣接ノードから特徴量を集約し，平均化して⾃分の特徴量を更新） つまり，GCNはスペクトル⼿法とスペーシャル⼿法の橋渡しとなっている︕
40. 40 Chen, Z., et al. (2023). Bridging the gap between spatial and spectral domains: A unified framework for graph neural networks. GAT APPNP GNNのサーベイ
41. 補⾜︓スペクトルをもとにした古典的な⼿法 スキップ（スペクトルグラフ理論に興味があれば読んでください） 41
42. 最後に ・グラフ信号処理という分野がある 阪⼤の⼯学部/電情/通信⼯学コース ⽥中研究室が信号処理をやっていて， 教授の⽥中先⽣の専⾨がグラフ信号処理（GNNではない様⼦） グラフ信号処理に興味があれば，ぜひ先⽣の資料を読んでみてください． ・GCNはグラフ信号処理から⽣まれたスペクトル⼿法 その上，スペーシャル⼿法としても解釈できる ・GCNがきっかけでGNNが流⾏り，様々な⼿法や応⽤先が⽣まれている 42
43. 最後に グラフ輪講お疲れ様でした． 43 GNNをやっているM1がいないので，来年どうなる か分かりませんが，余裕があれば続けてください．