グラフ輪講（グラフニューラルネットワーク，Chapter1 機械学習においてグラフを考える重要性）

Transcript

1. 1 M2 中山 グラフ輪講 第1回
2. グラフ輪講の進め方 ・教科書：グラフニューラルネットワーク（佐藤竜馬） ・金曜2限（10:30-12:00），1時間が目安 ・担当者が教科書の内容をスライドにまとめて発表 重要な部分をピックアップし，必要に応じて補足説明を加える ・参加者は適宜わからない部分，詳しく聞きたい部分を質問 （余裕があれば教科書を下読みしておくと良い） 2
3. 目次 教科書：グラフニューラルネットワーク（佐藤竜馬） 今回扱う範囲： 第1章 機械学習においてグラフを考える重要性 ・1.1 さまざまなグラフデータ ・1.2 グラフを用いた代表的な機械学習タスク ・1.3 異種混合なデータをグラフにより統一的に扱う ・1.4 グラフニューラルネットワークとは ・1.5 代表的なベンチマーク用データセット ・1.6 記法 ・1.7 本書の構成 3
4. 1.1 さまざまなグラフデータ 世の中では，様々なグラフが観測される． ・ソーシャルネットワーク ・コンピュータネットワーク ・化合物グラフ 4 ・交通ネットワーク ・引用ネットワーク ・購買ネットワーク
5. 1.1 さまざまなグラフデータ グラフの構成要素 5 特徴量 ノード エッジ ソーシャルネットワークなら， 年齢・性別・居住地・プロフィール文など
6. 1.2 グラフを用いた代表的な機械学習タスク よく見かけるタスク ・ノードレベル ・ノード分類（例：SNSの性別予測） ・ノード回帰（例：交差点の交通量予測） ・エッジレベル ・リンク予測（例：SNSのフォロー予測） ・（サブ）グラフレベル ・グラフ分類（例：化合物の毒性予測） ・グラフ回帰（例：化合物の沸点予測） 6
7. 1.2 グラフを用いた代表的な機械学習タスク 発展的な話題 ・グラフ生成 （例：ある病気に有効な未知の化合物を生成） ・公平性 / 説明可能性 （例：特定の属性が不利にならない予測， 予測の根拠を説明） ・知識グラフ推論 （例：知識グラフを用いて，事実に基づいて質問に回答する） 7
8. 1.2 グラフを用いた代表的な機械学習タスク ノード分類の実験設定 ・transductive setting ・学習時にテストノードが見えている設定 ・もちろん，テストノードの正解は知らない ・inductive setting ・学習時にテストノードが見えていない設定 ・推論時に初めてテストノードが見える ・未知ノードの予測が可能で，実践的 8 訓練ノード テストノード
9. 1.3 異種混合なデータをグラフにより統一的に扱う 異種混合グラフ(Heterogeneous graph) ・ノードとエッジが複数種あるグラフ 例：知識グラフ ノード→人物，都市，作品など エッジ→居住，制作，位置など 様々な情報を統一的に扱える 9
10. 1.4 グラフニューラルネットワークとは グラフニューラルネットワーク…グラフを処理するニューラルネットワーク ・グラフニューラルネットワークで様々なタスクが解ける （ノード分類，リンク予測，グラフ分類など） ・メッセージパッシングという機構を用いることが多い 詳細は「第3章 グラフニューラルネットワークの定式化」にて． 10
11. 1.4 グラフニューラルネットワークとは グラフニューラルネットワーク ・近年，ホットなトピック 11 ←8月まで https://www.mdpi.com/2078-2489/15/10/626
12. 1.5 代表的なベンチマーク用データセット 12 データセット名 概要 タスク Cora 引用ネットワーク ノード分類 CiteSeer 引用ネットワーク ノード分類 PubMed 引用ネットワーク ノード分類 CoauthorCS 共著ネットワーク ノード分類 CoauthorPhysics 共著ネットワーク ノード分類 Amazom Computers 共同購入グラフ ノード分類 Amazon Photo 共同購入グラフ ノード分類 Reddit 投稿-サブレディッド ノード分類 PPI タンパク質の関係 ノード分類 QM9 化合物グラフ グラフ回帰 ZINC 化合物グラフ グラフ回帰 MUTAG 化合物グラフ グラフ分類 NCI1 化合物グラフ グラフ分類 PROTEINS タンパク質グラフ グラフ分類 FB15k 知識グラフ リンク予測 ・様々なグラフデータセットが存在 ネットワークの種類や特徴量が異なる ・一般的には3-10くらいのデータを使用 ↓7つのデータで評価
13. 1.6 記法 ・𝑎, 𝑏, 𝑐 …スカラー ・𝒂, 𝒃, 𝒄…ベクトル ・𝐀, 𝑩, 𝑪…行列，テンソル ・ノード集合V (vertex)，エッジ集合E (edge)，特徴量X ・グラフG = (V, E, X) と表記 ・隣接行列A，グラフラプラシアンL (第3章にて) 13
14. 1.7 本書の構成 ・第2章 準備 →グラフ理論の基礎 ・第3章 グラフニューラルネットワークの定式化 →メインパート，アーキテクチャの解説 ・第4章 さまざまなタスクへの応用 →グラフニューラルネットワークでタスクを解く方法 14
15. 1.7 本書の構成 ・第5章 グラフニューラルネットワークの高速化 →大規模なグラフを扱えるように高速化 ・第6章 スペクトルグラフ理論 →グラフニューラルネットワークの基礎になる概念，一部を紹介予定 ・第7章 過平滑化現象とその対策 ・第8章 グラフニューラルネットワークの表現能力 ・第9章 おわりに 15 輪講では扱わない
16. まとめ 第1章 機械学習においてグラフを考える重要性 ・グラフは実世界にたくさん存在する ・ノード分類など，様々なグラフ機械学習タスクがある ・グラフニューラルネットワークは近年ホットなトピック グラフ機械学習タスクを高い精度で効率的に解くことができる 16