IRReading2020Spring-yanagida

IR Reading 2020春（オンライン）で以下の論文を紹介しました．
Fu, Xinyu, Zhang, Jiani, Meng, Ziqiao, King, Irwin. MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding. Proceedings of The Web Conference 2020(WWW 2020). 2020, https://dl.acm.org/doi/pdf/10.1145/3366423.3380297.

Transcript

1. 筑波大学 加藤研究室 B4 柳田 雄輝 ynagi2@klis.tsukuba.ac.jp MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding (TheWebConf 2020) の紹介 Authors: Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King
2. 背景 2 • 近年，グラフ埋め込みによるユーザ分析手法が多く提案さ れている ◦ 周辺ノードの埋め込みから各ノードの埋め込みを学習する ◦ リッチな構造を捉えたベクトルを得られる • これまでの手法ではノード間の関係性を1種類しか考慮でき なかった[1] ◦ ノード間の関係性: 知り合いの知り合い，共著関係，…… [1] Yuxiao Dong, Nitesh V. Chawla, Ananthram Swami. "metapath2vec: Scalable representation learning for heterogeneous networks." Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining (KDD 2017). A B C D E ユーザの交流関係 A ・ B ・ C ・ D ・ E ・ O 埋め込み 2次元平面
3. 1. ノード分類などのタスクにおいてSOTAを記録 2. メタパスと2つのAttentionによってノード間の関係性を複数 考慮できるようにした ◦ よりデータの特徴を反映した埋め込みが可能に • メタパス: ノードを抽象化したパス ◦ ノード間の関係性を表現 ◦ 例: アニメと声優のネットワーク 貢献 3 野村 道子 actor anime actor 通常のパス メタパス 声優の共演関係 を表している 大山 のぶ代 ドラえも ん
4. • 複数のメタパスをアルゴリズムに組み込むことによってノード間 の複数の関係性を考慮できる ◦ 組み込むメタパス(考慮したい関係性)は人手で決められる メタパスの利用 4 田中 真弓 宮崎 駿 糸井 重里 actor movie movie actor 通常のパス メタパス 同じ監督の作品 に出演した関係 ラピュタ トトロ director
5. 手法の流れ 5 パス集め メタパス内で Attention メタパス外で Attention 入力: ノードの特徴 考慮するメタパス 出力: メタパスを考慮し たノードの埋め込み
6. 手順1(パス集め) 6 • 更新するノード(Target Node)を指定 • Target Nodeから始まる，人手で決めた各メタパスにマッチ するパスを集める メタパス メタパス マッチしたパス例 (青→緑→青)
7. 手順2(メタパス内でAttention) 7 • 集めた各パスごとに埋め込みを生成 • 学習で得た各ノードの埋め込みをAttentionで集約 ◦ = 埋め込みごとに重み付けして足し合わせる ◦ パスごとにTarget Nodeへの貢献度合いが異なることを加味 埋め込みを集約
8. 手順3(メタパス外でAttention) 8 • メタパスで集約した埋め込みをAttentionでさらに集約 ◦ メタパスごとにTarget Nodeへの貢献度合いが異なることを加味 ◦ ノードをメタパスを考慮するように更新できた • 以上の手順を更新する各ノードに対して行う さらに集約
9. 実験 9 • 各データセットに対して，以 下のタスクで精度を評価 ◦ ノード分類 ◦ ノードクラスタリング • 正規化相互情報量を正解 データと比較し評価 ◦ リンク予測 ◦ いずれのタスクでもSOTA • ベースラインは node2vec[2]やGCN[3]等 ◦ いずれもよく使われている手 法 [2] Aditya Grover and Jure Leskovec. "node2vec: Scalable feature learning for networks." Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining (KDD 2016). [3] Thomas N. Kipf and Max Welling. "Semi-Supervised Classification with Graph Convolutional Networks". 5th International Conference on Learning Representations (ICLR 2017). データセット
10. • メタパス user - user にマッ チする30パス(計60人)の埋 め込みを可視化 ◦ t-SNEで次元削減 • 提案手法が一番良くノードのペア を埋め込めていそう • LINE[4]は1種類のノードしか仮 定しないため上手くいかず 可視化(定性的指標) 10 user - user の可視化 提案手法 [4] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. “LINE: Large-scale Information Network Embedding”. In Proceedings of the 24th International Conference on World Wide Web (WWW 2015).
11. • 複数のメタパスをアルゴリズムに組み込むことによってノー ド間の複数の関係性を考慮可能に ◦ メタパスの内外でAttentionを用いて集約 • 高精度かつ組み込むメタパスを人手で決められる ◦ 精度と解釈性の両立に使えそう まとめ 11
12. ノード分類タスクの結果 12
13. ノードクラスタリングとリンク予測タスクの結果 13
14. メタパスインスタンスのencoding方法の検討 14