筑波大学 加藤研究室 B4 柳田 雄輝 ynagi2@klis.tsukuba.ac.jp MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding (TheWebConf 2020) の紹介 Authors: Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King

背景 2 • 近年，グラフ埋め込みによるユーザ分析手法が多く提案さ れている ○ 周辺ノードの埋め込みから各ノードの埋め込みを学習する ○ リッチな構造を捉えたベクトルを得られる • これまでの手法ではノード間の関係性を1種類しか考慮でき なかった[1] ○ ノード間の関係性: 知り合いの知り合い，共著関係，…… [1] Yuxiao Dong, Nitesh V. Chawla, Ananthram Swami. "metapath2vec: Scalable representation learning for heterogeneous networks." Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining (KDD 2017). A B C D E ユーザの交流関係 A ・ B ・ C ・ D ・ E ・ O 埋め込み 2次元平面

1. ノード分類などのタスクにおいてSOTAを記録 2. メタパスと2つのAttentionによってノード間の関係性を複数 考慮できるようにした ○ よりデータの特徴を反映した埋め込みが可能に • メタパス: ノードを抽象化したパス ○ ノード間の関係性を表現 ○ 例: アニメと声優のネットワーク 貢献 3 野村 道子 actor anime actor 通常のパス メタパス 声優の共演関係 を表している 大山 のぶ代 ドラえも ん

● 複数のメタパスをアルゴリズムに組み込むことによってノード間 の複数の関係性を考慮できる ○ 組み込むメタパス(考慮したい関係性)は人手で決められる メタパスの利用 4 田中 真弓 宮崎 駿 糸井 重里 actor movie movie actor 通常のパス メタパス 同じ監督の作品 に出演した関係 ラピュタ トトロ director

手法の流れ 5 パス集め メタパス内で Attention メタパス外で Attention 入力: ノードの特徴 考慮するメタパス 出力: メタパスを考慮し たノードの埋め込み

手順1(パス集め) 6 • 更新するノード(Target Node)を指定 • Target Nodeから始まる，人手で決めた各メタパスにマッチ するパスを集める メタパス メタパス マッチしたパス例 (青→緑→青)

手順2(メタパス内でAttention) 7 • 集めた各パスごとに埋め込みを生成 • 学習で得た各ノードの埋め込みをAttentionで集約 ○ = 埋め込みごとに重み付けして足し合わせる ○ パスごとにTarget Nodeへの貢献度合いが異なることを加味 埋め込みを集約

手順3(メタパス外でAttention) 8 • メタパスで集約した埋め込みをAttentionでさらに集約 ○ メタパスごとにTarget Nodeへの貢献度合いが異なることを加味 ○ ノードをメタパスを考慮するように更新できた • 以上の手順を更新する各ノードに対して行う さらに集約

実験 9 • 各データセットに対して，以 下のタスクで精度を評価 ○ ノード分類 ○ ノードクラスタリング • 正規化相互情報量を正解 データと比較し評価 ○ リンク予測 ○ いずれのタスクでもSOTA • ベースラインは node2vec[2]やGCN[3]等 ○ いずれもよく使われている手 法 [2] Aditya Grover and Jure Leskovec. "node2vec: Scalable feature learning for networks." Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining (KDD 2016). [3] Thomas N. Kipf and Max Welling. "Semi-Supervised Classification with Graph Convolutional Networks". 5th International Conference on Learning Representations (ICLR 2017). データセット

• メタパス user - user にマッ チする30パス(計60人)の埋 め込みを可視化 ○ t-SNEで次元削減 • 提案手法が一番良くノードのペア を埋め込めていそう • LINE[4]は1種類のノードしか仮 定しないため上手くいかず 可視化(定性的指標) 10 user - user の可視化 提案手法 [4] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. “LINE: Large-scale Information Network Embedding”. In Proceedings of the 24th International Conference on World Wide Web (WWW 2015).

• 複数のメタパスをアルゴリズムに組み込むことによってノー ド間の複数の関係性を考慮可能に ○ メタパスの内外でAttentionを用いて集約 • 高精度かつ組み込むメタパスを人手で決められる ○ 精度と解釈性の両立に使えそう まとめ 11

ノード分類タスクの結果 12

ノードクラスタリングとリンク予測タスクの結果 13

メタパスインスタンスのencoding方法の検討 14