IRReading2020Spring-yanagida

IR Reading 2020春（オンライン）で以下の論文を紹介しました．
Fu, Xinyu, Zhang, Jiani, Meng, Ziqiao, King, Irwin. MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding. Proceedings of The Web Conference 2020(WWW 2020). 2020, https://dl.acm.org/doi/pdf/10.1145/3366423.3380297.

Transcript

1. 筑波大学 加藤研究室 B4
   柳田 雄輝
   ynagi2@klis.tsukuba.ac.jp
   MAGNN: Metapath Aggregated Graph
   Neural Network for Heterogeneous Graph
   Embedding (TheWebConf 2020) の紹介
   Authors: Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King
   

   View Slide

2. 背景 2
   • 近年，グラフ埋め込みによるユーザ分析手法が多く提案さ
   れている
   ○ 周辺ノードの埋め込みから各ノードの埋め込みを学習する
   ○ リッチな構造を捉えたベクトルを得られる
   • これまでの手法ではノード間の関係性を1種類しか考慮でき
   なかった[1]
   ○ ノード間の関係性: 知り合いの知り合い，共著関係，……
   [1] Yuxiao Dong, Nitesh V. Chawla, Ananthram Swami. "metapath2vec: Scalable representation learning for
   heterogeneous networks." Proceedings of the 23rd ACM SIGKDD international conference on knowledge
   discovery and data mining (KDD 2017).
   A B
   C D
   E
   ユーザの交流関係
   A
   ・
   B
   ・
   C
   ・
   D
   ・ E
   ・
   O
   埋め込み
   2次元平面
   

   View Slide

3. 1. ノード分類などのタスクにおいてSOTAを記録
   2. メタパスと2つのAttentionによってノード間の関係性を複数
   考慮できるようにした
   ○ よりデータの特徴を反映した埋め込みが可能に
   • メタパス: ノードを抽象化したパス
   ○ ノード間の関係性を表現
   ○ 例: アニメと声優のネットワーク
   貢献 3
   野村
   道子
   actor
   anime
   actor
   通常のパス メタパス
   声優の共演関係
   を表している
   大山
   のぶ代
   ドラえも
   ん
   

   View Slide

4. ● 複数のメタパスをアルゴリズムに組み込むことによってノード間
   の複数の関係性を考慮できる
   ○ 組み込むメタパス(考慮したい関係性)は人手で決められる
   メタパスの利用 4
   田中
   真弓
   宮崎
   駿
   糸井
   重里
   actor
   movie movie
   actor
   通常のパス メタパス
   同じ監督の作品
   に出演した関係
   ラピュタ トトロ
   director
   

   View Slide

5. 手法の流れ 5
   パス集め
   メタパス内で
   Attention
   メタパス外で
   Attention
   入力: ノードの特徴
   考慮するメタパス
   出力: メタパスを考慮し
   たノードの埋め込み
   

   View Slide

6. 手順1(パス集め) 6
   • 更新するノード(Target Node)を指定
   • Target Nodeから始まる，人手で決めた各メタパスにマッチ
   するパスを集める
   メタパス
   メタパス
   マッチしたパス例
   (青→緑→青)
   

   View Slide

7. 手順2(メタパス内でAttention) 7
   • 集めた各パスごとに埋め込みを生成
   • 学習で得た各ノードの埋め込みをAttentionで集約
   ○ = 埋め込みごとに重み付けして足し合わせる
   ○ パスごとにTarget Nodeへの貢献度合いが異なることを加味
   埋め込みを集約
   

   View Slide

8. 手順3(メタパス外でAttention) 8
   • メタパスで集約した埋め込みをAttentionでさらに集約
   ○ メタパスごとにTarget Nodeへの貢献度合いが異なることを加味
   ○ ノードをメタパスを考慮するように更新できた
   • 以上の手順を更新する各ノードに対して行う
   さらに集約
   

   View Slide

9. 実験 9
   • 各データセットに対して，以
   下のタスクで精度を評価
   ○ ノード分類
   ○ ノードクラスタリング
   • 正規化相互情報量を正解
   データと比較し評価
   ○ リンク予測
   ○ いずれのタスクでもSOTA
   • ベースラインは
   node2vec[2]やGCN[3]等
   ○ いずれもよく使われている手
   法
   [2] Aditya Grover and Jure Leskovec. "node2vec: Scalable feature learning for networks." Proceedings of the 22nd
   ACM SIGKDD international conference on Knowledge discovery and data mining (KDD 2016).
   [3] Thomas N. Kipf and Max Welling. "Semi-Supervised Classification with Graph Convolutional Networks". 5th
   International Conference on Learning Representations (ICLR 2017).
   データセット
   

   View Slide

10. • メタパス user - user にマッ
    チする30パス(計60人)の埋
    め込みを可視化
    ○ t-SNEで次元削減
    • 提案手法が一番良くノードのペア
    を埋め込めていそう
    • LINE[4]は1種類のノードしか仮
    定しないため上手くいかず
    可視化(定性的指標) 10
    user - user の可視化
    提案手法
    [4] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. “LINE: Large-scale Information
    Network Embedding”. In Proceedings of the 24th International Conference on World Wide Web (WWW 2015).
    

    View Slide

11. • 複数のメタパスをアルゴリズムに組み込むことによってノー
    ド間の複数の関係性を考慮可能に
    ○ メタパスの内外でAttentionを用いて集約
    • 高精度かつ組み込むメタパスを人手で決められる
    ○ 精度と解釈性の両立に使えそう
    まとめ 11
    

    View Slide

12. ノード分類タスクの結果 12
    

    View Slide

13. ノードクラスタリングとリンク予測タスクの結果 13
    

    View Slide

14. メタパスインスタンスのencoding方法の検討 14
    

    View Slide