"SFXFSFBMMZNBLJOHNVDIQSPHSFTT 3FWJTJUJOH CFODINBSLJOHBOESFGJOJOH IFUFSPHFOFPVTHSBQIOFVSBMOFUXPSLT Shusuke Takahama, LINE Corp 2021/10/7 ,%%࿦จಡΈձ

⾃⼰紹介 ߴᖛ मี ML engineer at LINE Corp. 新卒1年⽬ LINE公式アカウントやLINEスタンプの推薦などをやってます 今年春に東⼤情報理⼯卒（修⼠） 卒論/修論のテーマは医療画像認識 Multi-Stage Pathological Image Classification Using Semantic Segmentation (ICCV 2019 accepted) 卒業前の3⽉は間違い探しを頑張りました 【⼈類最難関の挑戦】サイゼリヤの間違い探しを現代技術を 駆使し⽚⾯だけで解く（深層学習） Shusuke Takahama @grouse324st

紹介する論⽂ Are we really making much progress? : Revisiting, benchmarking and refining heterogeneous graph neural networks Qingsong Lv et al. 2021 KDD https://dl.acm.org/doi/10.1145/3447548.3467350 要するに… Heterogeneous GCNってたくさんあるけど実際性能どうなの？ • 12種類モデル持ってきて⽐べてみた • ⾃分たちでもモデル提案してみた • 統⼀して⽐較できるサイトを作ってみた

紹介する論⽂ Lvさんの好きなもの • グラフモデル • シンプルなモデル構成 Lvさんの嫌いなもの • バラバラの実験設定 • テストデータでのチューニング • データリーク • 無駄に時間のかかる実験 • コードを公開しない論⽂ 筆頭著者 Qingsong Lv さん (精華⼤学 修⼠課程) https://dl.acm.org/doi/10.1145/3447548.3467350

そもそもGNNとは • 深層学習でGraph modelが⾼い成果を上げている • 創薬、化合物の物性推定 • 交通、物流 • ⼈間関係、ソーシャルグラフ • 推薦 • グラフ畳み込み • グラフは主に node 𝑉, edge 𝐸 で構成される • 隣接するnodeの情報を取り込んで新たなnode特徴を得る • この⼯程を繰り返すほど、より遠いnode同⼠の影響を 取り⼊れることができる Node 𝑉 Edge 𝐸

Graphの定義 Homogeneous graph 単⼀typeのnode, edgeで構成されるgraph 𝑉 𝐸 (Normal) path Meta path 異なるtypeのnodeやedgeを横断 するようなpath Heterogeneous graph 複数typeのnode, edgeを含むgraph

HomogeneousなGCNたち GCN [N. Kipf+, ICLR 2017] グラフ畳み込みのベーシックな⽅法 L層⽬のノード (L-1)層⽬のノード 隣接⾏列 学習可能な重み GAT [P. Velivkovic+, ICLR 2018] # 𝐴 の各成分を{0, 1}ではなくattention weightとした 連結しているnodeのみ 隣接⾏列成分が1になる 𝑖と𝑖に隣接するノード𝑗 に関するスコア 𝑖に隣接する全てのノード に関するスコアの和 1 1 1 0 0 0 0

HeterogeneousなGNNたち 3種類のタスク、12個のモデルを検証する --- 多くが2019年以降にWWW, KDD, NeurIPS等に採択され、100以上引⽤されている論⽂ ○ Node識別タスク ( HAN, GTN, RSHN, HetGNN, MAGNN, HetSANN, HGT ) • HAN: attention networkを使って特定のmeta-pathについてのグラフ特徴を求め、その後全ての meta-pathを重み付けしながら組み合わせる（GATの荷重アンサンブルとみなせる） • GTN: HANに加え、価値あるmeta-pathを⾃動的に発⾒できる • HetGNN: ランダムウォークを⽤いて隣接するノードから関係の強いものをサンプリング • HGT: 179M nodes以上の巨⼤なグラフを扱うためにミニバッチサンプリング⼿法を提案 ○ Link予測タスク ( RGCN, GATNE ) • RGCN: GCNに加えて、edge typeごとに異なる重みで学習 ○ 推薦タスク ( KGCN, KGNN-LS, KGAT ) • KGAT: 事前に学習されたBPR-MFの特徴を初期値として⼊れて学習する

HeterogeneousなGNNたち • 既存研究の問題点 • GTN → メモリと時間を膨⼤に消費する割に性能は普通 • RSHN → テストデータでチューニングしている、学習途中で⼀番いい性能を報告している • MAGNN → 学習時に特定のラベルを持つノードを選んで与えていて、情報がリークしている • HetSANN → コードが公開されてない • 改めて実装して検証 • 再現実装すると、論⽂で報告された ほどの性能が出ない • GAT（Homogeneousなモデル）で 置き換えたほうが性能がいい Model HAN GTN MAGNN Dataset ACM DBLP DBLP 論⽂値 91.89 94.18 93.13 再現実装 90.94 92.95 92.81 GATで実装 92.08 94.18 94.40 Macro-F1 score of each method

検証結果 「Heterogeneous GNNは微妙でした」 Heterogeneousな情報を効果的に 取り⼊れる⽅法はないのか？

新たな提案モデル Simple-HGN 1. GATにedge typeを導⼊ ：Edge(𝑖, 𝑗) のedge type 𝜓 に対応するembedding feature ：Edgeに関する学習可能な重み 既存のGATにフィットする形でedge typeの情報を取り⼊れた！ GATをベースに新たなモデル「Simple-HGN」を提案

新たな提案モデル Simple-HGN 2. Residual connectionを導⼊ 3. Multi-head attentionを導⼊ attention⽤のnetworkをk個⽤意し、特徴をconcat (最終層は平均) する 1層前の出⼒ ℎ ! (#$%) をそのまま⾜し合わせる 4. 最終層をL2正則化 最終出⼒がノルム1になる

実験 • データセット : 3タスク11種類 • Node識別 : DBLP2, IMDB3, ACM, Freebase • Link予測 : Amazon, LastFM, PubMed4 • 推薦 : Amazon-book, LastFM, Yelp, Movielens • 実験条件を統⼀ • Homogeneous modelではnode type, edge typeを全て同⼀のものとして⼊⼒ • データセットの分割、前処理、後処理は統⼀ • 純粋なGraph module部分だけを取り出して⽐較

実験結果 (vs 既存⼿法) ほとんどのケースで Heterogeneous < GAT < Simple-HGN (提案⼿法) Results of node classification task

Simple-HGNで追加した各要素に関するablation study • L2 norm, residual connectionは効果あり • node/ edge type embeddingはそんなに効果なし • 既にGATがimplicitにnode/edge typeを考慮できてるのかも • Simpleなattention modelではそこまで考慮できないのかも 実験結果 (ablation study) Task Node classification Link prediction Recommendation Metric Macro-F1 Micro-F1 ROC-AUC MRR recall@20 ndcg@20 Simple-HGN 63.53 67.36 67.59 90.81 0.4626 0.3532 node/edge type なし 63.04 67.06 67.61 90.52 0.4632 0.3537 L2 norm なし 58.06 65.33 61.07 82.51 0.3837 0.2816 res-connection なし 61.61 66.28 63.33 84.13 0.4261 0.3192

⽐較可能なLeader Board • Heterogeneous Graph Benchmark • 3種類のタスクについて、既定のデータセット、前処理、後処理を⽤意 • 所定の形式でモデルを提出するとleader boardで順位を確認できる

⽐較可能なLeader Board • まだ著者の1件のみ… • 論⽂で⽐較した⼿法も⼊れればいいのに… • 提出すると著者の⽅も喜ぶと思います

読んだ感想 • 厚みのある内容だった • ⼤規模な再実装や検証だけでなく、独⾃の⼿法を提案しLeader boardまで 作っているのは素晴らしい • ⽐較した論⽂は実績のあるものが多かったが、最近強いlightGCNなどは ⽐較されてないので、網羅できているかは不明 • 提案モデルでもedge type embeddingは必要なかった • Meta-pathの導⼊の効果が無いと、正直提案モデルのおいしさが薄い • 結局heterogeneousなモデルやmeta-pathは必要ないという主張なのかも