[KDD2024論文読み会] 参加レポート & 論文紹介（LiGNN: Graph Neural Networks at LinkedIn）

2024/10/17に開催されたKDD2024論文読み会の資料です
https://lycorptech-jp.connpass.com/event/331755/
前半が参加レポート、後半が論文紹介（LiGNN: Graph Neural Networks at LinkedIn）です

Transcript

1. ,%%
   JO
   #BSDFMPOB ݱ஍ࢀՃใࠂ 
   ࿦จ঺հ 4IVTVLF
   5BLBIBNB
   -:$PSQ  ,%%
   
   ࿦จಡΈձ
2. ⾃⼰紹介 ⾼濱 修輔 ML engineer at LINEヤフー • 新卒4年⽬ • LINE公式アカウントやLINE NEWSの記事の推薦などをやってます ⼤学では医療画像解析を研究していました • Multi-Stage Pathological Image Classification Using Semantic Segmentation (ICCV 2019 accepted) • Domain Adaptive Multiple Instance Learning for Instance-level Prediction of Pathological Images (ISBI 2023 accepted) 論⽂読み会は3回⽬です • KDD2021論⽂読み会（LINE）：論⽂紹介スライド • NeurIPS2023論⽂読み会（LINEヤフー）：論⽂紹介スライド (Shusuke Takahama) X (Twitter) @grouse324st 1
3. 2 ,%% ࢀՃϨϙʔτ ΧλϧʔχϟԻָಊ
4. KDD2024 • Whatʼs KDD？ • “Knowledge Discovery and Data Mining” の略 • 機械学習やデータマイニングをテーマとした国際会議 • 推薦や広告など企業活動に関連したトピックも多く、 実際にビジネス⾯での貢献にフォーカスしたセッションもある • KDD2024の基本情報 • 開催⽇程 • Workshop：8/25 ~ 8/26 • 本会議：8/27 ~ 8/29 • 開催地：バルセロナ（スペイン） • 参加者数：2312⼈ • スポンサー数：33 3 https://www.google.com/maps より https://frame-illust.com/?p=15954 より WS 本会議 https://kdd2024.kdd.org/ より
5. 4 https://www.google.com/maps より 会場の位置
6. 5 会場の外観 Keynoteなどの⼤ホール ポスター会場 & 企業ブース セッション会場
7. 6 会場裏⼿のビーチ
8. 7 サグラダ ファミリア サッカー フラメンコ パエリア
9. 採択論⽂ • Research Track • 理論的な研究や、新規性のあるモデル、アルゴリズムの提案に関する論⽂ • 提出数2046, 採択数411 （採択率20.1 %） • 全部で56セッション • Applied Data Science Track (ADS) • 機械学習やデータサイエンスの実応⽤に関するシステム設計や実装に関する論⽂ • 実際にビジネスに適⽤されて成果を出したり重要な知⾒が得られていることが 重視される • 提出数738, 採択数151 （採択率20.5 %） 8 • Research TrackのWord Cloud • Graphs / GNN • Recommendation • Time-series • Federated • Efficient • …
10. Workshop 9 • トピック別の多様なセッションが、2⽇間にわたって 31セッション開催 • 1セッションあたり4時間ほどある 例えば • AdKDD 広告関連の研究に関するKDDを代表するWorkshop • Fragile Earth 持続可能な社会の実現にMLを活⽤するという挑戦的なテーマ • Uncertainty Reasoning&Quantification in Decision Making MLモデルの不確実性をどう意思決定に組み込むか • Two‒sided Marketplace Optimization ライドシェアやECサイトなど双⽅向の繋がりの最適化 https://kdd2024.kdd.org/workshops/ より
11. Workshop 10 First Workshop on Generative AI for Recommender Systems and Personalization • 推薦システム x LLMというホットなTopic • Google DeepMindのEd Chi⽒のKeynoteが印象的だった（会場も満員になっていた） • 推薦システムという枠を超えて、⽇常のあらゆるシーンでユーザーを⽀援したい（視座が⾼い） • そのためには包括的な知識を対話的に提供できるLLMが本質的に必要 Project Astra: https://www.youtube.com/watch?v=nXVvvRhiGjI
12. Keynote Talks 本会議の3⽇間それぞれの朝に90分の招待公演 11 8/28 LLM Metacognition LLMが学習データにない課題も 解けるとき、内部に持つスキル セットを特定する 8/27 Imageomics 画像解析で⽣物学や⽣態学の 知⾒を⾒つける、絶滅危惧種 の⽣物保護等に貢献する 8/28 遺伝⼦⼯学 x ML MLモデルで遺伝⼦配列を解析 病気などのリスクを特定する 分析パイプラインも整備
13. KDD Cup 12 1. OAG-challenge 学術データの知識グラフ構築 情報訂正やQuestion Answering等 2. Meta MetaのRAGベンチマークを使い RAGシステムによる質問応答タスク の性能を競う 3. Amazon オンラインショッピングの LLMによる⽀援 NVIDIAチームが圧勝していた
14. Paper Award 13 Research Track Best Paper • CAT: Interpretable Concept-based Taylor Additive Models • Student Award: Dataset Regeneration for Sequential Recommendation ADS Track Best Paper • LiGNN: Graph Neural Networks at LinkedIn • Runners-up: Nested Fusion: A Method for Learning High Resolution Latent Structure of Multi-Scale Measurement Data on Mars Audience Appreciation Award • 1st: EEG2Rep: Enhancing Self-supervised EEG Representation Through Informative Masked Inputs • 2nd: Explainable and Interpretable Forecasts on Non-Smooth Multivariate Time Series for Responsible Gameplay • 3rd: Expander Hierarchies for Normalized Cuts on Graphs Test of Time Award • Research Track: DeepWalk: online learning of social representations • ADS Track: U-Air: when urban air quality inference meets big data
15. 参加した感想 • やはりLLM系のセッションや研究は多く、⼈気もあった。 グラフ関連の研究がかなり多いのも印象的だった。 • KeynoteやAward論⽂はドメイン特化したものも多いのが興味深かった。 • ADSは特に「ビジネスに適⽤されて効果が出ている」ことが重視されている。 企業でのML適⽤事例なら我々も論⽂化のチャンスがあるかもしれない。 • 発表者やスポンサーには中国系の⽅が⽬⽴った。 参加者には欧⽶系、インド系の⽅も多かった。 企業関係者も多いからか、全体的に賑わっている印象があった。 • ⽇本⼈の参加者もかなりの数いた。 ⽇本⼈の⾷事会には50⼈近く集まっていた。 • バルセロナという⽴地は素晴らしかった。 スペインの⼈はパエリアを⾷べてサングリアを飲んでいた。 14
16. 15 ࿦จ঺հ LiGNN: Graph Neural Networks at LinkedIn άΤϧެԂ
17. 論⽂紹介 LiGNN: Graph Neural Networks at LinkedIn (F. Borisyuk et al, 2024, Linkedin Inc.) https://arxiv.org/pdf/2402.11139 Best Paper (Applied Data Science Track) 16 LinkedInで利⽤されているGNNに関する ⼀連の改善をまとめたもの • 多様なnodeとedgeのタイプ • スケーラビリティー • コールドスタート問題 • ダイナミックな更新
18. LinkedInのグラフネットワーク 17 LinkedInは200カ国以上、10億⼈以上のユーザを抱えている 以前は⾮グラフなdeepモデルをMLタスクに使⽤していたが、 多様なnode, edgeをまとめて埋め込んだ Heterogeneous Graphを構築した！ • 千億近いNode • ユーザー • 企業 • 投稿 • … • 数千億のEdge • 投稿へのリアクション（Engagement） • 友⼈関係とその強さ（Affinity） • 職業などの属性（Attribute） • …
19. GNNパイプラインの構成 18 • GE (Graph Engine) • Hadoop分散メモリにグラフデータをロード • gRPCを介してTrainerにリアルタイムで送信 • GNN Trainer • Encoder & Decoder構造のGNNモデル • Encoder：ノード埋め込みを⽣成 • Decoder：2つのノード間のエッジのスコアを予測 ⼤枠としてはGEとTrainerの2段階構成になっている
20. 予測精度向上を⽀える技術 19 • Temporal Graphによる時間的変化の考慮 • 通常のnode埋め込みに加え、直近N個分の アクティビティーの埋め込みを取得して、 transformerモデルに追加 • グラフの直近のダイナミックな変化に 柔軟に対応 • Densification（⾼密度化) によるCold start問題の改善 • nodeが持つインタラクション（edge）数には⼤きな差がある • 疎なnodeと類似している密なnodeとの間に新たなedgeを張り、情報を伝播させる • PPR (Personalized Page Rank)を使ったSampling性能向上 • nodeの効果的なサンプリングは性能向上に不可⽋ • Target nodeに対して⾼いPPRを持つ近接nodeを特定 • バッチ処理によってPPR計算を⾼速化
21. 安定化を⽀える技術 20 • GEとTrainerはHDFSにアクセス可能なk8sにデプロイされている • 学習には、GEからのリアルタイムグラフサンプリングと、HDFSからのラベル付き データの取得が必要 → 負荷が⾼くて学習が失敗しがちだった • 改善策 • gRPC Retryを適切に設定 → GE/DB接続が安定した • Horovodの分散学習を使う → worker間通信が安定した • TensorflowのGeneratorEnqueuerを使う → メモリリークが解決した 結果：学習成功率が30%から90%以上になった
22. ⾼速化を⽀える技術 21 • Adaptive Neighbor Sampling • I/Oがボトルネックなので、読み込むデータ数を減らしたい • 少数のサンプリングから始め、精度改善がサチったら数を適応的に増やす • Grouping and Slicing • ヘビーユーザーはアクセスが多く、毎回読み書きするのは負荷が⾼い • メンバーごとにレコードをグループ化 & まとまった個数ごとにまとめてバッチ計算 • Multi-Processing with Shared Memory Queue • Pythonのmulti-processでは、プロセス間の データコピーのオーバーヘッドが⼤きい • メモリーを共有できるqueueを新たに実装 結果：学習時間が24hから3.3hになった
23. 実験 22 • Follow Feed（フォロー中のユーザーの投稿）の推薦 • ベースモデルからrecallが9.6%改善 • OON Feed（外部コンテンツ）の推薦 • DAUが0.2%改善 • 応募する求⼈の推薦 • プレミアム会員の更新率が0.3%改善 • 求⼈メッセージの返信率が1%改善 • フォローするユーザーの推薦 • ユーザー同⼠のconnectionの類似度をもとに推薦 • フォロー数が2.4%改善 • 広告のCTR予測 • GNN埋め込みを下流CTRモデルに⼊⼒する • CTRが2%改善 node間リンクのスコアを予測するモデルは様々なタスクに適⽤可能
24. 感想 • ビジネスの最前線で⾏われているモデル改善の営みがまとめられていて、 これがBest PaperになるのはKDD ADSならではという感じがする • グラフではないNNモデルからグラフモデルに移⾏するのは、 メモリや速度の点で⾮常に⼤変なのだと伝わってきた • 現地の発表でも「グラフエンジンは構築するのは⼤変だが、⼀度構築するとメモ リーも速度もかなり改善された」と⾔っていた • 論⽂には失敗のtipsとかも書かれていて⾯⽩い 例えば「ユーザーが既に閲覧したアイテムのフィルタを⼊れる場所を間違えてい て最初性能が出ませんでした」とかはとても共感できる 23
25. 24 ࠷ޙʹ αάϥμϑΝϛϦΞ
26. KDDは素晴らしい！ • ビジネスに近い⾝近なトピックの発表が聞ける • 企業関係の参加者も多くコミュニケーションできる • 現地も盛り上がっていたので今後もぜひ参加したい • 来年はトロント（カナダ）です！ 25
27. KDD参加レポートも⾒てね ちょうど本⽇10/17、参加レポートをLINEヤフー Tech Blogで公開しました https://techblog.lycorp.co.jp/ja/20241017a 26