良いnode embeddingとは？ / How to evaluate node embeddings

■イベント 
：ML勉強会
https://sansan.connpass.com/event/211420/

■登壇概要
タイトル：良いnode embeddingとは？
発表者： 
DSOC R&D研究員 　大垣 翔

▼Twitter
https://twitter.com/SansanRandD

Transcript

1. 良いnode embeddingとは？ 2021.05.14 ML勉強会 Sansan株式会社 DSOC R&D研究員 ⼤垣
2. Data Strategy and Operation Center ࣗݾ঺հ • 2016/03 ⼤阪⼤学 ⼤学院理学研究科 数学専攻 博⼠後期課程 修了 • 2016/04~ ⾦融SI, スタートアップで クオンツ, データサイエンティスト • 2020/09 Sansan株式会社 ⼊社 ⼤垣 翔 Sho Ogaki Sansan 株式会社 DSOC（Data Strategy & Operation Center） R&D Data Analysis Group 研究員 オンライン名刺
3. Data Strategy and Operation Center Agenda 2 1. Node Embedding と 今⽇の話の背景 2. Link Prediction と Node Classification による評価 3. グラフ距離 4. Distortion と 絶対値誤差 による評価
4. Node Embedding と 背景
5. Data Strategy and Operation Center Node Embeddingとは 4 1. G=(N, E): グラフ（N: 頂点集合、E: 辺集合） 2. Node Embeddingとは l f: N -> X: 単射 l X: Embedding Space（連続的な空間。ユークリッド空間、超球⾯、双曲空間、 リーマン多様体など。） 3. ただし、単なる単射だと素朴すぎる l Nは、グラフ由来の情報（辺のこと）をもつので、その情報がembeddingに反 映されていて欲しい l “良い“ embedding = 辺の情報がうまく反映されているembeddingのこと
6. Data Strategy and Operation Center （良い）Node Embeddingがあるとうれしいこと 5 1. ⼀般的に、離散データ（グラフ⾃体）の取り扱いは難しいので、 embeddingにより頂点を連続の世界で取り扱える l とくに、微分が使える 2. Node embeddingは、以下のようなことをするために⽤いられる l グラフに対するタスクを解く（pre-trainモデル） l 頂点間の類似度を測る l 頂点を可視化する
7. Data Strategy and Operation Center 1. Sansanは名刺交換データから作られるグラフを活⽤できる 2. このグラフを取り扱う⽅法の1つとして、node embeddingを持っておきた い l 巨⼤なグラフなので、必要になった都度、学習するのは⼿間 l 頂点が組織だと、頂点数は数百万のオーダーになる l 頂点が個⼈だと、頂点数は数千万のオーダーになる 3. Embeddingの良さを正確に測れるようになることで、モデル/学習⽅法の ⽐較、採⽤する/しないの判断、をより⾃信を持ってできるようにしたい 4. そのため、embeddingの評価⽅法について調査した l なので、今⽇は俯瞰的な話 今⽇の話をする背景 6
8. Data Strategy and Operation Center Agenda 7 1. Node Embedding と 今⽇の話の背景 2. Link Prediction と Node Classification による評価 3. グラフ距離 4. Distortion と 絶対値誤差 による評価
9. Link Prediction と Node Classification
10. Data Strategy and Operation Center l Node embeddingの論⽂をみると、その評価は、Link Prediction や Node Classification でなされることが多い l Link Predictionは、頂点間に辺があるかの2値分類 l Node Classificationは、頂点に対する分類 l なので、まずはこの2つを取り上げる Link Prediction, Node Classification 9
11. Data Strategy and Operation Center Link Prediction l まさに、辺の情報が保持できているかを判定するタスク l 評価⽅法として良さそう l 2値分類なので、各々の辺の有無に対する連続的な評価はできない l 「辺が無い」と推論を間違えた場合に、どれぐらい間違えたかは分からない l 精度が⾼くても、⼤局的に⾒ると改善点がある可能性はある l あとで例⽰ Link Prediction, Node Classification 10
12. Data Strategy and Operation Center Node Classification l 分類対象のラベルはあくまで付加情報 l ⼀般的に使える評価⽅法ではない l 重要な分類タスクがある場合は使⽤する（例: CVの画像分類） l 名刺交換グラフについては、これいった分類対象は思いついていない l なので、今回は対象外 Link Prediction, Node Classification 11
13. Data Strategy and Operation Center Link Prediction: 例 12 1. 左:グラフ, 右:embeddedグラフ 2. B1は、Link Prediction的にはそれ なりに良いが、改善点のある embedding l 灰⾊⽮印が差す頂点は、グラフ上 では辺6つ分離れているが、 embeddingではそれ程離れてない https://arxiv.org/abs/2011.14211 より引⽤
14. Data Strategy and Operation Center Link Prediction: 例 13 1. 左:グラフ, 右:embeddedグラフ 2. B2はかなり理想的なembedding 3. B1とB2が区別できるような、よ り良い評価⽅法を⽬指すなら、辺 （の有無）だけでなく、パスも考 慮して評価した⽅が良さそう 4. →頂点集合に対して、パス由来の 距離（グラフ距離）を導⼊する https://arxiv.org/abs/2011.14211 より引⽤
15. Data Strategy and Operation Center Agenda 14 1. Node Embedding と 今⽇の話の背景 2. Link Prediction と Node Classification による評価 3. グラフ距離 4. Distortion と 絶対値誤差 による評価
16. グラフ距離
17. Data Strategy and Operation Center l 距離空間は「集合 と その上の距離 の組」と定義する 距離の定義 16 IUUQEPQBMDTVFDBDKQPLBNPUPZMFDUNFUFNCMFDUQEG ΑΓҾ༻
18. Data Strategy and Operation Center l 連結なグラフ 𝐺 = 𝑁, 𝐸 に対して、頂点集合 𝑁 上に距離を「最短パスの⻑ さ」で定義する l 𝑑! 𝑚, 𝑛 = min ":$%&' ( &) * length 𝑝 𝑚, 𝑛 ∈ 𝑁 l なお、1辺の⻑さは 1 とする（決めの問題なので、3.14や57などでもいい） l 注意点 l 連結でないと、パスがない頂点ペアがあるので、距離が定義できない l 最短パスを⾒つけるには時間がかかるので、グラフが⼤きいと距離を完全に決 定するのは難しい l この2つについては、最後にコメントする グラフ距離 17
19. Data Strategy and Operation Center 1. 下の四⾓形グラフだと l 距離は、対⾓頂点間（ad, bc）が2、それ以外は1 2. 名刺交換グラフ（頂点: 個⼈、辺: 名刺交換あり）だと l 距離は、名刺交換を辿った時にたどり着く最少⼈数 グラフ距離: 例 18
20. Data Strategy and Operation Center 1. Embedding Space 𝑋 を距離空間とする 2. すると、「node embedding 𝑓: 𝑁 → 𝑋 が良い」ということを「グラフ由来 の距離 𝑑! とembedded spaceでの距離 𝑑" の”乖離が⼩さい”」と定式化で きそう  ʮ𝑑! 𝑚, 𝑛 ͱ 𝑑" (𝑓 𝑚 , 𝑓 𝑛 ) の乖離（𝑚, 𝑛
    ௖఺ʣ」を定義すればよい 4. 数学では、NFUSJD
    FNCFEEJOHという分野 l -FDUVSF
    /PUFはいろいろあるʢNFUSJD
    FNCFEEJOHで検索） l ⽇本語だと: http://dopal.cs.uec.ac.jp/okamotoy/lect/2010/metemb/lect1.pdf Node Embedding with 距離 19
21. Data Strategy and Operation Center Metric Embedding: 例 20 l 左:グラフ, 右:embeddedグラフ 1. 辺（グラフだと⻑さ1）は、B1の ユークリッド距離だと 0.5~1 ぐら いに分布 2. B1の灰⾊⽮印の2頂点について l グラフ距離は 6 l ユークリッド距離は 1.3 ぐらい 3. なので、距離の視点から改善の余 地がまだまだあると⾔えそう https://arxiv.org/abs/2011.14211 より引⽤
22. Data Strategy and Operation Center  𝑑! 𝑚, 𝑛 と 𝑑"(𝑓 𝑚 , 𝑓 𝑛 ) の乖離ʢ𝑚, 𝑛
    頂点ʣを定式化する 2. 「乖離」の測り⽅として、⼤きく分けると「差分で測る⽅法」と「⽐率で 測る⽅法」が考えられる 3. 以下の2つが基本的 l 絶対値誤差（差分） l 𝑑! 𝑚, 𝑛 − 𝑑" 𝑓 𝑚 , 𝑓 𝑛 (≥ 0) l %JTUPSUJPO（⽐率、拡⼤率/縮⼩率） l max . /#! $ % , $ ' #" %, ' , #" %,' #! $ % ,$ ' (≥ 1) 距離の乖離: 定式化 21
23. Data Strategy and Operation Center l 下の四⾓形グラフのユークリッド空間へのembeddingを考える l 頂点ペアa, dに対して l 絶対値誤差は 2 − 2 l %JTUPSUJPOは # + + = 2 距離の乖離: 例 22
24. Data Strategy and Operation Center Agenda 23 1. Node Embedding と 今⽇の話の背景 2. Link Prediction と Node Classification による評価 3. グラフ距離 4. Distortion と 絶対値誤差 による評価
25. Distortion
26. Data Strategy and Operation Center l Node embedding 𝑓: 𝑁 → 𝑋 に対するdistortionを以下で定義 l Dist 𝑓 = max (,*∈. /! 0 ( , 0 * /" (, * max (,*∈. /" (,* /! 0 ( , 0 * l つまり、Distortion は 拡⼤率の最⼤値 × 縮⼩率の最⼤値 というもの l 理論観点だと、それぞれの最⼤値の積とした⽅が取り扱いやすい l 例 l 前節に挙げた例（四⾓形グラフのembedding）のdistortionは 2 Distortion 25
27. Data Strategy and Operation Center l Node embedding 𝑓: 𝑁 → 𝑋 に対するdistortionを以下で定義 l Dist 𝑓 = max (,*∈. /! 0 ( , 0 * /" (, * max (,*∈. /" (,* /! 0 ( , 0 * l つまり、Distortion は 拡⼤率の最⼤値 × 縮⼩率の最⼤値 というもの l 理論観点だと、それぞれの最⼤値の積とした⽅が取り扱いやすい l ML分野でも、distortionが使われている論⽂はちらほらある l Node embedding、次元削減など（Metric embeddingが使える問題） l https://arxiv.org/abs/2011.14211 l Node embeddingの⼿法、lossにdistortionを使⽤ Distortion 26
28. Data Strategy and Operation Center l Distortionは、Metric Embeddingでの重要な評価指標 l 以下は基礎的な結果 l 定理 (Bourgain ’85) l 任意の有限グラフに対して、ユークリッド空間へのnode embeddingͰ distortionが 𝑶(𝒍𝒐𝒈 𝒏) となるものがあるʢ𝑛は頂点数ʣ l ⽂献 l 原論⽂: https://doi.org/10.1007/BF02776078 l たいていのMetric EmbeddingのLecture Noteには説明してある l 精密化した論⽂: https://doi.org/10.1016/j.aim.2011.08.003 l さらに、次元を𝑂 log 𝑛 , average distortionを𝑂 1 にできる Distortion 27
29. 絶対値誤差
30. Data Strategy and Operation Center /PEF
    FNCFEEJOH
    𝑓: 𝑁 → 𝑋 に対する絶対値誤差を以下で定義 l 𝐴𝐸 𝑓 = min 234 max (,*∈. 𝑘𝑑! 𝑚, 𝑛 − 𝑑5 𝑓 𝑚 , 𝑓 𝑛 できれば以下の式で定義したい l max (,*∈. 𝑑! 𝑚, 𝑛 − 𝑑5 𝑓 𝑚 , 𝑓 𝑛 l が、グラフ距離に対するスケーリングの考慮が必要 l 𝑘 がグラフの1辺の距離 l Distortionはスケーリング不変になるように定義してあるので、気にしなくて よい 絶対値誤差 29
31. Data Strategy and Operation Center /PEF
    FNCFEEJOH
    𝑓: 𝑁 → 𝑋 に対する絶対値誤差を以下で定義 ˔ 𝐴𝐸 𝑓 = min 234 max (,*∈. 𝑘𝑑! 𝑚, 𝑛 − 𝑑5 𝑓 𝑚 , 𝑓 𝑛 ˔ 数学だと、Coarse Geometry（粗幾何）で使われる ˔ ⽇本語だと「粗幾何学⼊⾨（SGCライブラリ。深⾕）」という本がある ˔ MLだと、Poincaré embeddingと関係している 絶対値誤差 30
32. Data Strategy and Operation Center 論⽂：https://arxiv.org/abs/1705.08039 サマリ l ツリーから双曲空間へのembeddingを作る⽅法 l Link PredictionやReconstructionのタスクに対して、ユークリッド空間への embedding（node2vec）と⽐較して、「⾼精度」かつ「Embedding Space が低次元」な結果を得た l ツリーの例→ Poincaré Embedding 31 https://ptwiddle.github.io/Graph-Theory-Notes/s_intro_trees.html より引⽤
33. Data Strategy and Operation Center 定理 (Bonk-Schramm ’11) l 任意の（頂点が無限個の）ツリーに対して、双曲空間へのnode embeddingで 絶対値誤差が有限となるものがある ⽂献 l 原論⽂: https://doi.org/10.1007/978-1-4419-9675-6_10 l 前述の「粗幾何学⼊⾨（SGCライブラリ。深⾕さん）」でも紹介されている 絶対値誤差とPoincaré Embedding 32
34. Data Strategy and Operation Center 定理 (Bonk-Schramm ’11) l 任意の（頂点が無限個の）ツリーに対して、双曲空間へのnode embeddingで 絶対値誤差が有限となるものがある 補⾜ 1. 「絶対値誤差が有限」は強い主張 l グラフでの距離の⼤きさによらず、Embedding Spaceでの距離との差は⼀定以内 であるため（頂点無限のツリーだと、距離がいくらでも⼤きい2頂点がある） 2. 「双曲空間」を「ユークリッド空間」に置き換えるとこの主張は不成⽴ 3. まとめると、ツリーのEmbedding Spaceとしては、ユークリッド空間より 双曲空間の⽅が（ずっと）良い 絶対値誤差とPoincaré Embedding 33
35. Data Strategy and Operation Center 定理 (Bonk-Schramm ’11) l 任意の（頂点が無限個の）ツリーに対して、双曲空間へのnode embeddingで 絶対値誤差が有限となるものがある コメント l ツリーでないグラフについても、（双曲空間を別の多様体に変えることで）こ の種の結果が欲しい、、 l が、いまのところまとまった結果はなさそう 絶対値誤差とPoincaré Embedding 34
36. まとめ
37. Data Strategy and Operation Center 1. Link Prediction l 実践寄り l 具体的に計算するなら、とりあえずこれ 2. Distortion l 実践と理論の両⽅ l 頂点間の離れ具合いを連続的に評価したいとき l 理論に基づく評価がある 3. 絶対値誤差 l 理論寄り l この指標で理論評価がなされると嬉しい l 実際のembeddingの評価では⾒たことがない（論⽂があれば読みたい） Node Embedding 評価⽅法のまとめ 36
38. Data Strategy and Operation Center 1. グラフが連結でない場合、連結成分ごとにしか距離を定義できない l パスのつながらない頂点ペアに対する評価も必要 l Link Predictionは、負例にそのような頂点ペアが含まれるので、その意味で評 価されている 2. グラフ距離を求めるには、最短パスを⾒つける必要があるが、⼀般には時 間がかなりかかる l サンプリングするなり、パスの⻑さに制限を加えるなり、考慮する頂点やパス を⼀部に制限した上で、評価する必要がありそう l Link Predictionは、⻑さ1のパスだけ考慮しているとみなせる Distortionや絶対値誤差を実際に使う場合の課題 37
39. さいごに
40. Data Strategy and Operation Center l ここで話したDistortionや絶対値誤差とは、異なる評価⼿法もある l 例えば: https://arxiv.org/abs/1906.04562 l パスより⼀般に、部分グラフに着⽬してnode embeddingを評価 l 今⽇は俯瞰な話 l 「実際、名刺交換グラフのnode embeddingをどのように評価することにした か」という実践の話は、将来どこかの機会に話したい（予定は未定） l 今年のインターンのテーマ候補のひとつ l 興味が湧かれた⽅はぜひ ➤ https://www.wantedly.com/projects/625615 さいごに 39