SKIP-GRAPH: LEARNING GRAPH EMBEDDINGS WITH AN ENCODER-DECODER MODEL

The slide is a review of SKIP-GRAPH: LEARNING GRAPH EMBEDDINGS WITH AN ENCODER-DECODER MODEL, Lee et al. 2016.

Transcript

1. R eview "SKIP ‑GRAPH : LEARNING GRAPH EMBEDDINGS WITH AN ENCODER ‑ DECODER MODEL " C reated by T akeshi O ura
2. A genda SKIP ‑GRAPH : LEARNING GRAPH EMBEDDINGS WITH AN ENCODER ‑DECODER MODEL ,L ee et al. 2016 (ICRL 2017 u nder r ev iew) グラフの埋め込み表現を抽出 ノー ドを辿るランダムウォー クとしてグラフを表現し RNN で系列の 埋め込み表現を学習 分子構造から性質を同定するタスクで評価
3. G raph グラフ中のノー ドに着目 ノー ドのラベル付与問題 クラスタリング、 ユー ザプロファイルの推定(s ns など) グラフ中ノー ドの埋め込み表現 (D eep w alk by P er ozz i et al. 2014, line T ang et al. 2015, node2v ec by G r ov er et al.2016) グラフ全体に着目 グラフ間類似度: gr ap h‑ker nel et c. コミュニティ抽出、 サブグラフ分類、 ラベル付与 構文木からの推定、 分子配列から構造、 機能予測 グラフ全体の埋め込み← 本論文 一般のグラフ埋め込み表現でなくグラフとみなせる特定のタス ク用(素性の提案)論文は多数
4. S ettings 入力: 複数のグラフ 無向グラフ ラベルつきノー ド ラベルつきエッジでもよい (この場合ノー ド， エッジの系列を考える) ラベルは何らかの素性でよい 出力: 各グラフのベクトル表現 ラベルつきのノー ドにより構成させるグラフの構造を反映した い
5. I dea グラフの構造をランダムウォー カー によるノー ドの系列で表現 ノー ドの列を入力としたencoder‑decoder モデルで内部表現を学習 学習時のencoder‑decoder モデルのs kip‑gr am(s eq ence入力 w or d2v ec) RNN としては GRU を使用 G r ap h lap lacianや S p ectru m met hodは扱わないがグラフ上のランダム ウォー クとは関係が深い
6. S kip though (K iros et al. 2015) docu ment 中のs ent enceの埋め込み表現を抽出 s kip‑gr amを同じアイデア: センテンスs = {w }から前のセンテンスs = {w }, 後の センテンスs = {w }を予測 目的関数: L = P(w ∣{w } , h ) + P(w ∣{w } , h ) P(w ∣{w } , h ) ∼ exp(v h ) V = {v }: 単語ごとに決まる重み行列 i i t i+1 i+1 t i−1 i−1 t t ∑ i+1 t i+1 t′ t <t ′ i t ∑ i−1 t i−1 t′ t <t ′ i i+1 t i+1 t′ t <t ′ i wi+1 t i+1 t w
7. S kip though (K iros et al. 2015) encoder: 普通の GRU h : encoder の出力ベクトル decoder:h をバイアスに付加した GRU r = σ(W x + U h + C h ) z = σ(W x + U h + C h ) = tanh(W x + U (r z ⊙ h ) + Ch ) h = (1 − z ) ⊙ +z ⊙ i i t r d t−1 r d t−1 r i t z d t−1 z d t−1 r i h ¯t d t−1 d t t−1 i i+1 t t t h ¯t
8. S kip though (K iros et al. 2015) タスク s emant ic r elat edness: 2つのセンテンスが意味的に類似しているか 言い換え検出:2つのセンテンスが言いかえか否か識別 image‑s ent ence r anking: 与えられた画像(キャプション)に適切な キャプション(画像)をランキング 文書識別: レビュー、 意見の極性、 質問の分類など
9. S kip‑graph vector s kip‑t hou ghをグラフ上のランダムウォー クに適用 s kip‑gr ap h: ランダムウォー クsをs → s → s のよう に分解, sからs , s を予測 評価では順向き, 逆向き2つのdecoder を使用, 目的関数は和をとる pre input post pre post
10. A lgrothm 1. 各グラフごとK個のランダムウォー クを生成 2. ランダムウォー クでencoder‑decoder を学習 3. ベクトル表現抽出: i. 各グラフごとK 個のランダムウォー クを生成 ii. encoder でベクトル表現を出力 iii. K 個のベクトル表現を合算 ベクトル表現の合算方法 S ingle w alk: 十分に長い系列1つのみ生成し使う(K = 1) A v er age:次元ごとに平均 M ax: 次元ごとに M ax C lust er: k‑means → bu g of clust er ′ ′ ′
11. E valuation T as k: 化合物が与えられター ゲットの病気に効果があるか2値識別す る dat as et: NCI 81, NCI 83, NCI 123, HIV 比較手法: ECFP : E xt ended‑connect iv ity cir cu lar fingerpr ints, 各ノー ド からk近傍の分子に着目し、 it er at iv eにノー ドの素性を更新し has h関数で固定長ベクトルに変換 N eur al FPS : ECFP をk近傍をまとめる処理を CNN にしたもの S kip‑gr ap h: 提案手法 素性抽出後sv mで識別機を構築し予測精度を比較
12. R esults 既存手法との比較 すべてのデー タセットで既存手法を上回る method HIV NCI 81 NCI 83 NCI 123 ECFP 68.30% 68.90% 62.06% 60.16% N eur al FPS 67.48% 65.24% 59.91% 60.00% S kip‑gr ap h 71.76% 70.56% 64.04% 64.32% 合算方法の比較 S ingle w alkは非常に悪い それ以外はだいたいよい
13. まとめ グラフの埋め込み表現を抽出した グラフ構造をランダムウォー クで表現 系列の埋め込み表現を抽出するs kip‑t hou ght でランダムウォー クか ら埋め込み表現を学習 化合物の機能予測タスクにおいて既存手法を上回る結果を得た ランダムウォー クの長さ30位がよいらしい 重要な典型的スケー ルの事前知識 長いスケー ルの構造をとらえるのは難しい?