Modeling Relational Data with Graph Convolutional Networks

グラフ畳み込みNNについて調べてみた

Transcript

1. Modeling Relational Data with Graph Convolutional Networks Yuko Ishizak 2018/8/21
2. グラフとは ノードとノードを繋ぐエッジで構成されるデータ構造。 何かと何かの関係性を表すのに使われる。 Knowledge Graph Social Graph 分子構造 ➡︎ グラフを畳み込みネットワークで扱いたい！ 論文：Modeling Relational Data with Graph Convolutional Networks https://arxiv.org/pdf/1703.06103.pdf
3. グラフの特徴 画像のような × で表すことができるデータとは違い、あるデータに対して隣接するデータの数が 固定ではない。また、向きと関係性が存在する場合もある。通常のCNNでは対応できない。 普通のCNNで扱えるデータ ➡ グラフ構造 ➡ ：グラフ自体 ：各ノード ：リレーションタイプ ：各エッジ(有方向) Modeling
4. やりたいこと 1. Link prediction 不完全なグラフに対して、エッジを予測する。 2. Entity Classification sub obj sub obj relation v1 v4 v3 v2 v5 人 動 物 動 物 人 人
5. hidden layer + 1層 ℎ0 +1 ℎ1 +1 − 1層 層 ℎ0 −1 ℎ1 −1 ℎ0 ℎ1 活性関数(ReLU) で繋がっているℎ に隣接するノードのインデックスj 正規化定数 自分へのループ （()は各層の次元） () = 11 ⋯ 1 ⋮ ⋱ ⋮ 1 ⋯ () (+1) 1. basis-representation 基底ベクトルVの線型結合 2. block-diagonal- representation ブロック対角行列 → 重みの共有 → スパース性
6. hidden layer 赤ノードの演算 1. 赤ノードに隣接するrelation1のin方向のノード の層に伝播されたデータを1− で線型結合 2. 赤ノードに隣接するrelation1のout方向のノード の層から伝播されたデータを1− で線型結合 3. relation N まで1.2.を繰り返す 4. 自分自身へのループがある場合は、それも加える 5. 活性関数に入れる
7. input layer / output layer 1. Entity Classification • inputはone-hotベクトル • outputにsoftmaxを使う • クロスエントロピー誤差で評価 ノードの集合
8. input layer / output layer 2. Link prediction (s,r,o)に対してスコアを付ける評価関数を以下のように定義する。 , sub obj relation subノードの 出力の転置 objノードの出力 対角行列 エッジ ネガティブデータ ポジネガデータ (, , )を出力として、クロスエントロピー誤差で評価する
9. 精度 1. Entity Classification 2. Link prediction ➡︎ 精度はあまり既存の方法と変わらな い データセットの種類 データセットの種類 評価方法別
10. 考察 精度は既存のものより突出して良いわけではないが、グラフをより直感的にシンプルに畳 み込みネットワークに対応することができる手法。 隣接するノード間で畳み込んで流が、さらに先のノードも・・・など応用の仕方が色々あ りそう。