Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Modeling Relational Data with Graph Convolution...
Search
Yuko Ishizaki
August 21, 2018
0
180
Modeling Relational Data with Graph Convolutional Networks
グラフ畳み込みNNについて調べてみた
Yuko Ishizaki
August 21, 2018
Tweet
Share
More Decks by Yuko Ishizaki
See All by Yuko Ishizaki
The Web Conference 2020 Report -多目的最適化における確率的ラベル集約-
ishizaki_yuko
1
1.4k
雲コンペで反省したノイズ除去
ishizaki_yuko
1
410
Meta Kaggleを覗いてみた
ishizaki_yuko
3
2.8k
Hybrid Reward Architecture for Reinforcement Learning
ishizaki_yuko
0
130
Featured
See All Featured
Optimizing for Happiness
mojombo
379
70k
The Language of Interfaces
destraynor
158
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Embracing the Ebb and Flow
colly
86
4.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
Modeling Relational Data with Graph Convolutional Networks Yuko Ishizak 2018/8/21
グラフとは ノードとノードを繋ぐエッジで構成されるデータ構造。 何かと何かの関係性を表すのに使われる。 Knowledge Graph Social Graph 分子構造 ➡︎ グラフを畳み込みネットワークで扱いたい!
論文:Modeling Relational Data with Graph Convolutional Networks https://arxiv.org/pdf/1703.06103.pdf
グラフの特徴 画像のような × で表すことができるデータとは違い、あるデータに対して隣接するデータの数が 固定ではない。また、向きと関係性が存在する場合もある。通常のCNNでは対応できない。 普通のCNNで扱えるデータ ➡ グラフ構造 ➡ :グラフ自体
:各ノード :リレーションタイプ :各エッジ(有方向) Modeling
やりたいこと 1. Link prediction 不完全なグラフに対して、エッジを予測する。 2. Entity Classification sub obj
sub obj relation v1 v4 v3 v2 v5 人 動 物 動 物 人 人
hidden layer + 1層 ℎ0 +1 ℎ1 +1 − 1層
層 ℎ0 −1 ℎ1 −1 ℎ0 ℎ1 活性関数(ReLU) で繋がっているℎ に隣接するノードのインデックスj 正規化定数 自分へのループ (()は各層の次元) () = 11 ⋯ 1 ⋮ ⋱ ⋮ 1 ⋯ () (+1) 1. basis-representation 基底ベクトルVの線型結合 2. block-diagonal- representation ブロック対角行列 → 重みの共有 → スパース性
hidden layer 赤ノードの演算 1. 赤ノードに隣接するrelation1のin方向のノード の層に伝播されたデータを1− で線型結合 2. 赤ノードに隣接するrelation1のout方向のノード の層から伝播されたデータを1−
で線型結合 3. relation N まで1.2.を繰り返す 4. 自分自身へのループがある場合は、それも加える 5. 活性関数に入れる
input layer / output layer 1. Entity Classification • inputはone-hotベクトル
• outputにsoftmaxを使う • クロスエントロピー誤差で評価 ノードの集合
input layer / output layer 2. Link prediction (s,r,o)に対してスコアを付ける評価関数を以下のように定義する。 ,
sub obj relation subノードの 出力の転置 objノードの出力 対角行列 エッジ ネガティブデータ ポジネガデータ (, , )を出力として、クロスエントロピー誤差で評価する
精度 1. Entity Classification 2. Link prediction ➡︎ 精度はあまり既存の方法と変わらな い
データセットの種類 データセットの種類 評価方法別
考察 精度は既存のものより突出して良いわけではないが、グラフをより直感的にシンプルに畳 み込みネットワークに対応することができる手法。 隣接するノード間で畳み込んで流が、さらに先のノードも・・・など応用の仕方が色々あ りそう。