Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Modeling Relational Data with Graph Convolution...
Search
Yuko Ishizaki
August 21, 2018
0
180
Modeling Relational Data with Graph Convolutional Networks
グラフ畳み込みNNについて調べてみた
Yuko Ishizaki
August 21, 2018
Tweet
Share
More Decks by Yuko Ishizaki
See All by Yuko Ishizaki
The Web Conference 2020 Report -多目的最適化における確率的ラベル集約-
ishizaki_yuko
1
1.3k
雲コンペで反省したノイズ除去
ishizaki_yuko
1
410
Meta Kaggleを覗いてみた
ishizaki_yuko
3
2.8k
Hybrid Reward Architecture for Reinforcement Learning
ishizaki_yuko
0
130
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
The Language of Interfaces
destraynor
158
25k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Code Reviewing Like a Champion
maltzj
524
40k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
How to Ace a Technical Interview
jacobian
277
23k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Transcript
Modeling Relational Data with Graph Convolutional Networks Yuko Ishizak 2018/8/21
グラフとは ノードとノードを繋ぐエッジで構成されるデータ構造。 何かと何かの関係性を表すのに使われる。 Knowledge Graph Social Graph 分子構造 ➡︎ グラフを畳み込みネットワークで扱いたい!
論文:Modeling Relational Data with Graph Convolutional Networks https://arxiv.org/pdf/1703.06103.pdf
グラフの特徴 画像のような × で表すことができるデータとは違い、あるデータに対して隣接するデータの数が 固定ではない。また、向きと関係性が存在する場合もある。通常のCNNでは対応できない。 普通のCNNで扱えるデータ ➡ グラフ構造 ➡ :グラフ自体
:各ノード :リレーションタイプ :各エッジ(有方向) Modeling
やりたいこと 1. Link prediction 不完全なグラフに対して、エッジを予測する。 2. Entity Classification sub obj
sub obj relation v1 v4 v3 v2 v5 人 動 物 動 物 人 人
hidden layer + 1層 ℎ0 +1 ℎ1 +1 − 1層
層 ℎ0 −1 ℎ1 −1 ℎ0 ℎ1 活性関数(ReLU) で繋がっているℎ に隣接するノードのインデックスj 正規化定数 自分へのループ (()は各層の次元) () = 11 ⋯ 1 ⋮ ⋱ ⋮ 1 ⋯ () (+1) 1. basis-representation 基底ベクトルVの線型結合 2. block-diagonal- representation ブロック対角行列 → 重みの共有 → スパース性
hidden layer 赤ノードの演算 1. 赤ノードに隣接するrelation1のin方向のノード の層に伝播されたデータを1− で線型結合 2. 赤ノードに隣接するrelation1のout方向のノード の層から伝播されたデータを1−
で線型結合 3. relation N まで1.2.を繰り返す 4. 自分自身へのループがある場合は、それも加える 5. 活性関数に入れる
input layer / output layer 1. Entity Classification • inputはone-hotベクトル
• outputにsoftmaxを使う • クロスエントロピー誤差で評価 ノードの集合
input layer / output layer 2. Link prediction (s,r,o)に対してスコアを付ける評価関数を以下のように定義する。 ,
sub obj relation subノードの 出力の転置 objノードの出力 対角行列 エッジ ネガティブデータ ポジネガデータ (, , )を出力として、クロスエントロピー誤差で評価する
精度 1. Entity Classification 2. Link prediction ➡︎ 精度はあまり既存の方法と変わらな い
データセットの種類 データセットの種類 評価方法別
考察 精度は既存のものより突出して良いわけではないが、グラフをより直感的にシンプルに畳 み込みネットワークに対応することができる手法。 隣接するノード間で畳み込んで流が、さらに先のノードも・・・など応用の仕方が色々あ りそう。