Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Modeling Relational Data with Graph Convolutional Networks
Search
Yuko Ishizaki
August 21, 2018
0
120
Modeling Relational Data with Graph Convolutional Networks
グラフ畳み込みNNについて調べてみた
Yuko Ishizaki
August 21, 2018
Tweet
Share
More Decks by Yuko Ishizaki
See All by Yuko Ishizaki
The Web Conference 2020 Report -多目的最適化における確率的ラベル集約-
ishizaki_yuko
1
1.2k
雲コンペで反省したノイズ除去
ishizaki_yuko
1
380
Meta Kaggleを覗いてみた
ishizaki_yuko
3
2.4k
Hybrid Reward Architecture for Reinforcement Learning
ishizaki_yuko
0
110
Featured
See All Featured
Bash Introduction
62gerente
604
210k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
The Invisible Side of Design
smashingmag
294
49k
The Art of Programming - Codeland 2020
erikaheidi
41
12k
Imperfection Machines: The Place of Print at Facebook
scottboms
258
12k
Music & Morning Musume
bryan
41
5.6k
[RailsConf 2023] Rails as a piece of cake
palkan
22
3.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
240
1.2M
We Have a Design System, Now What?
morganepeng
42
6.7k
Art, The Web, and Tiny UX
lynnandtonic
288
19k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
Transcript
Modeling Relational Data with Graph Convolutional Networks Yuko Ishizak 2018/8/21
グラフとは ノードとノードを繋ぐエッジで構成されるデータ構造。 何かと何かの関係性を表すのに使われる。 Knowledge Graph Social Graph 分子構造 ➡︎ グラフを畳み込みネットワークで扱いたい!
論文:Modeling Relational Data with Graph Convolutional Networks https://arxiv.org/pdf/1703.06103.pdf
グラフの特徴 画像のような × で表すことができるデータとは違い、あるデータに対して隣接するデータの数が 固定ではない。また、向きと関係性が存在する場合もある。通常のCNNでは対応できない。 普通のCNNで扱えるデータ ➡ グラフ構造 ➡ :グラフ自体
:各ノード :リレーションタイプ :各エッジ(有方向) Modeling
やりたいこと 1. Link prediction 不完全なグラフに対して、エッジを予測する。 2. Entity Classification sub obj
sub obj relation v1 v4 v3 v2 v5 人 動 物 動 物 人 人
hidden layer + 1層 ℎ0 +1 ℎ1 +1 − 1層
層 ℎ0 −1 ℎ1 −1 ℎ0 ℎ1 活性関数(ReLU) で繋がっているℎ に隣接するノードのインデックスj 正規化定数 自分へのループ (()は各層の次元) () = 11 ⋯ 1 ⋮ ⋱ ⋮ 1 ⋯ () (+1) 1. basis-representation 基底ベクトルVの線型結合 2. block-diagonal- representation ブロック対角行列 → 重みの共有 → スパース性
hidden layer 赤ノードの演算 1. 赤ノードに隣接するrelation1のin方向のノード の層に伝播されたデータを1− で線型結合 2. 赤ノードに隣接するrelation1のout方向のノード の層から伝播されたデータを1−
で線型結合 3. relation N まで1.2.を繰り返す 4. 自分自身へのループがある場合は、それも加える 5. 活性関数に入れる
input layer / output layer 1. Entity Classification • inputはone-hotベクトル
• outputにsoftmaxを使う • クロスエントロピー誤差で評価 ノードの集合
input layer / output layer 2. Link prediction (s,r,o)に対してスコアを付ける評価関数を以下のように定義する。 ,
sub obj relation subノードの 出力の転置 objノードの出力 対角行列 エッジ ネガティブデータ ポジネガデータ (, , )を出力として、クロスエントロピー誤差で評価する
精度 1. Entity Classification 2. Link prediction ➡︎ 精度はあまり既存の方法と変わらな い
データセットの種類 データセットの種類 評価方法別
考察 精度は既存のものより突出して良いわけではないが、グラフをより直感的にシンプルに畳 み込みネットワークに対応することができる手法。 隣接するノード間で畳み込んで流が、さらに先のノードも・・・など応用の仕方が色々あ りそう。