Graph-Based Global Reasoning Networks [Chen et al. CVPR 2019] #6【画像処理 & 機械学習】論文LT会 2019年8月2日

自己紹介 2 @hrs1985 https://qiita.com/hrs1985 https://kiyo.qrunch.io/ 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 ● 深層生成モデル ● 強化学習 ● 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。

論文の概要 ▪ 大域的な特徴を用いた推論のために coordinate space をinteraction space (graph) に落とし込んでグラフ畳み込みを行い、それを元の coordinate space に戻すアプローチ ▪ 特徴マップから物体同士の関係をグラフに変換してグラフ畳み込みを行う Global Reasoning unit (GloRe unit) を提案 ▪ 画像分類、セグメンテーション、video action recognition タスクに適用 したら SOTA 3

CNN の問題点 4 局所的な特徴しか取れないため、 大域的な特徴をとるために畳み込み層がたくさん必要になる。 例えば 3x3 カーネルの畳み込み層を用いた場合、 オレンジの物体と青の物体の情報が 1 つのノードに 集約されるまでには 2 つの層が必要となる 1 回目の畳み込みで集約される範囲 2 回目の畳み込みで集約される範囲

5 各物体をグラフの各ノードに集約したうえで グラフ畳み込みを適用すれば少ない層で大域的な特徴をとれる GCN Coordinate Space Interaction Space 特徴マップ➡グラフ

6 GCN ? Coordinate Space Interaction Space 特徴マップ➡グラフ

Global Reasoning unit (GloRe) 7

Global Reasoning unit (GloRe) 8 Coordinate → Interaction Interaction → Coordinate Graph Convolution

Coordinate Space ➡ Interaction Space 9 x1, x2, x3,...,xj v1, v2, v3,...,vi B: Coordinate Space の各点 xj と Interaction Space のノード vi を 対応付ける projection map

Global Reasoning unit (GloRe) 10 Coordinate → Interaction Interaction → Coordinate Graph Convolution

Graph Convolution 11 グラフ畳み込みは、 1. 隣接ノードへの情報の拡散 2. 各ノードについての情報の更新 の 2 ステップからなる

Graph Convolution 12 完全グラフならば、 1. 各チャンネルについてのノード方向の 1 次元畳み込み 2. 各ノードについてのチャンネル方向の 1 次元 畳み込み の 2 ステップで Graph Convolution Network を構成できる

Global Reasoning unit (GloRe) 13 Coordinate → Interaction Interaction → Coordinate Graph Convolution

Interaction Space ➡ Coordinate Space 14 x1, x2, x3,...,xj v1, v2, v3,...,vi Interaction Space から Coordinate Space への逆変換 さきほど Interaction Space への変換に使った B を転置して再利用

Experiments 15 ImageNet の Top-1 Accuracy を比較。 ResNet-50 の 3 ブロック目ないし 4 ブロック目に GloRe unit 導入で精度向上 (灰色) 4 ブロック目の GloRe unit 数を増やしていくと 精度向上 (緑色)

Experiments 16 FCN に GloRe unit を導入すると mIoU が向上 GloRe unit を 2 つ入れたら逆効果？

Experiments 17 GloRe unit ありなしでのセグメンテーション結果

Experiments 18 GloRe unit ありなしでのセグメンテーション結果

Experiments 19 2 枚の猫画像に対する projection map (B) を可視化した図 左から「猫のヒゲ」「エッジ」「目」「画像全体」に反応している (と著者は言っている )

関連文献 20 ● Wang, Xiaolong, et al. "Non-local neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. ● Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. 謝辞 この資料の7割くらいは 先週行われたもくもく会で作られました。