Attention on Attention for Image Captioning

2019年の9月13日に #7【画像処理 & 機械学習】論文LT会！ (https://lpixel.connpass.com/event/144587/) で発表を行った資料です。

Transcript

1. Attention on Attention for Image Captioning #7【画像処理 & 機械学習】論文LT会 2019年9月13日 @hrs1985 Huang et al. https://arxiv.org/abs/1908.06954 (ICCV2019)
2. 自己紹介 twitter : @hrs1985 https://qiita.com/hrs1985 https://kiyo.qrunch.io/ 2 機械学習エンジニアをしています。 最近転職して7月から東京で働いてます。 前々職では実験生物学やってました。 • 深層生成モデル • 強化学習 • 画像処理 • 生物学・化学への機械学習の応用 に興味があります。
3. 今回読んだ論文 タイトル Attention on Attention for Image Captioning (https://arxiv.org/abs/1908.06954) 3 著者 Lun Huang, Wenmin Wang, Jie Chen, Xiao-Yong Wei 内容 ❏ Attention 機構にゲートを導入した Attention on Attention (AoA) を提案 ❏ AoA を Image Captioning タスクに使用して いくつかのデータセットに対して SoTA
4. Image Captioning 4 画像からその画像の内容を示す文を推定 (生成) するタスク “2匹のカマキリが枝の上で腕を拡げている ” ⇒正しく推定するには物体の数や位置関係の理解が重要
5. Attention 5 similarity softmax Query Key Value matmul Value’
6. Attention 6 similarity softmax Query Key Value matmul Value’
7. Attention 7 この軸で softmax をとる similarity softmax Query Key Value matmul Value’
8. Attention 8 Value’ Softmax の出力を係数行列とし、 各 vi について線形和を取る similarity softmax Query Key Value matmul Value’
9. Problem at Attention 9 Similarity がどれも低い行 (Queryに対して相関している key がない) 場 合でも消去法的に一番値の高い部分が残ってしまう。 この軸で softmax をとる
10. Attention on Attention 10 similarity softmax Query Key Value matmul Value’
11. Attention on Attention 11 similarity softmax Query Key Value matmul Value’ concat linear linear sigmoid multiply Information Gate
12. Gate により弱い similarity の影響を過剰に強く見積もることを防ぐ Attention on Attention 12 similarity softmax Query Key Value matmul Value’ concat linear linear sigmoid multiply Information Gate
13. Network Architecture of AoANet 13 ベースは画像→潜在表現→文章の Encoder-Decoder モデル 赤で囲んだ部分に Attention on Attention を使用
14. Network Architecture of AoANet 14 Encoder の Refining 部分に Attention on Attention を導入
15. Network Architecture of AoANet 15 Decoder 側にも LSTM と Attention の先に Attention on Attention を導入
16. Experiments 16 ほとんどのケースで SGAEを上回るスコア
17. Experiments 17 Baseline は著者が再実装した Up-Down model AoANet の結果が優れている点として以 下の2つを挙げています。 1. 物体の数を正確に捉えている (上 から 1 , 2 番目) 2. 物体同士の位置関係を正確に捉 えている (上から 1, 4 番目) 個人的には 3 番目の「鏡に映った自分を 見ている猫」を正確に記述できている点が すごいと思いました。
18. Experiments 18 Attention の結果を直接出力に用いた Base では テディベアが本の上に座っていることになってしまっています
19. 感想 シンプルなアイデアで大きな効果を挙げていてよいと思いました。 まだ不勉強なので実際に優れているかどうかは他の文献の内容も読んで から判断したいです。 Attention 機構の拡張は色々提案されていますが、今回の Attention on Attention は他のアイデアとの組み合わせも容易なので可能性を感じまし た。Image Captioning 以外のタスクへも適用できそうです。 感想・次に読みたい文献 次に読みたい文献 Anderson et al. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018. (Up-Down) Yang et al. Auto-encoding scene graphs for image captioning. In CVPR, June 2019. (SGAE) 19