Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Attention on Attention for Image Captioning

kiyo
September 13, 2019

Attention on Attention for Image Captioning

2019年の9月13日に #7【画像処理 & 機械学習】論文LT会! (https://lpixel.connpass.com/event/144587/) で発表を行った資料です。

kiyo

September 13, 2019
Tweet

More Decks by kiyo

Other Decks in Technology

Transcript

  1. 今回読んだ論文 タイトル Attention on Attention for Image Captioning (https://arxiv.org/abs/1908.06954) 3

    著者 Lun Huang, Wenmin Wang, Jie Chen, Xiao-Yong Wei 内容 ❏ Attention 機構にゲートを導入した Attention on Attention (AoA) を提案 ❏ AoA を Image Captioning タスクに使用して いくつかのデータセットに対して SoTA
  2. Problem at Attention 9 Similarity がどれも低い行 (Queryに対して相関している key がない) 場

    合でも消去法的に一番値の高い部分が残ってしまう。 この軸で softmax をとる
  3. Attention on Attention 11 similarity softmax Query Key Value matmul

    Value’ concat linear linear sigmoid multiply Information Gate
  4. Gate により弱い similarity の影響を過剰に強く見積もることを防ぐ Attention on Attention 12 similarity softmax

    Query Key Value matmul Value’ concat linear linear sigmoid multiply Information Gate
  5. Experiments 17 Baseline は著者が再実装した Up-Down model AoANet の結果が優れている点として以 下の2つを挙げています。 1.

    物体の数を正確に捉えている (上 から 1 , 2 番目) 2. 物体同士の位置関係を正確に捉 えている (上から 1, 4 番目) 個人的には 3 番目の「鏡に映った自分を 見ている猫」を正確に記述できている点が すごいと思いました。
  6. 感想 シンプルなアイデアで大きな効果を挙げていてよいと思いました。 まだ不勉強なので実際に優れているかどうかは他の文献の内容も読んで から判断したいです。 Attention 機構の拡張は色々提案されていますが、今回の Attention on Attention は他のアイデアとの組み合わせも容易なので可能性を感じまし

    た。Image Captioning 以外のタスクへも適用できそうです。 感想・次に読みたい文献 次に読みたい文献 Anderson et al. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018. (Up-Down) Yang et al. Auto-encoding scene graphs for image captioning. In CVPR, June 2019. (SGAE) 19