知らないとやばい！最新トレンドの根幹技術 Attention

LabTech Talkの講演資料です。
https://labtechtalk-event221209.peatix.com/view

Transcript

1. Attentionの徹底理解 2022 / 12 / 9 徳永 匡⾂ （とくなが まさおみ） 1
2. ⾃⼰紹介 2 徳永 匡⾂ Tokunaga Masaomi 宮城県 育った 場所 野村総合研究所 AIソリューション推進部 AI tech lab. 所属 扱う分野 コンピュータビジョン / ⾃然⾔語処理 • 論⽂調査 / 実験 • AIを⽤いた事業テーマ探索 ChatGPT マイブーム Vision Transformer⼊⾨ （技術評論社、2022年9⽉） 拙著 （共著） ブログ投稿 / 勉強会開催 世界に衝撃を与えた画像⽣成AI「Stable Diffusion」を徹底解説︕ その他 活動 Twitter : @omiita_atiimo Qiita: @omiita
3. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 3
4. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 4
5. AttentionなしでいまのAIは語れない 5 Transformer GPT-3 DALL-E 2 Vision Transformer BERT Stable Diffusion
6. AttentionなしでいまのAIは語れない 6 Transformer GPT-3 DALL-E 2 Vision Transformer BERT Stable Diffusion これらのモデルで使われている QKVのSelf-Attentionを取り扱います
7. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 7
8. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 8
9. Self-Attentionの仕組み 4コマ漫画で理解しよう 9 より良い⾃分になりたいAさんの物語
10. Self-Attentionの仕組み 4コマ漫画で理解しよう 10 「より良い」とは「⾃分似ていること」 Aさんは、Bさん、Cさん、Dさんを連れてきました
11. Self-Attentionの仕組み 4コマ漫画で理解しよう 11 Aさんはみんなの情報を聞きます AさんはBさんとは似ているが、Cさん・Dさんとは似ていません
12. Self-Attentionの仕組み 4コマ漫画で理解しよう 12 類似度にそってみんなをガッチャンコします このときAさん⾃⾝も含みます
13. Self-Attentionの仕組み 4コマ漫画で理解しよう 13 Aさんはより良い⾃分になりました。 Bさん、Cさん、Dさんも同じ⽅法でより良い⾃分になりました
14. Self-Attentionの仕組み 4コマ漫画で理解しよう 14 Self-Attentionとは、 ⾃分に似た⼈たちを集約して、 より良い⾃分になる ① 情報抽出 ② 類似度 ③ ガッチャンコ
15. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 15
16. Self-Attentionの仕組み 「図解で理解しよう」の前に・・・。 § 個⼈的に、画像の例がわかりやすいのでここからは パッチ（Patch）に対してSelf-Attention。 § パッチとは、画像を分割したやつ。 16 パッチ 分割
17. Self-Attentionの仕組み 「図解で理解しよう」の前に・・・。 § 個⼈的に、画像の例がわかりやすいのでここからは パッチ（Patch）に対してSelf-Attention。 § パッチとは、画像を分割したやつ。 § パッチは、4コマでいうAさんやBさんなどに対応 17 分割
18. Self-Attentionの仕組み 「図解で理解しよう」の前に・・・。 § パッチをぺしゃんこにして（ flattenして）ベクトルに。 18
19. Self-Attentionの仕組み 「図解で理解しよう」の前に・・・。 § これらを合わせて、⼊⼒画像は右のように表せる § パッチごとにflattenしただけ。 19 パッチごとに flatten この表現に対して Self-Attentionをおこなう
20. Self-Attentionの仕組み 図解で理解しよう 20 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ① 情報抽出 ② 類似度 ③ ガッチャンコ
21. Self-Attentionの仕組み 図解で理解しよう 21 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ① 情報抽出 ＝埋め込み ② 類似度 ＝内積 ③ ガッチャンコ ＝加重和
22. Self-Attentionの仕組み ①埋め込み 22 ! " # それぞれ異なる 線形層で埋め込む 4 × &' 形状 4 × &' &' × &' ⼊⼒ 線形層 !, ", #
23. Self-Attentionの仕組み ②内積 23 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X ! "# ⾏列積で まとめて内積 （キー "は転置） 4 × &' &' × 4 4 × 4 形状 ⾏⽅向でSoftmax → 合計が１になっている Softmax クエリ キー Attention Weight
24. Self-Attentionの仕組み ③加重和 24 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 4 × 4 # 4 × $% 形状 X ⾏列積で まとめて加重和 4 × $% Attention Weight バリュー 出⼒
25. Self-Attentionの仕組み （再掲）図解で理解しよう 25 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ① 情報抽出 ＝埋め込み ② 類似度 ＝内積 ③ ガッチャンコ ＝加重和
26. Self-Attentionの仕組み テキストの場合も完全に同じ︕ 26 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ① 情報抽出 ＝埋め込み ② 類似度 ＝内積 ③ ガッチャンコ ＝加重和 This is a dog This is a dog This is a dog This is a dog This is a dog This is a dog This is a dog
27. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 27
28. Self-Attentionの仕組み 数式で理解しよう 1. 埋め込み 2. 内積 3. 加重和 28 スケール化 ドット積Self-Attention
29. 本⽇の流れ § AttentionなしでいまのAIは語れない § Self-Attentionの仕組み § 4コマ漫画で理解しよう § 図解で理解しよう § 数式で理解しよう § Self-Attentionの実装（PyTorch） 29
30. Self-Attentionの実装（PyTorch） 30 コードへ移ります
31. Self-Attention まとめ 31 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ① 情報抽出 ② 類似度 ③ ガッチャンコ
32. 補⾜︓いろいろなAttention Soft-Attention vs Hard-Attention § Soft-Attentionは、ガッチャンコ § Hard-Attentionは、1つだけをえらぶ。 32 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 1.0 1.0 1.0 1.0 Soft-Attention Hard-Attention
33. 補⾜︓いろいろなAttention Cross-Attention § Stable Diffusionに使われている 33 0.8 0.2 0.2 0.6 0.2 0.5 0.5 0.2 0.8 X X ! " # ② 類似度 ③ ガッチャンコ This is a library This is a library This is a library This is a library キー / バリューが クエリと異なる ① 情報抽出