日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 Confidential © TDAI Lab All right reserved. 自己紹介経歴 2016年株式会社TDAI Lab創業 (代表取締役社⻑) 2018年東京⼤学⼤学院⼯学系研究科修⼠課程修了 2021年東京⼤学⼤学院⼯学系研究科博⼠課程修了興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年東京⼤学総⻑賞受賞 2015年全⽇本学⽣競技ダンス選⼿権優勝 2020年芸能⼈格付けチェック出演 2022年全⽇本ランキング6位 ~2022年全⽇本準強化指定選⼿著書「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」福⾺智⽣ Tomoki Fukuma @fukuma_tomoki

Slide 3

Slide 3 text

3 Confidential © TDAI Lab All right reserved. 本資料の⽬的・留意事項【想定聴講者】 1. 近年のAI研究トレンドのざっくりした傾向を掴みたい⽅ 2. 機械学習・深層学習にある程度の予備知識がある⽅ 3. 当カンファレンスについての⼀参加者の⾒解を、興味を持って聴講くださる⽅【留意事項】本発表資料はできる限り誤解のないように努めておりますが、著者⾃⾝の仮説や想定の誤りにより、内容の⼀部に正確でない表現を含むことがあるかもしれない点、ご容赦ください。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

5 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖ ● 企業 Top7 ○ Google (188) ○ Microsoft(118) ○ Facebook(86) ○ Deepmind(82) ○ IBM(56) ○ Huawei(42) ○ Amazon(40) ● 学術機関 Top7 ○ Stanford University(143) ○ MIT(139) ○ Carnegie Mellon University(120) ○ University of California, Berkeley(119) ○ Tsinghua university(108) ○ Oxford(87) ○ Peking university(71)

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ○ トレンド1︓アーキテクチャの改善 ○ トレンド2︓マルチモーダルモデル ○ トレンド3︓Temporal Adaptation ○ トレンド4︓Retrieval Augmentation ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5 ~ 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

9 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」

Slide 10

Slide 10 text

10 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要 OpenAI：Dota2で世界チャンピオンに勝てるようになるまでに、45,000年分学習 Allen AI研究所：「アリスト」は、8年生レベル(日本の中２) の多肢選択式の科学問題に答えるために、300ギガバイトの科学論文と知識グラフを利用 OpenAI : Transformerの性能には、計算時間・データサイズ・パラメータ数のべき乗則に支配される GPT3は学習にシングルGPUで355年間(推定コスト 12millionドル)、学習データに45TBのテキスト

Slide 11

Slide 11 text

Slide 12

Slide 12 text

12 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない https://www.forbes.com/sites/robtoews/2020/07/19/gpt-3-is-amazingand- overhyped/?sh=338645581b1c

Slide 13

Slide 13 text

13 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ○ トレンド1︓アーキテクチャの改善 ○ トレンド2︓マルチモーダルモデル ○ トレンド3︓Temporal Adaptation ○ トレンド4︓Retrieval Augmentation ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5 ~ 7

Slide 14

Slide 14 text

Slide 15

Slide 15 text

15 Confidential © TDAI Lab All right reserved. 背景知識︓加速するモデルの巨⼤化アメリカ ● GPT-3(OpenAI):1750億 ● Jurassic-1 (AI21):1780億 ● Gopher(DeepMind):2800億 ● Megatron-Turing(Microsoft・ NVIDIA):5300億 ● GLaM(Google):1.2兆 ● Switch -Transformers: 1.6兆中国 ● PanGu(Huawei):2000億 ● Yuan 1.0(Inspur):2450億 ● PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 ● Wu Dao 2.0(北京智源⼈⼯知能研究院):1.75兆韓国 ● HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

Slide 16

Slide 16 text

Slide 17

Slide 17 text

17 Confidential © TDAI Lab All right reserved. 背景︓モデルは100兆パラメータ時代へ ● ⼤規模な⾔語モデルは、企業の技術⼒を⽰す威信あるプロジェクト化 ● スケールアップすれば良い結果が得られるというデモンストレーションを繰り返す(だけ) ● ⼀つのマイルストーンとして、⼈間の脳の100+兆のシナプス ● 現に推薦モデルなどでは100兆のパラメータを持つモデルも存在 Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion Parameters

Slide 18

Slide 18 text

18 Confidential © TDAI Lab All right reserved. NeurIPSで⾏われていた⾯⽩い試み https://training-transformers- together.github.io/ ● Yandex Research、Hugging Face、HSE University、University of Washingtonが共同で主宰したデモ ● NeurIPS 2021の参加者について、オープンソース版のDALL-Eを分散学習 (参加者は、⾃分のPC や無料のクラウドインスタンスから参加) ● 合計で20⼈以上の⼈が実験に参加し、トレーニング開始から10⽇間で147⽇以上の計算⽇数を提供 ● 今後は、より広範な愛好家コミュニティを対象とした⼤規模なモデルのトレーニングも計画

Slide 19

Slide 19 text

19 Confidential © TDAI Lab All right reserved. トレンド1. アーキテクチャの改善計算の効率化・Self-Attentionを⽤いないアーキテクチャ開発 ● Googleの「Switch Transformer」や「GLaM」は⼀度学習させたパラメータの⼀部を使って予測を⾏し、計算資源を節約する ● Luna: Linear Unified Nested Attention [Ma et al. NeurIPS 2021] ○ 計算オーダーを時系列に対して線形に ● MLP-Mixer: An all-MLP Architecture for Vision [Tolstikhin et al. NeurIPS 2021] ○ GoogleのViTチーム、画像にフォーカス ● gMLP: Pay Attention to MLPs [Liu et al. NeurIPS 2021] ○ Googleの別チーム、NLPにフォーカス

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] ● Promptingとして画像と⾃然⾔語を組み合わせる。 ● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

Slide 22

Slide 22 text

22 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] ● Promptingとして画像と⾃然⾔語を組み合わせる。 ● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

Slide 23

Slide 23 text

23 Confidential © TDAI Lab All right reserved. 背景知識︓⾃⼰教師あり学習 ● データセットの量が重要性を増す中、ラベル付きデータセットには限界がある ● そこでラベルなしデータセットから⼈間が擬似的なタスク(pretext task)を設定し学習 BERT [Devlin et al. NAACL 2019] SimCLR [Chen et al. ICML 2020]

Slide 24

Slide 24 text

24 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル巨⼤⾔語モデルで⾏われていた⾃⼰教師あり学習をマルチモーダルなデータについて⾏う研究が増加 ● OpenAIによるCLIP[Radford et al., 2021]などの登場により、テキストと画像の類似度が測れるだけでなく、画像からテキストの⽣成によるZero-shot Learningも可能に ● MetaによるData2vec [Baevski et al. 2022]は⾔語・⾳声・画像を同じ枠組みで学習させられる⾃⼰教師あり学習⼿法 CLIP: Connecting Text and Images [Radford et al., 2021] Data2vec: The first high-performance self-supervised algorithm that works for speech, vision, and text (Baevski et

Slide 25

Slide 25 text

25 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル VATT: Transformers for Multimodal Self-Supervised s from Raw Video, Audio and Text [Akabari et al. NeurIPS 2021] ● 三種類のモダリティを持つデータに対する⾃⼰教師あり学習⼿法の提案 ● Video Action Recognitionなどに応⽤

Slide 26

Slide 26 text

26 Confidential © TDAI Lab All right reserved. トレンド3. Temporal Adaption Mind the Gap: Assessing Temporal Generalization in Neural Language Models [Lazaridou et al. NeurIPS 2021] ● テストデータが新しくなるにつれて性能が低下 ● adaptiveな⾔語モデルの開発が必要であることを提⾔

Slide 27

Slide 27 text

Slide 28

Slide 28 text

28 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation ● Masked Language Modeling(MLM)などを⾏う際、コーパスの中から該当箇所を抽出するRetrieverを同時に学習 ● 抽出した参照⽂章と⼊⼒⽂を組み合わせてMLMを⾏う ● メリット ○ 解釈性が⾼い ○ パラメータ効率がいい REALM: Retrieval-Augmented Language Model Pre-Training(Guu et al. ICML 2020)

Slide 29

Slide 29 text

29 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [Sachan NeurIPS 2021] ● マルチドキュメントOpenQAモデルをReaderとRetrieverを⽤いてEnd-to-Endで学習するための新しい学習アルゴリズムを提案 OpenQAの例 End-to-End Training of Neural Retrievers for Open-Domain Question Answering[Sachan et al. 2021 ACL]

Slide 30

Slide 30 text

30 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation その他最近の事例 ● PCL-Baidu Wenxinは、GPT-3スタイルのモデルとナレッジグラフを組み合わす ● DeepMindのRETROは、わずか70億個のパラメータを持つ⾔語モデルでRetrieverと組み合わし25倍のサイズの他のモデルと同等のパフォーマンス ● OpenAIのWebGPTは参照コーパスを動的にインターネットから検索して抽出

Slide 31

Slide 31 text

31 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation 効率的に早くベクトルの近傍探索ができることは検索やRetrievalにおいて必要不可⽋ ● NeurIPS 2021におけるCompetition ● Billion-Scale Approximate Nearest Neighbor Search Challenge (ANNS) ● 10億の参照データ参考:SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search [Chen et al. NeurIPS 2021] https://ichi.pro/neurips-2021-no-happyo-10-oku-kibo-no-sai-kinbo-tansaku-charenji-125917963128681

Slide 32

Slide 32 text

32 Confidential © TDAI Lab All right reserved. 前半部分のまとめ現在のAI研究の潮流1から考えるトレンド【問題点1】学習に⼤量の教師データや計算資源が必要 → アーキテクチャ⾃体の改善(トレンド1) → Retrieval Augmentation(トレンド4) 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない → Multi Modal Model(トレンド2) → Temporal Adaptation(トレンド3) → Retrieval Augmentation(トレンド4) 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない → Multi Modal Model(トレンド2) まだ発展途中だが着実に進歩している印象

Slide 33

Slide 33 text

33 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5: ベンチマークの⾒直し ○ トレンド6: データセットの⾒直し ○ トレンド7: Human-Centered AI, MLOps

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

37 Confidential © TDAI Lab All right reserved. (再掲) 背景知識︓加速するモデルの巨⼤化アメリカ ● GPT-3(OpenAI):1750億 ● Jurassic-1 (AI21):1780億 ● Gopher(DeepMind):2800億 ● Megatron-Turing(Microsoft・ NVIDIA):5300億 ● GLaM(Google):1.2兆 ● Switch -Transformers: 1.6兆中国 ● PanGu(Huawei):2000億 ● Yuan 1.0(Inspur):2450億 ● PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 ● Wu Dao 2.0(北京智源⼈⼯知能研究院):1.75兆韓国 ● HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

Slide 38

Slide 38 text

38 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し ● 2021年は多数のベンチマークの記録をまとめて⼤幅に更新する⾔語モデルは登場しなかった ● モデルの進歩が⽌まったのではなく、既存のデータセットではモデルの評価が追いついていない可能性 ● 2021年はどうモデルを評価すればいいのかについて議論が深まった年 ● 機械翻訳分野におけるメタ評価によると、過去10年間に発表された769本ののうち、74.3%がBLEUのみを使⽤ Dynabench: Rethinking Benchmarking in NLP [Kiela et al. 2021 ACL] Human Performance Scientific Credibility of Machine Translation Research: A Meta- Evaluation of 769 Papers[Marie et al. 2021 ACL]

Slide 39

Slide 39 text

39 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し ● MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers[Pillutla Neurips 2021] ● Outstanding Paper6本のうちの⼀つ ● KL距離に基づいてテキスト分布間のギャップを計算する新しい指標MAUVEを提案 ● MAUVEは⼈間による評価との相関が⾼い

Slide 40

Slide 40 text

40 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し既存は転移学習の種類が少ない既存は現実世界のデータセットでの検証が不⾜既存は簡易的な報告 ● FLEX: Unifying Evaluation for Few-Shot NLP [Bragg NeurIPS 2021] ● Few-shot学習に関する評価⽤のベンチマーク/ツールを開発 ● ベースラインなどと共にOSSで公開

Slide 41

Slide 41 text

41 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し ● アルゴリズムを改善するだけではより優れたモデルを作ることができない問題 ● NeurIPS 2021では、Datasets and Benchmarksという新しいトラックを導⼊ ● Andrew Ng⽒が提案したData Centric AIのコンテストが象徴的 ● モデルではなくデータをチューニングすることで精度を競う https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps- From-Model-centric-to-Data-centric-AI.pdf

Slide 42

Slide 42 text

42 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し ● Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research [NeurIPS 2021 Outstanding Paper] ● Machine Learning Research(MLR)で⽤いられるデータセットが徐々に極化している ● 12の機関によるデータセットで全体の50%を占める

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Confidential © TDAI Lab All right reserved. 45 Confidential © TDAI Lab All right reserved. 45 【問題点1】AIのブラックボックス問題（説明責任） ● Neural Additive Models: Interpretable Machine Learning with Neural Nets [Agarwal et al. NeurIPS 2021] ● 共著にHiton先⽣ ● 線形にDNNを組み合わすことで解釈性を⾼めた研究

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Confidential © TDAI Lab All right reserved. 49 Confidential © TDAI Lab All right reserved. 49 【問題点3】AIの脆弱性問題（堅牢性） https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap er.pdf

Slide 50

Slide 50 text

50 Confidential © TDAI Lab All right reserved. 【問題点3】AIの脆弱性問題（堅牢性） ● Unadversarial Examples: Designing Objects for Robust Vision(NeurIPS 2021) ● 外乱に対して強いスキンをAdversarial Attackと逆の要領で⽣成 ● 今後社会応⽤が進む際、⾞などにスキンとして導⼊される可能性も ● https://www.youtube.com/watch?v=saF-_SKGlKY

Slide 51

Slide 51 text

51 Confidential © TDAI Lab All right reserved. ここまでのまとめ ● 2021年は着実な進歩を遂げた年であった ○ トレンド1. アーキテクチャの改善 ○ トレンド2. マルチモーダルな巨⼤事前学習モデル ○ トレンド3. Temporal Adaption ○ トレンド4. Retrieval Augmented ● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ○ トレンド5. ベンチマークの⾒直し ○ トレンド6. データセットの⾒直し

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

56 Confidential © TDAI Lab All right reserved. Human Centered AIにおける⼆次元的捉え⽅ ● HCAIでは、⼈間のコントロール度と機械の⾃動化を別の軸として扱う ● 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

61 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 62

Slide 62 text

Slide 63

Slide 63 text

63 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

70 Confidential © TDAI Lab All right reserved. 本講演まとめ 70 ● 2021年は着実な進歩を遂げた年であった ○ トレンド1. アーキテクチャの改善 ○ トレンド2. マルチモーダルな巨⼤事前学習モデル ○ トレンド3. Temporal Adaption ○ トレンド4. Retrieval Augmented ● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ○ トレンド5. ベンチマークの⾒直し ○ トレンド6. データセットの⾒直し ● しかし信頼できるAIを作った上でもそれらをどう育てていくかという点についてMLOps・Human-Centered AIの観点をAIシステム構築者・利⽤者は持たなければならない https://www.nytimes.com/2020/05/21/technol ogy/ben-shneiderman-automation-humans.html

Slide 71

Slide 71 text

Slide 72

Slide 72 text

72 Confidential © TDAI Lab All right reserved. 72 Company Mission 大量のデータと最新のアルゴリズムの掛け合わせにより《今まで人間には分からなかったこと、データに眠る隠れた価値の発見》を行う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence