日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

1
Confidential © TDAI Lab All right reserved.
NeurIPS 2021 技術報告会
⽇本ディープラーニング協会主催
2021年2⽉4⽇
株式会社TDAI Lab
モデルの巨⼤化から考える2022年のAI研究トレンド

View Slide

2
自己紹介
経歴
2016年株式会社TDAI Lab創業 (代表取締役社⻑)
2018年東京⼤学⼤学院⼯学系研究科修⼠課程修了
2021年東京⼤学⼤学院⼯学系研究科博⼠課程修了
興味領域
Fairness, Unbiased Learning to Rank, Recommendation
特技︓競技ダンス
2014年東京⼤学総⻑賞受賞
2015年全⽇本学⽣競技ダンス選⼿権優勝
2020年芸能⼈格付けチェック出演
2022年全⽇本ランキング6位
~2022年全⽇本準強化指定選⼿
著書
「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」
福⾺智⽣
Tomoki Fukuma
@fukuma_tomoki

View Slide

3
本資料の⽬的・留意事項
【想定聴講者】
1. 近年のAI研究トレンドのざっくりした傾向を掴みたい⽅
2. 機械学習・深層学習にある程度の予備知識がある⽅
3. 当カンファレンスについての⼀参加者の⾒解を、興味を持って聴講くださる⽅
【留意事項】
本発表資料はできる限り誤解のないように努めておりますが、著者⾃⾝の仮説や想定の誤りに
より、内容の⼀部に正確でない表現を含むことがあるかもしれない点、ご容赦ください。

View Slide

4
NeurIPS統計情報
● 1987年から35回⽬の開催
● オンライン開催
○ 12/6~7 (チュートリアル)
○ 12/7~11 (本会議)
○ 12/13~15 (ワークショップ)
● 9122 submissions
● 2344 accepted (26% acceptance)

View Slide

5
現在のAI研究をリードしているのは誰か︖
● 企業 Top7
○ Google (188)
○ Microsoft(118)
○ Facebook(86)
○ Deepmind(82)
○ IBM(56)
○ Huawei(42)
○ Amazon(40)
● 学術機関 Top7
○ Stanford University(143)
○ MIT(139)
○ Carnegie Mellon University(120)
○ University of California,
Berkeley(119)
○ Tsinghua university(108)
○ Oxford(87)
○ Peking university(71)

View Slide

6
現在のAI研究をリードしているのは誰か︖

View Slide

7
本⽇の発表の流れ
● 現在のAI研究開発の⼤きな潮流1
● これからのAI研究のトレンド1
○ トレンド1︓アーキテクチャの改善
○ トレンド2︓マルチモーダルモデル
○ トレンド3︓Temporal Adaptation
○ トレンド4︓Retrieval Augmentation
○ トレンド5 ~ 7

View Slide

8
AI研究開発の潮流

View Slide

9
【潮流1】今のAI研究者は何を⽬指して研究している︖
【問題点1】学習に⼤量の教師データや計算資源が必要
【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない
【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない
⼈⼯知能学会セミナー講演資料︓
「IJCAI2021から読み解く第4世代AIの研究開発」

View Slide

10
OpenAI：Dota2で世界チャンピオンに勝てる
ようになるまでに、45,000年分学習
Allen AI研究所：「アリスト」は、8年生レベル(日本の中２)
の多肢選択式の科学問題に答えるために、300ギガバイト
の科学論文と知識グラフを利用
OpenAI : Transformerの性能には、計算時間・データサイズ・パ
ラメータ数のべき乗則に支配される
GPT3は学習にシングルGPUで355年間(推定コスト
12millionドル)、学習データに45TBのテキスト

View Slide

11

View Slide

12
https://www.forbes.com/sites/robtoews/2020/07/19/gpt-3-is-amazingand-
overhyped/?sh=338645581b1c

View Slide

13
○ トレンド1︓アーキテクチャの改善
○ トレンド2︓マルチモーダルモデル
○ トレンド3︓Temporal Adaptation
○ トレンド4︓Retrieval Augmentation
○ トレンド5 ~ 7

View Slide

14
背景知識︓⾔語モデル
https://lena-voita.github.io/nlp_course/language_modeling.html
GPT2 Text Generation Demo
予測変換

View Slide

15
背景知識︓加速するモデルの巨⼤化
アメリカ
● GPT-3(OpenAI):1750億
● Jurassic-1 (AI21):1780億
● Gopher(DeepMind):2800億
● Megatron-Turing(Microsoft・
NVIDIA):5300億
● GLaM(Google):1.2兆
● Switch -Transformers: 1.6兆
中国
● PanGu(Huawei):2000億
● Yuan 1.0(Inspur):2450億
● PCL-BAIDU Wenxin(Peng Chang
Laboratory):2800億
● Wu Dao 2.0(北京智源⼈⼯知能研究
院):1.75兆
韓国
● HyperCLOVA(NAVER):2040億
GLaM
(1200billion)
・
Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs
Largest and Most Powerful Generative Language Model
に登壇者が追記

View Slide

16
注⽬の応⽤技術︓Codex
https://openai.com/blog/openai-codex/

View Slide

17
背景︓モデルは100兆パラメータ時代へ
● ⼤規模な⾔語モデルは、企業の技術⼒を⽰す威信あるプロジェクト化
● スケールアップすれば良い結果が得られるというデモンストレーションを繰り返す(だけ)
● ⼀つのマイルストーンとして、⼈間の脳の100+兆のシナプス
● 現に推薦モデルなどでは100兆のパラメータを持つモデルも存在
Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion
Parameters

View Slide

18
NeurIPSで⾏われていた⾯⽩い試み
https://training-transformers-
together.github.io/
● Yandex Research、Hugging Face、HSE
University、University of Washingtonが共同で
主宰したデモ
● NeurIPS 2021の参加者について、オープンソー
ス版のDALL-Eを分散学習 (参加者は、⾃分のPC
や無料のクラウドインスタンスから参加)
● 合計で20⼈以上の⼈が実験に参加し、トレーニ
ング開始から10⽇間で147⽇以上の計算⽇数を提
供
● 今後は、より広範な愛好家コミュニティを対象と
した⼤規模なモデルのトレーニングも計画

View Slide

19
トレンド1. アーキテクチャの改善
計算の効率化・Self-Attentionを⽤いないアーキテクチャ開発
● Googleの「Switch Transformer」や「GLaM」は⼀度学習させたパラメータの⼀
部を使って予測を⾏し、計算資源を節約する
● Luna: Linear Unified Nested Attention [Ma et al. NeurIPS 2021]
○ 計算オーダーを時系列に対して線形に
● MLP-Mixer: An all-MLP Architecture for Vision [Tolstikhin et al. NeurIPS
2021]
○ GoogleのViTチーム、画像にフォーカス
● gMLP: Pay Attention to MLPs [Liu et al. NeurIPS 2021]
○ Googleの別チーム、NLPにフォーカス

View Slide

20
背景知識︓Prompting
● 通常のファインチューニングと異なり、モデルの
パラメータを⼀切変化させず、Few-shot学習が可
能になる
● 具体例を⾃然⽂の⼊⼒とし、モデル内の”知識”の
取り出し⽅を教える
● 翻訳や⽂書分類など様々なタスクに応⽤可能

View Slide

21
トレンド2. マルチモーダル
Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS
2021]
● Promptingとして画像と⾃然⾔語を組み合わせる。
● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

View Slide

22
Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS
2021]
● Promptingとして画像と⾃然⾔語を組み合わせる。
● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

View Slide

23
背景知識︓⾃⼰教師あり学習
● データセットの量が重要性を増す中、ラベル付きデータセットには限界がある
● そこでラベルなしデータセットから⼈間が擬似的なタスク(pretext task)を設定し学習
BERT [Devlin et al. NAACL 2019]
SimCLR [Chen et al. ICML 2020]

View Slide

24
巨⼤⾔語モデルで⾏われていた⾃⼰教師あり学習をマルチモーダルなデータについて⾏う研究が増加
● OpenAIによるCLIP[Radford et al., 2021]などの登場により、テキストと画像の類似度が測れ
るだけでなく、画像からテキストの⽣成によるZero-shot Learningも可能に
● MetaによるData2vec [Baevski et al. 2022]は⾔語・⾳声・画像を同じ枠組みで学習させられ
る⾃⼰教師あり学習⼿法
CLIP: Connecting Text and Images [Radford et al.,
2021]
Data2vec: The first high-performance self-supervised
algorithm that works for speech, vision, and text (Baevski et

View Slide

25
VATT: Transformers for Multimodal Self-Supervised s from Raw Video,
Audio and Text [Akabari et al. NeurIPS 2021]
● 三種類のモダリティを持つデータに対する⾃⼰教師あり学習⼿法の提案
● Video Action Recognitionなどに応⽤

View Slide

26
トレンド3. Temporal Adaption
Mind the Gap: Assessing Temporal Generalization in Neural Language
Models [Lazaridou et al. NeurIPS 2021]
● テストデータが新しくなるにつれて性能が低下
● adaptiveな⾔語モデルの開発が必要であることを提⾔

View Slide

27
トレンド3. Temporal Adaption
Time-Aware Language Models as Temporal Knowledge Bases [Dhingra et
al.2021]
● タイムスタンプを同時に⾔語モデルの⼊⼒に⽤いることを提案

View Slide

28
トレンド4. Retrieval Augmentation
● Masked Language Modeling(MLM)などを⾏う際、コーパスの中から
該当箇所を抽出するRetrieverを同時に学習
● 抽出した参照⽂章と⼊⼒⽂を組み合わせてMLMを⾏う
● メリット
○ 解釈性が⾼い
○ パラメータ効率がいい
REALM: Retrieval-Augmented Language
Model Pre-Training(Guu et al. ICML 2020)

View Slide

29
End-to-End Training of Multi-Document Reader and Retriever for Open-Domain
Question Answering [Sachan NeurIPS 2021]
● マルチドキュメントOpenQAモデルをReaderとRetrieverを⽤いてEnd-to-Endで学
習するための新しい学習アルゴリズムを提案
OpenQAの例
End-to-End Training of Neural Retrievers for
Open-Domain Question Answering[Sachan et al. 2021 ACL]

View Slide

30
その他最近の事例
● PCL-Baidu Wenxinは、GPT-3スタイルのモデルとナレッジグラフを組み合わす
● DeepMindのRETROは、わずか70億個のパラメータを持つ⾔語モデルでRetrieverと組
み合わし25倍のサイズの他のモデルと同等のパフォーマンス
● OpenAIのWebGPTは参照コーパスを動的にインターネットから検索して抽出

View Slide

31
効率的に早くベクトルの近傍探索ができることは検索やRetrievalにおいて必要不可⽋
● NeurIPS 2021におけるCompetition
● Billion-Scale Approximate Nearest Neighbor Search Challenge (ANNS)
● 10億の参照データ
参考:SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search
[Chen et al. NeurIPS 2021]
https://ichi.pro/neurips-2021-no-happyo-10-oku-kibo-no-sai-kinbo-tansaku-charenji-125917963128681

View Slide

32
前半部分のまとめ
現在のAI研究の潮流1から考えるトレンド
→ アーキテクチャ⾃体の改善(トレンド1)
→ Retrieval Augmentation(トレンド4)
→ Multi Modal Model(トレンド2)
→ Temporal Adaptation(トレンド3)
→ Retrieval Augmentation(トレンド4)
→ Multi Modal Model(トレンド2)
まだ発展途中だが着実に進歩している印象

View Slide

33
○ トレンド5: ベンチマークの⾒直し
○ トレンド6: データセットの⾒直し
○ トレンド7: Human-Centered AI, MLOps

View Slide

34
AI研究開発の課題意識

View Slide

35
【問題点1】AIのブラックボックス問題（説明責任）
【問題点2】AIのバイアス問題（公平性）
【問題点3】AIの脆弱性問題（堅牢性）
【問題点4】AIの品質保証問題（透明性）
【問題点5】AIによるフェイク問題
社会応⽤を進める上での信頼されるAIの構築

View Slide

36
【問題点4】AIの品質保証問題（透明性）
【問題点5】AIによるフェイク問題
社会応⽤を進める上での信頼されるAIの構築

View Slide

37
(再掲) 背景知識︓加速するモデルの巨⼤化
アメリカ
● GPT-3(OpenAI):1750億
● Jurassic-1 (AI21):1780億
● Gopher(DeepMind):2800億
● Megatron-Turing(Microsoft・
NVIDIA):5300億
● GLaM(Google):1.2兆
● Switch -Transformers: 1.6兆
中国
● PanGu(Huawei):2000億
● Yuan 1.0(Inspur):2450億
● PCL-BAIDU Wenxin(Peng Chang
Laboratory):2800億
● Wu Dao 2.0(北京智源⼈⼯知能研究
院):1.75兆
韓国
● HyperCLOVA(NAVER):2040億
GLaM
(1200billion)
・
Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs
Largest and Most Powerful Generative Language Model
に登壇者が追記

View Slide

38
トレンド5. ベンチマークの⾒直し
● 2021年は多数のベンチマークの記録をまとめて⼤幅
に更新する⾔語モデルは登場しなかった
● モデルの進歩が⽌まったのではなく、既存のデータ
セットではモデルの評価が追いついていない可能性
● 2021年はどうモデルを評価すればいいのかについて
議論が深まった年
● 機械翻訳分野におけるメタ評価によると、過去10年
間に発表された769本ののうち、74.3%がBLEUのみ
を使⽤
Dynabench: Rethinking Benchmarking in NLP [Kiela et
al. 2021 ACL]
Human
Performance
Scientific Credibility of Machine Translation Research: A Meta-
Evaluation of 769 Papers[Marie et al. 2021 ACL]

View Slide

39
● MAUVE: Measuring the Gap Between Neural Text and Human Text using
Divergence Frontiers[Pillutla Neurips 2021]
● Outstanding Paper6本のうちの⼀つ
● KL距離に基づいてテキスト分布間のギャップを計算する新しい指標MAUVEを提案
● MAUVEは⼈間による評価との相関が⾼い

View Slide

40
既存は転移学習の種類が少ない
既存は現実世界のデータセットでの検証が不⾜
既存は簡易的な報告
● FLEX: Unifying Evaluation for Few-Shot NLP [Bragg NeurIPS 2021]
● Few-shot学習に関する評価⽤のベンチマーク/ツールを開発
● ベースラインなどと共にOSSで公開

View Slide

41
トレンド6. データセットの⾒直し
● アルゴリズムを改善するだけではより優れたモデルを作ることができない問題
● NeurIPS 2021では、Datasets and Benchmarksという新しいトラックを導⼊
● Andrew Ng⽒が提案したData Centric AIのコンテストが象徴的
● モデルではなくデータをチューニングすることで精度を競う
https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps-
From-Model-centric-to-Data-centric-AI.pdf

View Slide

42
● Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning
Research [NeurIPS 2021 Outstanding Paper]
● Machine Learning Research(MLR)で⽤いられるデータセットが徐々に極化している
● 12の機関によるデータセットで全体の50%を占める

View Slide

43
● モデルの良さを図る⽅法は研究されているが、
データの良さを定量的に図る⽅法については未開拓
● 個⼈的今後の予測
○ ⾷品表⽰にようなデータの成分表⽰に関するラ
ベルが作られる研究が出てくると予測
○ どのような栄養を持っていて、どのような害が
あるのかなど定量的に表現

View Slide

Confidential © TDAI Lab All right reserved. 44
https://towardsdatascience.com/explainable-artificial-intelligence-
14944563cc79

View Slide

● Neural Additive Models: Interpretable Machine Learning with Neural Nets
[Agarwal et al. NeurIPS 2021]
● 共著にHiton先⽣
● 線形にDNNを組み合わすことで解釈性を⾼めた研究

View Slide


View Slide

https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap
er.pdf

View Slide

50
● Unadversarial Examples: Designing Objects for Robust Vision(NeurIPS 2021)
● 外乱に対して強いスキンをAdversarial Attackと逆の要領で⽣成
● 今後社会応⽤が進む際、⾞などにスキンとして導⼊される可能性も
● https://www.youtube.com/watch?v=saF-_SKGlKY

View Slide

51
ここまでのまとめ
● 2021年は着実な進歩を遂げた年であった
○ トレンド1. アーキテクチャの改善
○ トレンド2. マルチモーダルな巨⼤事前学習モデル
○ トレンド3. Temporal Adaption
○ トレンド4. Retrieval Augmented
● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著
○ トレンド5. ベンチマークの⾒直し
○ トレンド6. データセットの⾒直し

View Slide

52
質問︓信頼されるAIさえ出来れば問題ないのか︖
AIにこれら信頼性を持たすだけでは「課題解決」には不⼗分
1. ⼈とAIのインタラクションをデザインすることの重要性
2. 課題解決策にAIを⽤いることの悪い側⾯をケーススタディを通じて知る重要性
(信頼性を持った) AIを使いこなす上で⼆つの重要な視点

View Slide

53
よくある勘違い︓機械化と⼈間の稼働はトレードオフ
● 「AI最終⽬標は全⾃動化である」・「徐々に⼈間のタスクを機械に代替する」
● これらスタンスの１次元的な捉え⽅に、Human-Centered AIは否定的

View Slide

54
Human Centered AIとは︖
● 代替するのではなく、⼈間の能⼒を増幅・拡張・強化・向上させる
● つまりどういうことか︖
https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf

View Slide

55
Human Centered AIとは︖
● NeurIPS2021ではHCAIに関するWorkshopも開催
● NeurIPSでHCAIに関するWorkshopが開かれたのは初めて

View Slide

56
Human Centered AIにおける⼆次元的捉え⽅
● HCAIでは、⼈間のコントロール度と機械の⾃動化を別の軸として扱う
● 右上にあるようなシステムを作ることを提唱
https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-
v2.pdf

View Slide

57
HCAIにおける⼆次元的捉え⽅具体例
v2.pdf

View Slide

58
v2.pdf

View Slide

59
どうやってそのようなAIを作る︖

View Slide

60
HCAIをどう設計するか : ガイドラインの策定

View Slide

61
Guidelines for Human-AI Interaction
● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖
● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン
● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階
● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

View Slide

62

View Slide

63
● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか
● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン
● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階
● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

View Slide

64
AIが間違えた時に関するガイドライン
G7. 呼び出しやすい︓AIシステムのサービスを、
必要な時に簡単に呼び出せるようにする
例）
● ⾳声アシスタントの起動にはシンプルに呼び
掛ければよく、いつでも⾏うことができる
● スワイプなどで推薦を再⽣成

View Slide

65
G8. すぐにAIの出⼒を無視できる仕組み
例）
● 不快なコンテンツが表⽰・レコメンドされ
た際、それをすぐに消せるようにする。
● アプリのトラッキング機能をオフにしにくい
のは良くない

View Slide

66
G9. すぐに間違いを直させることのできる仕組み
例）
● 不快なコンテンツが表⽰・レコメンドされ
た際報告し、修正できる
● ⾳声アシスタントが書き起こした指⽰をユー
ザーが確認・修正できる⾳声アシスタント⽤
のユーザーインターフェースを提供する。

View Slide

67
G10. 不確実性を考慮し、挙動に制約を
例）
● スパム判定を⾏う際、判断できる情報が明ら
かに⾜りないのに勝⼿に判断してしまうのは
良くない
● ⽂章の⾃動補完の場合、複数候補を出すなど
● ⾳声認識でノイズが酷い場合、聞き直すなど

View Slide

68
G11. なぜそのように挙動したのかを説明
● レコメンドエンジンに「推奨理由」ボタンを設
け、クリックするとシステムがその特定の製品
を推奨した理由を説明
● 推薦の根拠となるパラメータを表⽰。例えば、
⾳楽推薦では、似た曲や同じアーティストなど

View Slide

69
関連したNeurIPSでの⾯⽩い研究
● EditGAN: High-Precision Semantic Image Editing[Ling al. Neurips 2021]
● GANの⽣成画像を後から編集できるように
● AIの間違いを修正できる仕組み

View Slide

70
本講演まとめ
70
● 2021年は着実な進歩を遂げた年であった
○ トレンド1. アーキテクチャの改善
○ トレンド2. マルチモーダルな巨⼤事前学習モデル
○ トレンド3. Temporal Adaption
○ トレンド4. Retrieval Augmented
● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著
○ トレンド5. ベンチマークの⾒直し
○ トレンド6. データセットの⾒直し
● しかし信頼できるAIを作った上でもそれらをどう育てていくかという点につ
いてMLOps・Human-Centered AIの観点をAIシステム構築者・利⽤者は持
たなければならない
https://www.nytimes.com/2020/05/21/technol
ogy/ben-shneiderman-automation-humans.html

View Slide

71
Company
71

View Slide

72
Company
Mission
大量のデータと最新のアルゴリズムの掛け合わせに
より《今まで人間には分からなかったこと、データ
に眠る隠れた価値の発見》を行う
Vision
“Augment Intelligence”（拡張知能） :
The combination of HumanExpertise &
MachineLearning that goes far beyond just
individuals & AI
Empower Your Mind using Artificial Intelligence

View Slide

73
Contact Us
@fukuma_tomoki
https://tdailab.com/co
ntact
https://www.wantedly.com/c
ompanies/company_2215096
/projects

View Slide

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

株式会社TDAI Lab

More Decks by 株式会社TDAI Lab

Other Decks in Research

Featured

Transcript