Tweet
Tweet

Slide 1

Slide 1 text

1 Confidential © TDAI Lab All right reserved. NeurIPS 2021 技術報告会 ⽇本ディープラーニング協会主催 2021年2⽉4⽇ 株式会社TDAI Lab モデルの巨⼤化から考える2022年のAI研究トレンド

Slide 2

Slide 2 text

2 Confidential © TDAI Lab All right reserved. 自己紹介 経歴 2016年 株式会社TDAI Lab創業 (代表取締役社⻑) 2018年 東京⼤学⼤学院⼯学系研究科 修⼠課程修了 2021年 東京⼤学⼤学院⼯学系研究科 博⼠課程修了 興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年 東京⼤学総⻑賞受賞 2015年 全⽇本学⽣競技ダンス選⼿権 優勝 2020年 芸能⼈格付けチェック出演 2022年 全⽇本ランキング6位 ~2022年 全⽇本準強化指定選⼿ 著書 「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」 福⾺ 智⽣ Tomoki Fukuma @fukuma_tomoki

Slide 3

Slide 3 text

3 Confidential © TDAI Lab All right reserved. 本資料の⽬的・留意事項 【想定聴講者 】 1. 近年のAI研究トレンドのざっくりした傾向を掴みたい⽅ 2. 機械学習・深層学習にある程度の予備知識がある⽅ 3. 当カンファレンスについての⼀参加者の⾒解を、興味を持って聴講くださる⽅ 【 留意事項 】 本発表資料はできる限り誤解のないように努めておりますが、著者⾃⾝の仮説や想定の誤りに より、内容の⼀部に正確でない表現を含むことがあるかもしれない点、ご容赦ください。

Slide 4

Slide 4 text

4 Confidential © TDAI Lab All right reserved. NeurIPS統計情報 ● 1987年から35回⽬の開催 ● オンライン開催 ○ 12/6~7 (チュートリアル) ○ 12/7~11 (本会議) ○ 12/13~15 (ワークショップ) ● 9122 submissions ● 2344 accepted (26% acceptance)

Slide 5

Slide 5 text

5 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖ ● 企業 Top7 ○ Google (188) ○ Microsoft(118) ○ Facebook(86) ○ Deepmind(82) ○ IBM(56) ○ Huawei(42) ○ Amazon(40) ● 学術機関 Top7 ○ Stanford University(143) ○ MIT(139) ○ Carnegie Mellon University(120) ○ University of California, Berkeley(119) ○ Tsinghua university(108) ○ Oxford(87) ○ Peking university(71)

Slide 6

Slide 6 text

6 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖

Slide 7

Slide 7 text

7 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ○ トレンド1︓アーキテクチャの改善 ○ トレンド2︓マルチモーダルモデル ○ トレンド3︓Temporal Adaptation ○ トレンド4︓Retrieval Augmentation ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5 ~ 7

Slide 8

Slide 8 text

8 Confidential © TDAI Lab All right reserved. AI研究開発の潮流

Slide 9

Slide 9 text

9 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない ⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」

Slide 10

Slide 10 text

10 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要 OpenAI：Dota2で世界チャンピオンに勝てる ようになるまでに、45,000年分学習 Allen AI研究所：「アリスト」は、8年生レベル(日本の中２) の多肢選択式の科学問題に答えるために、300ギガバイト の科学論文と知識グラフを利用 OpenAI : Transformerの性能には、計算時間・データサイズ・パ ラメータ数のべき乗則に支配される GPT3は学習にシングルGPUで355年間(推定コスト 12millionドル)、学習データに45TBのテキスト

Slide 11

Slide 11 text

11 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない

Slide 12

Slide 12 text

12 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない https://www.forbes.com/sites/robtoews/2020/07/19/gpt-3-is-amazingand- overhyped/?sh=338645581b1c

Slide 13

Slide 13 text

13 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ○ トレンド1︓アーキテクチャの改善 ○ トレンド2︓マルチモーダルモデル ○ トレンド3︓Temporal Adaptation ○ トレンド4︓Retrieval Augmentation ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5 ~ 7

Slide 14

Slide 14 text

14 Confidential © TDAI Lab All right reserved. 背景知識︓⾔語モデル https://lena-voita.github.io/nlp_course/language_modeling.html GPT2 Text Generation Demo 予測変換

Slide 15

Slide 15 text

15 Confidential © TDAI Lab All right reserved. 背景知識︓加速するモデルの巨⼤化 アメリカ ● GPT-3(OpenAI):1750億 ● Jurassic-1 (AI21):1780億 ● Gopher(DeepMind):2800億 ● Megatron-Turing(Microsoft・ NVIDIA):5300億 ● GLaM(Google):1.2兆 ● Switch -Transformers: 1.6兆 中国 ● PanGu(Huawei):2000億 ● Yuan 1.0(Inspur):2450億 ● PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 ● Wu Dao 2.0(北京智源⼈⼯知能研究 院):1.75兆 韓国 ● HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

Slide 16

Slide 16 text

16 Confidential © TDAI Lab All right reserved. 注⽬の応⽤技術︓Codex https://openai.com/blog/openai-codex/

Slide 17

Slide 17 text

17 Confidential © TDAI Lab All right reserved. 背景︓モデルは100兆パラメータ時代へ ● ⼤規模な⾔語モデルは、企業の技術⼒を⽰す威信あるプロジェクト化 ● スケールアップすれば良い結果が得られるというデモンストレーションを繰り返す(だけ) ● ⼀つのマイルストーンとして、⼈間の脳の100+兆のシナプス ● 現に推薦モデルなどでは100兆のパラメータを持つモデルも存在 Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion Parameters

Slide 18

Slide 18 text

18 Confidential © TDAI Lab All right reserved. NeurIPSで⾏われていた⾯⽩い試み https://training-transformers- together.github.io/ ● Yandex Research、Hugging Face、HSE University、University of Washingtonが共同で 主宰したデモ ● NeurIPS 2021の参加者について、オープンソー ス版のDALL-Eを分散学習 (参加者は、⾃分のPC や無料のクラウドインスタンスから参加) ● 合計で20⼈以上の⼈が実験に参加し、トレーニ ング開始から10⽇間で147⽇以上の計算⽇数を提 供 ● 今後は、より広範な愛好家コミュニティを対象と した⼤規模なモデルのトレーニングも計画

Slide 19

Slide 19 text

19 Confidential © TDAI Lab All right reserved. トレンド1. アーキテクチャの改善 計算の効率化・Self-Attentionを⽤いないアーキテクチャ開発 ● Googleの「Switch Transformer」や「GLaM」は⼀度学習させたパラメータの⼀ 部を使って予測を⾏し、計算資源を節約する ● Luna: Linear Unified Nested Attention [Ma et al. NeurIPS 2021] ○ 計算オーダーを時系列に対して線形に ● MLP-Mixer: An all-MLP Architecture for Vision [Tolstikhin et al. NeurIPS 2021] ○ GoogleのViTチーム、画像にフォーカス ● gMLP: Pay Attention to MLPs [Liu et al. NeurIPS 2021] ○ Googleの別チーム、NLPにフォーカス

Slide 20

Slide 20 text

20 Confidential © TDAI Lab All right reserved. 背景知識︓Prompting ● 通常のファインチューニングと異なり、モデルの パラメータを⼀切変化させず、Few-shot学習が可 能になる ● 具体例を⾃然⽂の⼊⼒とし、モデル内の”知識”の 取り出し⽅を教える ● 翻訳や⽂書分類など様々なタスクに応⽤可能

Slide 21

Slide 21 text

21 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] ● Promptingとして画像と⾃然⾔語を組み合わせる。 ● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

Slide 22

Slide 22 text

22 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] ● Promptingとして画像と⾃然⾔語を組み合わせる。 ● 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

Slide 23

Slide 23 text

23 Confidential © TDAI Lab All right reserved. 背景知識︓⾃⼰教師あり学習 ● データセットの量が重要性を増す中、ラベル付きデータセットには限界がある ● そこでラベルなしデータセットから⼈間が擬似的なタスク(pretext task)を設定し学習 BERT [Devlin et al. NAACL 2019] SimCLR [Chen et al. ICML 2020]

Slide 24

Slide 24 text

24 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル 巨⼤⾔語モデルで⾏われていた⾃⼰教師あり学習をマルチモーダルなデータについて⾏う研究が増加 ● OpenAIによるCLIP[Radford et al., 2021]などの登場により、テキストと画像の類似度が測れ るだけでなく、画像からテキストの⽣成によるZero-shot Learningも可能に ● MetaによるData2vec [Baevski et al. 2022]は⾔語・⾳声・画像を同じ枠組みで学習させられ る⾃⼰教師あり学習⼿法 CLIP: Connecting Text and Images [Radford et al., 2021] Data2vec: The first high-performance self-supervised algorithm that works for speech, vision, and text (Baevski et

Slide 25

Slide 25 text

25 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル VATT: Transformers for Multimodal Self-Supervised s from Raw Video, Audio and Text [Akabari et al. NeurIPS 2021] ● 三種類のモダリティを持つデータに対する⾃⼰教師あり学習⼿法の提案 ● Video Action Recognitionなどに応⽤

Slide 26

Slide 26 text

26 Confidential © TDAI Lab All right reserved. トレンド3. Temporal Adaption Mind the Gap: Assessing Temporal Generalization in Neural Language Models [Lazaridou et al. NeurIPS 2021] ● テストデータが新しくなるにつれて性能が低下 ● adaptiveな⾔語モデルの開発が必要であることを提⾔

Slide 27

Slide 27 text

27 Confidential © TDAI Lab All right reserved. トレンド3. Temporal Adaption Time-Aware Language Models as Temporal Knowledge Bases [Dhingra et al.2021] ● タイムスタンプを同時に⾔語モデルの⼊⼒に⽤いることを提案

Slide 28

Slide 28 text

28 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation ● Masked Language Modeling(MLM)などを⾏う際、コーパスの中から 該当箇所を抽出するRetrieverを同時に学習 ● 抽出した参照⽂章と⼊⼒⽂を組み合わせてMLMを⾏う ● メリット ○ 解釈性が⾼い ○ パラメータ効率がいい REALM: Retrieval-Augmented Language Model Pre-Training(Guu et al. ICML 2020)

Slide 29

Slide 29 text

29 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [Sachan NeurIPS 2021] ● マルチドキュメントOpenQAモデルをReaderとRetrieverを⽤いてEnd-to-Endで学 習するための新しい学習アルゴリズムを提案 OpenQAの例 End-to-End Training of Neural Retrievers for Open-Domain Question Answering[Sachan et al. 2021 ACL]

Slide 30

Slide 30 text

30 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation その他最近の事例 ● PCL-Baidu Wenxinは、GPT-3スタイルのモデルとナレッジグラフを組み合わす ● DeepMindのRETROは、わずか70億個のパラメータを持つ⾔語モデルでRetrieverと組 み合わし25倍のサイズの他のモデルと同等のパフォーマンス ● OpenAIのWebGPTは参照コーパスを動的にインターネットから検索して抽出

Slide 31

Slide 31 text

31 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval Augmentation 効率的に早くベクトルの近傍探索ができることは検索やRetrievalにおいて必要不可⽋ ● NeurIPS 2021におけるCompetition ● Billion-Scale Approximate Nearest Neighbor Search Challenge (ANNS) ● 10億の参照データ 参考:SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search [Chen et al. NeurIPS 2021] https://ichi.pro/neurips-2021-no-happyo-10-oku-kibo-no-sai-kinbo-tansaku-charenji-125917963128681

Slide 32

Slide 32 text

32 Confidential © TDAI Lab All right reserved. 前半部分のまとめ 現在のAI研究の潮流1から考えるトレンド 【問題点1】学習に⼤量の教師データや計算資源が必要 → アーキテクチャ⾃体の改善(トレンド1) → Retrieval Augmentation(トレンド4) 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない → Multi Modal Model(トレンド2) → Temporal Adaptation(トレンド3) → Retrieval Augmentation(トレンド4) 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない → Multi Modal Model(トレンド2) まだ発展途中だが着実に進歩している印象

Slide 33

Slide 33 text

33 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ ● 現在のAI研究開発の⼤きな潮流1 ● これからのAI研究のトレンド1 ● 現在のAI研究開発の⼤きな潮流2 ● これからのAI研究のトレンド2 ○ トレンド5: ベンチマークの⾒直し ○ トレンド6: データセットの⾒直し ○ トレンド7: Human-Centered AI, MLOps

Slide 34

Slide 34 text

34 Confidential © TDAI Lab All right reserved. AI研究開発の課題意識

Slide 35

Slide 35 text

35 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題（説明責任） 【問題点2】AIのバイアス問題（公平性） 【問題点3】AIの脆弱性問題（堅牢性） 【問題点4】AIの品質保証問題（透明性） 【問題点5】AIによるフェイク問題 社会応⽤を進める上での信頼されるAIの構築

Slide 36

Slide 36 text

36 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題（説明責任） 【問題点2】AIのバイアス問題（公平性） 【問題点3】AIの脆弱性問題（堅牢性） 【問題点4】AIの品質保証問題（透明性） 【問題点5】AIによるフェイク問題 社会応⽤を進める上での信頼されるAIの構築

Slide 37

Slide 37 text

37 Confidential © TDAI Lab All right reserved. (再掲) 背景知識︓加速するモデルの巨⼤化 アメリカ ● GPT-3(OpenAI):1750億 ● Jurassic-1 (AI21):1780億 ● Gopher(DeepMind):2800億 ● Megatron-Turing(Microsoft・ NVIDIA):5300億 ● GLaM(Google):1.2兆 ● Switch -Transformers: 1.6兆 中国 ● PanGu(Huawei):2000億 ● Yuan 1.0(Inspur):2450億 ● PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 ● Wu Dao 2.0(北京智源⼈⼯知能研究 院):1.75兆 韓国 ● HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

Slide 38

Slide 38 text

38 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し ● 2021年は多数のベンチマークの記録をまとめて⼤幅 に更新する⾔語モデルは登場しなかった ● モデルの進歩が⽌まったのではなく、既存のデータ セットではモデルの評価が追いついていない可能性 ● 2021年はどうモデルを評価すればいいのかについて 議論が深まった年 ● 機械翻訳分野におけるメタ評価によると、過去10年 間に発表された769本ののうち、74.3%がBLEUのみ を使⽤ Dynabench: Rethinking Benchmarking in NLP [Kiela et al. 2021 ACL] Human Performance Scientific Credibility of Machine Translation Research: A Meta- Evaluation of 769 Papers[Marie et al. 2021 ACL]

Slide 39

Slide 39 text

39 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し ● MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers[Pillutla Neurips 2021] ● Outstanding Paper6本のうちの⼀つ ● KL距離に基づいてテキスト分布間のギャップを計算する新しい指標MAUVEを提案 ● MAUVEは⼈間による評価との相関が⾼い

Slide 40

Slide 40 text

40 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し 既存は転移学習の種類が少ない 既存は現実世界のデータセットでの検証が不⾜ 既存は簡易的な報告 ● FLEX: Unifying Evaluation for Few-Shot NLP [Bragg NeurIPS 2021] ● Few-shot学習に関する評価⽤のベンチマーク/ツールを開発 ● ベースラインなどと共にOSSで公開

Slide 41

Slide 41 text

41 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し ● アルゴリズムを改善するだけではより優れたモデルを作ることができない問題 ● NeurIPS 2021では、Datasets and Benchmarksという新しいトラックを導⼊ ● Andrew Ng⽒が提案したData Centric AIのコンテストが象徴的 ● モデルではなくデータをチューニングすることで精度を競う https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps- From-Model-centric-to-Data-centric-AI.pdf

Slide 42

Slide 42 text

42 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し ● Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research [NeurIPS 2021 Outstanding Paper] ● Machine Learning Research(MLR)で⽤いられるデータセットが徐々に極化している ● 12の機関によるデータセットで全体の50%を占める

Slide 43

Slide 43 text

43 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し ● モデルの良さを図る⽅法は研究されているが、 データの良さを定量的に図る⽅法については未開拓 ● 個⼈的今後の予測 ○ ⾷品表⽰にようなデータの成分表⽰に関するラ ベルが作られる研究が出てくると予測 ○ どのような栄養を持っていて、どのような害が あるのかなど定量的に表現

Slide 44

Slide 44 text

Confidential © TDAI Lab All right reserved. 44 Confidential © TDAI Lab All right reserved. 44 【問題点1】AIのブラックボックス問題（説明責任） https://towardsdatascience.com/explainable-artificial-intelligence- 14944563cc79

Slide 45

Slide 45 text

Confidential © TDAI Lab All right reserved. 45 Confidential © TDAI Lab All right reserved. 45 【問題点1】AIのブラックボックス問題（説明責任） ● Neural Additive Models: Interpretable Machine Learning with Neural Nets [Agarwal et al. NeurIPS 2021] ● 共著にHiton先⽣ ● 線形にDNNを組み合わすことで解釈性を⾼めた研究

Slide 46

Slide 46 text

Confidential © TDAI Lab All right reserved. 46 Confidential © TDAI Lab All right reserved. 46 【問題点2】AIのバイアス問題（公平性）

Slide 47

Slide 47 text

Confidential © TDAI Lab All right reserved. 47 Confidential © TDAI Lab All right reserved. 47 【問題点2】AIのバイアス問題（公平性）

Slide 48

Slide 48 text

Confidential © TDAI Lab All right reserved. 48 Confidential © TDAI Lab All right reserved. 48 【問題点3】AIの脆弱性問題（堅牢性）

Slide 49

Slide 49 text

Confidential © TDAI Lab All right reserved. 49 Confidential © TDAI Lab All right reserved. 49 【問題点3】AIの脆弱性問題（堅牢性） https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap er.pdf

Slide 50

Slide 50 text

50 Confidential © TDAI Lab All right reserved. 【問題点3】AIの脆弱性問題（堅牢性） ● Unadversarial Examples: Designing Objects for Robust Vision(NeurIPS 2021) ● 外乱に対して強いスキンをAdversarial Attackと逆の要領で⽣成 ● 今後社会応⽤が進む際、⾞などにスキンとして導⼊される可能性も ● https://www.youtube.com/watch?v=saF-_SKGlKY

Slide 51

Slide 51 text

51 Confidential © TDAI Lab All right reserved. ここまでのまとめ ● 2021年は着実な進歩を遂げた年であった ○ トレンド1. アーキテクチャの改善 ○ トレンド2. マルチモーダルな巨⼤事前学習モデル ○ トレンド3. Temporal Adaption ○ トレンド4. Retrieval Augmented ● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ○ トレンド5. ベンチマークの⾒直し ○ トレンド6. データセットの⾒直し

Slide 52

Slide 52 text

52 Confidential © TDAI Lab All right reserved. 質問︓信頼されるAIさえ出来れば問題ないのか︖ AIにこれら信頼性を持たすだけでは「課題解決」には不⼗分 1. ⼈とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを⽤いることの悪い側⾯をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で⼆つの重要な視点

Slide 53

Slide 53 text

53 Confidential © TDAI Lab All right reserved. よくある勘違い︓機械化と⼈間の稼働はトレードオフ ● 「AI最終⽬標は全⾃動化である」・「徐々に⼈間のタスクを機械に代替する」 ● これらスタンスの１次元的な捉え⽅に、Human-Centered AIは否定的

Slide 54

Slide 54 text

54 Confidential © TDAI Lab All right reserved. Human Centered AIとは︖ ● 代替するのではなく、⼈間の能⼒を増幅・拡張・強化・向上させる ● つまりどういうことか︖ https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf

Slide 55

Slide 55 text

55 Confidential © TDAI Lab All right reserved. Human Centered AIとは︖ ● NeurIPS2021ではHCAIに関するWorkshopも開催 ● NeurIPSでHCAIに関するWorkshopが開かれたのは初めて

Slide 56

Slide 56 text

56 Confidential © TDAI Lab All right reserved. Human Centered AIにおける⼆次元的捉え⽅ ● HCAIでは、⼈間のコントロール度と機械の⾃動化を別の軸として扱う ● 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf

Slide 57

Slide 57 text

57 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf

Slide 58

Slide 58 text

58 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf

Slide 59

Slide 59 text

59 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 どうやってそのようなAIを作る︖

Slide 60

Slide 60 text

60 Confidential © TDAI Lab All right reserved. HCAIをどう設計するか : ガイドラインの策定

Slide 61

Slide 61 text

61 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 62

Slide 62 text

62 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction

Slide 63

Slide 63 text

63 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 64

Slide 64 text

64 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G7. 呼び出しやすい︓AIシステムのサービスを、 必要な時に簡単に呼び出せるようにする 例） ● ⾳声アシスタントの起動にはシンプルに呼び 掛ければよく、いつでも⾏うことができる ● スワイプなどで推薦を再⽣成

Slide 65

Slide 65 text

65 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G8. すぐにAIの出⼒を無視できる仕組み 例） ● 不快なコンテンツが表⽰・レコメンド され た際、それをすぐに消せるようにする。 ● アプリのトラッキング機能をオフにしにくい のは良くない

Slide 66

Slide 66 text

66 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G9. すぐに間違いを直させることのできる仕組み 例） ● 不快なコンテンツが表⽰・レコメンド され た際報告し、修正できる ● ⾳声アシスタントが書き起こした指⽰をユー ザーが確認・修正できる⾳声アシスタント⽤ のユーザーインターフェースを提供する。

Slide 67

Slide 67 text

67 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G10. 不確実性を考慮し、挙動に制約を 例） ● スパム判定を⾏う際、判断できる情報が明ら かに⾜りないのに勝⼿に判断してしまうのは 良くない ● ⽂章の⾃動補完の場合、複数候補を出すなど ● ⾳声認識でノイズが酷い場合、聞き直すなど

Slide 68

Slide 68 text

68 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G11. なぜそのように挙動したのかを説明 ● レコメンドエンジン に「推奨理由」ボタンを設 け、クリックするとシステムがその特定の製品 を推奨した理由を説明 ● 推薦の根拠となるパラメータを表⽰。例えば、 ⾳楽推薦では、似た曲や同じアーティストなど

Slide 69

Slide 69 text

69 Confidential © TDAI Lab All right reserved. 関連したNeurIPSでの⾯⽩い研究 ● EditGAN: High-Precision Semantic Image Editing[Ling al. Neurips 2021] ● GANの⽣成画像を後から編集できるように ● AIの間違いを修正できる仕組み

Slide 70

Slide 70 text

70 Confidential © TDAI Lab All right reserved. 本講演まとめ 70 ● 2021年は着実な進歩を遂げた年であった ○ トレンド1. アーキテクチャの改善 ○ トレンド2. マルチモーダルな巨⼤事前学習モデル ○ トレンド3. Temporal Adaption ○ トレンド4. Retrieval Augmented ● ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ○ トレンド5. ベンチマークの⾒直し ○ トレンド6. データセットの⾒直し ● しかし信頼できるAIを作った上でもそれらをどう育てていくかという点につ いてMLOps・Human-Centered AIの観点をAIシステム構築者・利⽤者は持 たなければならない https://www.nytimes.com/2020/05/21/technol ogy/ben-shneiderman-automation-humans.html

Slide 71

Slide 71 text

71 Confidential © TDAI Lab All right reserved. Company 71

Slide 72

Slide 72 text

72 Confidential © TDAI Lab All right reserved. 72 Company Mission 大量のデータと最新のアルゴリズムの掛け合わせに より《今まで人間には分からなかったこと、データ に眠る隠れた価値の発見》を行う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence

Slide 73

Slide 73 text

73 Confidential © TDAI Lab All right reserved. 73 Contact Us @fukuma_tomoki https://tdailab.com/co ntact https://www.wantedly.com/c ompanies/company_2215096 /projects