Upgrade to Pro — share decks privately, control downloads, hide ads and more …

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

2b1653e7910b85a3c5348b609d52ad8c?s=128

株式会社TDAI Lab

February 04, 2022
Tweet

More Decks by 株式会社TDAI Lab

Other Decks in Research

Transcript

  1. 1 Confidential © TDAI Lab All right reserved. NeurIPS 2021

    技術報告会 ⽇本ディープラーニング協会主催 2021年2⽉4⽇ 株式会社TDAI Lab モデルの巨⼤化から考える2022年のAI研究トレンド
  2. 2 Confidential © TDAI Lab All right reserved. 自己紹介 経歴

    2016年 株式会社TDAI Lab創業 (代表取締役社⻑) 2018年 東京⼤学⼤学院⼯学系研究科 修⼠課程修了 2021年 東京⼤学⼤学院⼯学系研究科 博⼠課程修了 興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年 東京⼤学総⻑賞受賞 2015年 全⽇本学⽣競技ダンス選⼿権 優勝 2020年 芸能⼈格付けチェック出演 2022年 全⽇本ランキング6位 ~2022年 全⽇本準強化指定選⼿ 著書 「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」 福⾺ 智⽣ Tomoki Fukuma @fukuma_tomoki
  3. 3 Confidential © TDAI Lab All right reserved. 本資料の⽬的・留意事項 【想定聴講者

    】 1. 近年のAI研究トレンドのざっくりした傾向を掴みたい⽅ 2. 機械学習・深層学習にある程度の予備知識がある⽅ 3. 当カンファレンスについての⼀参加者の⾒解を、興味を持って聴講くださる⽅ 【 留意事項 】 本発表資料はできる限り誤解のないように努めておりますが、著者⾃⾝の仮説や想定の誤りに より、内容の⼀部に正確でない表現を含むことがあるかもしれない点、ご容赦ください。
  4. 4 Confidential © TDAI Lab All right reserved. NeurIPS統計情報 •

    1987年から35回⽬の開催 • オンライン開催 ◦ 12/6~7 (チュートリアル) ◦ 12/7~11 (本会議) ◦ 12/13~15 (ワークショップ) • 9122 submissions • 2344 accepted (26% acceptance)
  5. 5 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖ •

    企業 Top7 ◦ Google (188) ◦ Microsoft(118) ◦ Facebook(86) ◦ Deepmind(82) ◦ IBM(56) ◦ Huawei(42) ◦ Amazon(40) • 学術機関 Top7 ◦ Stanford University(143) ◦ MIT(139) ◦ Carnegie Mellon University(120) ◦ University of California, Berkeley(119) ◦ Tsinghua university(108) ◦ Oxford(87) ◦ Peking university(71)
  6. 6 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖

  7. 7 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ •

    現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 ◦ トレンド1︓アーキテクチャの改善 ◦ トレンド2︓マルチモーダルモデル ◦ トレンド3︓Temporal Adaptation ◦ トレンド4︓Retrieval Augmentation • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5 ~ 7
  8. 8 Confidential © TDAI Lab All right reserved. AI研究開発の潮流

  9. 9 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要

    【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない ⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」
  10. 10 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要

    OpenAI:Dota2で世界チャンピオンに勝てる ようになるまでに、45,000年分学習 Allen AI研究所:「アリスト」は、8年生レベル(日本の中2) の多肢選択式の科学問題に答えるために、300ギガバイト の科学論文と知識グラフを利用 OpenAI : Transformerの性能には、計算時間・データサイズ・パ ラメータ数のべき乗則に支配される GPT3は学習にシングルGPUで355年間(推定コスト 12millionドル)、学習データに45TBのテキスト
  11. 11 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない

  12. 12 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない

    https://www.forbes.com/sites/robtoews/2020/07/19/gpt-3-is-amazingand- overhyped/?sh=338645581b1c
  13. 13 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ •

    現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 ◦ トレンド1︓アーキテクチャの改善 ◦ トレンド2︓マルチモーダルモデル ◦ トレンド3︓Temporal Adaptation ◦ トレンド4︓Retrieval Augmentation • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5 ~ 7
  14. 14 Confidential © TDAI Lab All right reserved. 背景知識︓⾔語モデル https://lena-voita.github.io/nlp_course/language_modeling.html

    GPT2 Text Generation Demo 予測変換
  15. 15 Confidential © TDAI Lab All right reserved. 背景知識︓加速するモデルの巨⼤化 アメリカ

    • GPT-3(OpenAI):1750億 • Jurassic-1 (AI21):1780億 • Gopher(DeepMind):2800億 • Megatron-Turing(Microsoft・ NVIDIA):5300億 • GLaM(Google):1.2兆 • Switch -Transformers: 1.6兆 中国 • PanGu(Huawei):2000億 • Yuan 1.0(Inspur):2450億 • PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 • Wu Dao 2.0(北京智源⼈⼯知能研究 院):1.75兆 韓国 • HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記
  16. 16 Confidential © TDAI Lab All right reserved. 注⽬の応⽤技術︓Codex https://openai.com/blog/openai-codex/

  17. 17 Confidential © TDAI Lab All right reserved. 背景︓モデルは100兆パラメータ時代へ •

    ⼤規模な⾔語モデルは、企業の技術⼒を⽰す威信あるプロジェクト化 • スケールアップすれば良い結果が得られるというデモンストレーションを繰り返す(だけ) • ⼀つのマイルストーンとして、⼈間の脳の100+兆のシナプス • 現に推薦モデルなどでは100兆のパラメータを持つモデルも存在 Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion Parameters
  18. 18 Confidential © TDAI Lab All right reserved. NeurIPSで⾏われていた⾯⽩い試み https://training-transformers-

    together.github.io/ • Yandex Research、Hugging Face、HSE University、University of Washingtonが共同で 主宰したデモ • NeurIPS 2021の参加者について、オープンソー ス版のDALL-Eを分散学習 (参加者は、⾃分のPC や無料のクラウドインスタンスから参加) • 合計で20⼈以上の⼈が実験に参加し、トレーニ ング開始から10⽇間で147⽇以上の計算⽇数を提 供 • 今後は、より広範な愛好家コミュニティを対象と した⼤規模なモデルのトレーニングも計画
  19. 19 Confidential © TDAI Lab All right reserved. トレンド1. アーキテクチャの改善

    計算の効率化・Self-Attentionを⽤いないアーキテクチャ開発 • Googleの「Switch Transformer」や「GLaM」は⼀度学習させたパラメータの⼀ 部を使って予測を⾏し、計算資源を節約する • Luna: Linear Unified Nested Attention [Ma et al. NeurIPS 2021] ◦ 計算オーダーを時系列に対して線形に • MLP-Mixer: An all-MLP Architecture for Vision [Tolstikhin et al. NeurIPS 2021] ◦ GoogleのViTチーム、画像にフォーカス • gMLP: Pay Attention to MLPs [Liu et al. NeurIPS 2021] ◦ Googleの別チーム、NLPにフォーカス
  20. 20 Confidential © TDAI Lab All right reserved. 背景知識︓Prompting •

    通常のファインチューニングと異なり、モデルの パラメータを⼀切変化させず、Few-shot学習が可 能になる • 具体例を⾃然⽂の⼊⼒とし、モデル内の”知識”の 取り出し⽅を教える • 翻訳や⽂書分類など様々なタスクに応⽤可能
  21. 21 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル

    Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] • Promptingとして画像と⾃然⾔語を組み合わせる。 • 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習
  22. 22 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル

    Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] • Promptingとして画像と⾃然⾔語を組み合わせる。 • 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習
  23. 23 Confidential © TDAI Lab All right reserved. 背景知識︓⾃⼰教師あり学習 •

    データセットの量が重要性を増す中、ラベル付きデータセットには限界がある • そこでラベルなしデータセットから⼈間が擬似的なタスク(pretext task)を設定し学習 BERT [Devlin et al. NAACL 2019] SimCLR [Chen et al. ICML 2020]
  24. 24 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル

    巨⼤⾔語モデルで⾏われていた⾃⼰教師あり学習をマルチモーダルなデータについて⾏う研究が増加 • OpenAIによるCLIP[Radford et al., 2021]などの登場により、テキストと画像の類似度が測れ るだけでなく、画像からテキストの⽣成によるZero-shot Learningも可能に • MetaによるData2vec [Baevski et al. 2022]は⾔語・⾳声・画像を同じ枠組みで学習させられ る⾃⼰教師あり学習⼿法 CLIP: Connecting Text and Images [Radford et al., 2021] Data2vec: The first high-performance self-supervised algorithm that works for speech, vision, and text (Baevski et
  25. 25 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル

    VATT: Transformers for Multimodal Self-Supervised s from Raw Video, Audio and Text [Akabari et al. NeurIPS 2021] • 三種類のモダリティを持つデータに対する⾃⼰教師あり学習⼿法の提案 • Video Action Recognitionなどに応⽤
  26. 26 Confidential © TDAI Lab All right reserved. トレンド3. Temporal

    Adaption Mind the Gap: Assessing Temporal Generalization in Neural Language Models [Lazaridou et al. NeurIPS 2021] • テストデータが新しくなるにつれて性能が低下 • adaptiveな⾔語モデルの開発が必要であることを提⾔
  27. 27 Confidential © TDAI Lab All right reserved. トレンド3. Temporal

    Adaption Time-Aware Language Models as Temporal Knowledge Bases [Dhingra et al.2021] • タイムスタンプを同時に⾔語モデルの⼊⼒に⽤いることを提案
  28. 28 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval

    Augmentation • Masked Language Modeling(MLM)などを⾏う際、コーパスの中から 該当箇所を抽出するRetrieverを同時に学習 • 抽出した参照⽂章と⼊⼒⽂を組み合わせてMLMを⾏う • メリット ◦ 解釈性が⾼い ◦ パラメータ効率がいい REALM: Retrieval-Augmented Language Model Pre-Training(Guu et al. ICML 2020)
  29. 29 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval

    Augmentation End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [Sachan NeurIPS 2021] • マルチドキュメントOpenQAモデルをReaderとRetrieverを⽤いてEnd-to-Endで学 習するための新しい学習アルゴリズムを提案 OpenQAの例 End-to-End Training of Neural Retrievers for Open-Domain Question Answering[Sachan et al. 2021 ACL]
  30. 30 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval

    Augmentation その他最近の事例 • PCL-Baidu Wenxinは、GPT-3スタイルのモデルとナレッジグラフを組み合わす • DeepMindのRETROは、わずか70億個のパラメータを持つ⾔語モデルでRetrieverと組 み合わし25倍のサイズの他のモデルと同等のパフォーマンス • OpenAIのWebGPTは参照コーパスを動的にインターネットから検索して抽出
  31. 31 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval

    Augmentation 効率的に早くベクトルの近傍探索ができることは検索やRetrievalにおいて必要不可⽋ • NeurIPS 2021におけるCompetition • Billion-Scale Approximate Nearest Neighbor Search Challenge (ANNS) • 10億の参照データ 参考:SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search [Chen et al. NeurIPS 2021] https://ichi.pro/neurips-2021-no-happyo-10-oku-kibo-no-sai-kinbo-tansaku-charenji-125917963128681
  32. 32 Confidential © TDAI Lab All right reserved. 前半部分のまとめ 現在のAI研究の潮流1から考えるトレンド

    【問題点1】学習に⼤量の教師データや計算資源が必要 → アーキテクチャ⾃体の改善(トレンド1) → Retrieval Augmentation(トレンド4) 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない → Multi Modal Model(トレンド2) → Temporal Adaptation(トレンド3) → Retrieval Augmentation(トレンド4) 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない → Multi Modal Model(トレンド2) まだ発展途中だが着実に進歩している印象
  33. 33 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ •

    現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5: ベンチマークの⾒直し ◦ トレンド6: データセットの⾒直し ◦ トレンド7: Human-Centered AI, MLOps
  34. 34 Confidential © TDAI Lab All right reserved. AI研究開発の課題意識

  35. 35 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題(説明責任)

    【問題点2】AIのバイアス問題(公平性) 【問題点3】AIの脆弱性問題(堅牢性) 【問題点4】AIの品質保証問題(透明性) 【問題点5】AIによるフェイク問題 社会応⽤を進める上での信頼されるAIの構築
  36. 36 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題(説明責任)

    【問題点2】AIのバイアス問題(公平性) 【問題点3】AIの脆弱性問題(堅牢性) 【問題点4】AIの品質保証問題(透明性) 【問題点5】AIによるフェイク問題 社会応⽤を進める上での信頼されるAIの構築
  37. 37 Confidential © TDAI Lab All right reserved. (再掲) 背景知識︓加速するモデルの巨⼤化

    アメリカ • GPT-3(OpenAI):1750億 • Jurassic-1 (AI21):1780億 • Gopher(DeepMind):2800億 • Megatron-Turing(Microsoft・ NVIDIA):5300億 • GLaM(Google):1.2兆 • Switch -Transformers: 1.6兆 中国 • PanGu(Huawei):2000億 • Yuan 1.0(Inspur):2450億 • PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 • Wu Dao 2.0(北京智源⼈⼯知能研究 院):1.75兆 韓国 • HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記
  38. 38 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し

    • 2021年は多数のベンチマークの記録をまとめて⼤幅 に更新する⾔語モデルは登場しなかった • モデルの進歩が⽌まったのではなく、既存のデータ セットではモデルの評価が追いついていない可能性 • 2021年はどうモデルを評価すればいいのかについて 議論が深まった年 • 機械翻訳分野におけるメタ評価によると、過去10年 間に発表された769本ののうち、74.3%がBLEUのみ を使⽤ Dynabench: Rethinking Benchmarking in NLP [Kiela et al. 2021 ACL] Human Performance Scientific Credibility of Machine Translation Research: A Meta- Evaluation of 769 Papers[Marie et al. 2021 ACL]
  39. 39 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し

    • MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers[Pillutla Neurips 2021] • Outstanding Paper6本のうちの⼀つ • KL距離に基づいてテキスト分布間のギャップを計算する新しい指標MAUVEを提案 • MAUVEは⼈間による評価との相関が⾼い
  40. 40 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し

    既存は転移学習の種類が少ない 既存は現実世界のデータセットでの検証が不⾜ 既存は簡易的な報告 • FLEX: Unifying Evaluation for Few-Shot NLP [Bragg NeurIPS 2021] • Few-shot学習に関する評価⽤のベンチマーク/ツールを開発 • ベースラインなどと共にOSSで公開
  41. 41 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し

    • アルゴリズムを改善するだけではより優れたモデルを作ることができない問題 • NeurIPS 2021では、Datasets and Benchmarksという新しいトラックを導⼊ • Andrew Ng⽒が提案したData Centric AIのコンテストが象徴的 • モデルではなくデータをチューニングすることで精度を競う https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps- From-Model-centric-to-Data-centric-AI.pdf
  42. 42 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し

    • Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research [NeurIPS 2021 Outstanding Paper] • Machine Learning Research(MLR)で⽤いられるデータセットが徐々に極化している • 12の機関によるデータセットで全体の50%を占める
  43. 43 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し

    • モデルの良さを図る⽅法は研究されているが、 データの良さを定量的に図る⽅法については未開拓 • 個⼈的今後の予測 ◦ ⾷品表⽰にようなデータの成分表⽰に関するラ ベルが作られる研究が出てくると予測 ◦ どのような栄養を持っていて、どのような害が あるのかなど定量的に表現
  44. Confidential © TDAI Lab All right reserved. 44 Confidential ©

    TDAI Lab All right reserved. 44 【問題点1】AIのブラックボックス問題(説明責任) https://towardsdatascience.com/explainable-artificial-intelligence- 14944563cc79
  45. Confidential © TDAI Lab All right reserved. 45 Confidential ©

    TDAI Lab All right reserved. 45 【問題点1】AIのブラックボックス問題(説明責任) • Neural Additive Models: Interpretable Machine Learning with Neural Nets [Agarwal et al. NeurIPS 2021] • 共著にHiton先⽣ • 線形にDNNを組み合わすことで解釈性を⾼めた研究
  46. Confidential © TDAI Lab All right reserved. 46 Confidential ©

    TDAI Lab All right reserved. 46 【問題点2】AIのバイアス問題(公平性)
  47. Confidential © TDAI Lab All right reserved. 47 Confidential ©

    TDAI Lab All right reserved. 47 【問題点2】AIのバイアス問題(公平性)
  48. Confidential © TDAI Lab All right reserved. 48 Confidential ©

    TDAI Lab All right reserved. 48 【問題点3】AIの脆弱性問題(堅牢性)
  49. Confidential © TDAI Lab All right reserved. 49 Confidential ©

    TDAI Lab All right reserved. 49 【問題点3】AIの脆弱性問題(堅牢性) https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap er.pdf
  50. 50 Confidential © TDAI Lab All right reserved. 【問題点3】AIの脆弱性問題(堅牢性) •

    Unadversarial Examples: Designing Objects for Robust Vision(NeurIPS 2021) • 外乱に対して強いスキンをAdversarial Attackと逆の要領で⽣成 • 今後社会応⽤が進む際、⾞などにスキンとして導⼊される可能性も • https://www.youtube.com/watch?v=saF-_SKGlKY
  51. 51 Confidential © TDAI Lab All right reserved. ここまでのまとめ •

    2021年は着実な進歩を遂げた年であった ◦ トレンド1. アーキテクチャの改善 ◦ トレンド2. マルチモーダルな巨⼤事前学習モデル ◦ トレンド3. Temporal Adaption ◦ トレンド4. Retrieval Augmented • ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ◦ トレンド5. ベンチマークの⾒直し ◦ トレンド6. データセットの⾒直し
  52. 52 Confidential © TDAI Lab All right reserved. 質問︓信頼されるAIさえ出来れば問題ないのか︖ AIにこれら信頼性を持たすだけでは「課題解決」には不⼗分

    1. ⼈とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを⽤いることの悪い側⾯をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で⼆つの重要な視点
  53. 53 Confidential © TDAI Lab All right reserved. よくある勘違い︓機械化と⼈間の稼働はトレードオフ •

    「AI最終⽬標は全⾃動化である」・「徐々に⼈間のタスクを機械に代替する」 • これらスタンスの1次元的な捉え⽅に、Human-Centered AIは否定的
  54. 54 Confidential © TDAI Lab All right reserved. Human Centered

    AIとは︖ • 代替するのではなく、⼈間の能⼒を増幅・拡張・強化・向上させる • つまりどういうことか︖ https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
  55. 55 Confidential © TDAI Lab All right reserved. Human Centered

    AIとは︖ • NeurIPS2021ではHCAIに関するWorkshopも開催 • NeurIPSでHCAIに関するWorkshopが開かれたのは初めて
  56. 56 Confidential © TDAI Lab All right reserved. Human Centered

    AIにおける⼆次元的捉え⽅ • HCAIでは、⼈間のコントロール度と機械の⾃動化を別の軸として扱う • 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf
  57. 57 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-

    v2.pdf
  58. 58 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-

    v2.pdf
  59. 59 Confidential © TDAI Lab All right reserved. HCAIにおける⼆次元的捉え⽅具体例 どうやってそのようなAIを作る︖

  60. 60 Confidential © TDAI Lab All right reserved. HCAIをどう設計するか :

    ガイドラインの策定
  61. 61 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富
  62. 62 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction
  63. 63 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富
  64. 64 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G7.

    呼び出しやすい︓AIシステムのサービスを、 必要な時に簡単に呼び出せるようにする 例) • ⾳声アシスタントの起動にはシンプルに呼び 掛ければよく、いつでも⾏うことができる • スワイプなどで推薦を再⽣成
  65. 65 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G8.

    すぐにAIの出⼒を無視できる仕組み 例) • 不快なコンテンツが表⽰・レコメンド され た際、それをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくい のは良くない
  66. 66 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G9.

    すぐに間違いを直させることのできる仕組み 例) • 不快なコンテンツが表⽰・レコメンド され た際報告し、修正できる • ⾳声アシスタントが書き起こした指⽰をユー ザーが確認・修正できる⾳声アシスタント⽤ のユーザーインターフェースを提供する。
  67. 67 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G10.

    不確実性を考慮し、挙動に制約を 例) • スパム判定を⾏う際、判断できる情報が明ら かに⾜りないのに勝⼿に判断してしまうのは 良くない • ⽂章の⾃動補完の場合、複数候補を出すなど • ⾳声認識でノイズが酷い場合、聞き直すなど
  68. 68 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G11.

    なぜそのように挙動したのかを説明 • レコメンドエンジン に「推奨理由」ボタンを設 け、クリックするとシステムがその特定の製品 を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、 ⾳楽推薦では、似た曲や同じアーティストなど
  69. 69 Confidential © TDAI Lab All right reserved. 関連したNeurIPSでの⾯⽩い研究 •

    EditGAN: High-Precision Semantic Image Editing[Ling al. Neurips 2021] • GANの⽣成画像を後から編集できるように • AIの間違いを修正できる仕組み
  70. 70 Confidential © TDAI Lab All right reserved. 本講演まとめ 70

    • 2021年は着実な進歩を遂げた年であった ◦ トレンド1. アーキテクチャの改善 ◦ トレンド2. マルチモーダルな巨⼤事前学習モデル ◦ トレンド3. Temporal Adaption ◦ トレンド4. Retrieval Augmented • ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ◦ トレンド5. ベンチマークの⾒直し ◦ トレンド6. データセットの⾒直し • しかし信頼できるAIを作った上でもそれらをどう育てていくかという点につ いてMLOps・Human-Centered AIの観点をAIシステム構築者・利⽤者は持 たなければならない https://www.nytimes.com/2020/05/21/technol ogy/ben-shneiderman-automation-humans.html
  71. 71 Confidential © TDAI Lab All right reserved. Company 71

  72. 72 Confidential © TDAI Lab All right reserved. 72 Company

    Mission 大量のデータと最新のアルゴリズムの掛け合わせに より《今まで人間には分からなかったこと、データ に眠る隠れた価値の発見》を行う Vision “Augment Intelligence”(拡張知能) : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence
  73. 73 Confidential © TDAI Lab All right reserved. 73 Contact

    Us @fukuma_tomoki https://tdailab.com/co ntact https://www.wantedly.com/c ompanies/company_2215096 /projects