ヒトをめぐるデータサイエンスにおけるAIの最新動向.pdf

文部科学省科学技術人材育成費補助事業データ関連人材育成プログラム データサイエンスのトップレベル人材育成拠点

特別セミナー「ヒトとのデータサイエンス」〜人を対象としたデータサイエンスの可能性と課題を議論するセミナー〜

https://www.uec.ac.jp/news/event/2022/20220105_4032.html

Transcript

1. 　Confidential　© TDAI Lab All rights reserved. 1
 ヒトをめぐるデータサイエンスにおける AIデザインに関する最新動向 Tomoki Fukuma TDAI Lab Co., Ltd. CEO 特別セミナー「 ヒトとデータサイエンス 」

2. 2
 　Confidential　© TDAI Lab All right reserved. 
 自己紹介
 経歴 2016年　株式会社TDAI Lab創業 (代表取締役社長) 2018年　東京大学大学院工学系研究科 修士課程修了 2021年　東京大学大学院工学系研究科 博士課程修了 興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技：競技ダンス 2014年 東京大学総長賞受賞 2015年 全日本学生競技ダンス選手権 優勝 2020年 芸能人格付けチェック出演 ~ 2022年 全日本準強化指定選手 著書 「世界一カンタンで実戦的な文系のための人工知能の教科書」 福馬 智生 Tomoki Fukuma @fukuma_tomoki
3. 3
 　Confidential　© TDAI Lab All right reserved. 
 目次 • 現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括
4. 4
 　Confidential　© TDAI Lab All right reserved. 
 目次 • 現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括
5. 5
 　Confidential　© TDAI Lab All right reserved. 
 AI研究開発の潮流
6. 6
 　Confidential　© TDAI Lab All right reserved. 
 AI研究開発の潮流
7. 7
 　Confidential　© TDAI Lab All right reserved. 
 【潮流1】今のAI研究者は何を目指して研究している？ 【問題点1】学習に大量の教師データや計算資源が必要 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない 【問題点3】パターン処理は強いが、意味理解・説明等の高次処理はできていない 人工知能学会セミナー講演資料： 「IJCAI2021から読み解く第4世代AIの研究開発」
8. 8
 　Confidential　© TDAI Lab All right reserved. 
 AI研究開発の潮流
9. 9
 　Confidential　© TDAI Lab All right reserved. 
 【潮流2】今のAI研究者は何を目指して研究している？ 【問題点1】AIのブラックボックス問題（説明責任） 【問題点2】AIのバイアス問題（公平性） 【問題点3】AIの脆弱性問題（堅牢性） 【問題点4】AIの品質保証問題（透明性） 社会応用を進める上での信頼されるAIの構築
10. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 10
 【問題点1】AIのブラックボックス問題（説明責任） https://towardsdatascience.com/explainable-artificial-intelligence-14944563cc79
11. 　Confidential　© TDAI Lab All right reserved. 
 11
 　Confidential　© TDAI Lab All right reserved. 
 11 【問題点2】AIのバイアス問題（公平性）

12. 　Confidential　© TDAI Lab All right reserved. 
 12
 　Confidential　© TDAI Lab All right reserved. 
 12 【問題点2】AIのバイアス問題（公平性）

13. 　Confidential　© TDAI Lab All right reserved. 
 13
 　Confidential　© TDAI Lab All right reserved. 
 13 【問題点3】AIの脆弱性問題（堅牢性）

14. 　Confidential　© TDAI Lab All right reserved. 
 14
 　Confidential　© TDAI Lab All right reserved. 
 14 【問題点3】AIの脆弱性問題（堅牢性）
 https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_paper.pdf
15. 15
 　Confidential　© TDAI Lab All right reserved. 
 質問：信頼されるAIさえ出来れば問題ないのか？ AIにこれら信頼性を持たすだけでは「課題解決」には不十分 1. 人とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを用いることの悪い側面をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で二つの重要な視点
16. 16
 　Confidential　© TDAI Lab All right reserved. 
 質問：信頼されるAIさえ出来れば問題ないのか？ AIにこれら信頼性を持たすだけでは「課題解決」には不十分 1. 人とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを用いることの悪い側面をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で二つの重要な視点
17. 17
 　Confidential　© TDAI Lab All right reserved. 
 目次 • 現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括
18. 18
 　Confidential　© TDAI Lab All right reserved. 
 よくある勘違い：機械化と人間の稼働はトレードオフ • 「AI最終目標は全自動化である」・「徐々に人間のタスクを機械に代替する」 • これらスタンスの１次元的な捉え方に、Human-Centered AIは否定的
19. 19
 　Confidential　© TDAI Lab All right reserved. 
 Human-Centered AIとは？ • 代替するのではなく、人間の能力を増幅・拡張・強化・向上させる • つまりどういうことか？ https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
20. 20
 　Confidential　© TDAI Lab All right reserved. 
 Human Centered AIにおける二次元的捉え方 • HCAIでは、人間のコントロール度と機械の自動化を別の軸として扱う • 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
21. 21
 　Confidential　© TDAI Lab All right reserved. 
 HCAIにおける二次元的捉え方具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
22. 22
 　Confidential　© TDAI Lab All right reserved. 
 HCAIにおける二次元的捉え方具体例 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
23. 23
 　Confidential　© TDAI Lab All right reserved. 
 HCAIにおける二次元的捉え方具体例 どうやってそのようなAIを作る？
24. 24
 　Confidential　© TDAI Lab All right reserved. 
 HCAIをどう設計するか : ガイドラインの策定
25. 25
 　Confidential　© TDAI Lab All right reserved. 
 Guidelines for Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか？ • Microsoftが作成したAIと人間が相互作用するAIシステムをデザインするための18個のガイドライン • 「利用初期」,「インタラクション中」,「AIが間違えた時」,「利用の経過につれて」の4つの段階 • AI研究者・エンジニア的な目線だけでは不十分な、UI・UX設計の観点からの指摘も豊富
26. 26
 　Confidential　© TDAI Lab All right reserved. 
 Guidelines for Human-AI Interaction
27. 27
 　Confidential　© TDAI Lab All right reserved. 
 Guidelines for Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと人間が相互作用するAIシステムをデザインするための18個のガイドライン • 「利用初期」,「インタラクション中」,「AIが間違えた時」,「利用の経過につれて」の4つの段階 • AI研究者・エンジニア的な目線だけでは不十分な、UI・UX設計の観点からの指摘も豊富
28. 28
 　Confidential　© TDAI Lab All right reserved. 
 AIが間違えた時に関するガイドライン G7. 呼び出しやすい：AIシステムのサービスを、必要 な時に簡単に呼び出せるようにする 例） • 音声アシスタントの起動にはシンプルに呼び掛 ければよく、いつでも行うことができる • スワイプなどで推薦を再生成
29. 29
 　Confidential　© TDAI Lab All right reserved. 
 AIが間違えた時に関するガイドライン G8. すぐにAIの出力を無視できる仕組み 例） • 不快なコンテンツが表示・レコメンド された際、そ れをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくいのは良 くない
30. 30
 　Confidential　© TDAI Lab All right reserved. 
 AIが間違えた時に関するガイドライン G9. すぐに間違いを直させることのできる仕組み 例） • 不快なコンテンツが表示・レコメンド された際報 告し、修正できる • 音声アシスタントが書き起こした指示をユーザー が確認・修正できる音声アシスタント用のユー ザーインターフェースを提供する。
31. 31
 　Confidential　© TDAI Lab All right reserved. 
 AIが間違えた時に関するガイドライン G10. 不確実性を考慮し、挙動に制約を 例） • スパム判定を行う際、判断できる情報が明らか に足りないのに勝手に判断してしまうのは良くな い • 文章の自動補完の場合、複数候補を出すなど • 音声認識でノイズが酷い場合、聞き直すなど
32. 32
 　Confidential　© TDAI Lab All right reserved. 
 AIが間違えた時に関するガイドライン G11. なぜそのように挙動したのかを説明 • レコメンドエンジン に「推奨理由」ボタンを設け、 クリックするとシステムがその特定の製品を推奨 した理由を説明 • 推薦の根拠となるパラメータを表示。例えば、音 楽推薦では、似た曲や同じアーティストなど
33. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 33
 文献紹介：How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • NeurIPS 2020 • 予測対象と”類似した事例”をユーザーに提示する解釈性について、クラウドソーシングを用 いて他の手法と解釈のしやすさを調査 • (例：深層学習分類器の最終層特徴量における cosine類似度など)
34. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 34
 文献紹介：How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • 文章での説明方法は「LIME」が70.4％と好まれました。 • また、画像、音声、感覚の分類では、それぞれ 89.6％、70.9％、84.8％の割合で「例示によ る説明」が好まれた。
35. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 35
 説明責任に関する有識者の見解 • 私はAIに説明責任を負わせるべきかどうかについて、私の技術 的専門知識に関連して答えると全くするべきではないと思いま す。 • 画像に歩行者が写っているかの判断で、AIシステムに「なぜそ れを考えたのですか」と尋ねた際、人間が理解しやすい簡単な 規則があるのであれば、そのような問題は、何年もずっと前に既 に解決された問題だったでしょう。 • その代わりシステムをどのように信頼するかに応じて、そのシス テムがどのように振る舞うかに基づいて規制する必要がありま す。 WIREDでのHinton氏のインタビュー記事意訳 https://www.wired.com/story/googles-ai-guru- computers-think-more-like-brains/ この発言は、賛同もあった半面、多くの研究者から 「Interpretableであることも、 Explainableであることも放 棄しかのようだ」と、批判的、懐疑的な意見も出ました。 https://www.forbes.com/sites/cognitiveworld/2018/ 12/20/geoff-hinton-dismissed-the-need-for-explaina ble-ai-8-experts-explain-why-hes-wrong/#5d5f3796 756d
36. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 36
 文献紹介：Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST • ACL 2020 Best Paper • 従来はtrain-test-validationでのみ精度評価が行われることが一般的 • そこでチェックリストを設けることで多面的に性能を評価しようという試み ◦ Min Func Test：ユニットテスト的な発想 ◦ INVariance：摂動に対する出力の頑健さ(入力が多少変わっても出力はかわらない ) ◦ DIRectional：出力を変えるような変更で出力が変わるか
37. 37
 　Confidential　© TDAI Lab All right reserved. 
 目次 • 現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括
38. 　Confidential　© TDAI Lab All rights reserved. 見逃しがちな事例：これらの何に注意すべきなのか？ Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、各 店舗に送る冊数を自動で決定する。 なぜなら出版取次業にとって、返本は赤字の原因でもあり、既存約 40％という高い返本率を AIを 活用し、各書店での売れそうな本を予測し配送することは、返本を大きく減らせ大きな利益につな がるはずである。 38
 https://jpn.nec.com/vci/optimization/ai.html
39. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 39
 需要予測による最適化による本屋の魅力減少の可能性 そもそもAIが課題の解決策になるかどうかから考え直す • “売れそうな本”しか置かない本屋ができる可能性 • 本屋って本当にそれでよかった？ ◦ ショッピングモールの屋上にあり集客を行い、下階の店舗に人を流す ◦ 自分では絶対見つけられない本を探す発見の場 ◦ 少数だがマイナー本が揃っているところが魅力の店舗
40. 　Confidential　© TDAI Lab All rights reserved. 見逃しがちな事例：これらの何に注意すべきなのか？ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめニュース記事・広告を 届けるサービスを開発 レコメンド アルゴリズムの導入によってView数は大幅に増加した。 40

41. 　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All rights reserved. 41
 Secondary Biasによる多様性の減少 https://spectee.co.jp/report/storming_us_capitol_20210106/ 安倍総理の健康状態に対する意見は大きく二分されている 意見の分断 エコーチェンバー フィルターバブル
42. 42
 　Confidential　© TDAI Lab All right reserved. 
 参考：共同提言「健全な言論プラットフォームに向けて―デジタ ル・ダイエット宣言 ver.1.0」 要旨
 • インターネットの急速な発展による情報の「飽食」と「偏食」の中で、フェイクニュース（偽情報）氾濫などの情報環境の機能不 全が深刻化
 • 本共同提言はその解決の目標として、バランスのよい情報摂取（デジタル・ダイエット）を通した個人と社会の「情報的健康 （インフォメーション・ヘルス）」の実現を掲げ、デジタル・プラットフォーム（DPF）事業者、ユーザー、マスメディア、政府など 様々なステークホルダーが取り組むべき施策をまとめたもの

43. 43
 　Confidential　© TDAI Lab All right reserved. 
 周辺情報をデータサイエンスの観点から分析し、 人間の判断材料とする重要性 Bloomberg Terminal ソーシャル空間の理解
44. 44
 　Confidential　© TDAI Lab All right reserved. 
 Human Centered AIにおける二次元的捉え方 • HCAIでは、人間のコントロール度と機械の自動化 を別の軸として扱う • 人間にとってコントロールするための重要な情報を分かりやすく提示することが大事 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf
45. 45
 　Confidential　© TDAI Lab All right reserved. 
 目次 • 現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括
46. 　Confidential　© TDAI Lab All rights reserved. 本日のまとめ • Human-Centerd AI的な考え方 ◦ 人間のコントロール度と機械化を同時に押し進めていくデザインが必要 ◦ 具体的なガイドラインはMicrosoftの18個のガイドラインを参照 • AIを適用することでどのような不都合が生じうるか考慮する必要性 ◦ AIの提供者・利用者共に監視・意思決定する判断材料を与える仕組みが重要 ◦ AIを人が入った前提のMLOpsによっていかに育てていくかが大事 46

47. 　Confidential　© TDAI Lab All rights reserved. 本日のまとめ 47
 https://www.nytimes.com/2020/05/21/technology/ben-shneiderman-automation-humans.html
48. 　Confidential　© TDAI Lab All rights reserved. Company 48

49. 　Confidential　© TDAI Lab All rights reserved. 49
 Company Mission 大量のデータと最新のアルゴリズムの掛け合わせにより 《今まで人間には分からなかったこと、データに眠る隠れ た価値の発見》を行う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence
50. 　Confidential　© TDAI Lab All rights reserved. 50
 Contact Us @fukuma_tomoki https://tdailab.com/contact https://www.wantedly.com/compa nies/company_2215096/projects