ヒトをめぐるデータサイエンスにおけるAIの最新動向.pdf

　Confidential　© TDAI Lab All rights reserved. 1  ヒトをめぐるデータサイエンスにおける AIデザインに関する最新動向 Tomoki
Fukuma TDAI Lab Co., Ltd. CEO 特別セミナー「ヒトとデータサイエンス」 

2  　Confidential　© TDAI Lab All right reserved.   自己紹介  経歴
2016年　株式会社TDAI Lab創業 (代表取締役社長) 2018年　東京大学大学院工学系研究科修士課程修了 2021年　東京大学大学院工学系研究科博士課程修了興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技：競技ダンス 2014年東京大学総長賞受賞 2015年全日本学生競技ダンス選手権優勝 2020年芸能人格付けチェック出演 ~ 2022年全日本準強化指定選手著書「世界一カンタンで実戦的な文系のための人工知能の教科書」福馬智生 Tomoki Fukuma @fukuma_tomoki

3  　Confidential　© TDAI Lab All right reserved.   目次 •
現在のAI研究開発の2つの潮流 • 人とAIのインタラクションをデザインすることの重要性 • 人 x データサイエンスで見落としやすい落とし穴の実例 • 総括

7  　Confidential　© TDAI Lab All right reserved.   【潮流1】今のAI研究者は何を目指して研究している？【問題点1】学習に大量の教師データや計算資源が必要
【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない【問題点3】パターン処理は強いが、意味理解・説明等の高次処理はできていない人工知能学会セミナー講演資料：「IJCAI2021から読み解く第4世代AIの研究開発」

9  　Confidential　© TDAI Lab All right reserved.   【潮流2】今のAI研究者は何を目指して研究している？【問題点1】AIのブラックボックス問題（説明責任）
【問題点2】AIのバイアス問題（公平性）【問題点3】AIの脆弱性問題（堅牢性）【問題点4】AIの品質保証問題（透明性）社会応用を進める上での信頼されるAIの構築

　Confidential　© TDAI Lab All rights reserved. 　Confidential　© TDAI Lab All
rights reserved. 10  【問題点1】AIのブラックボックス問題（説明責任） https://towardsdatascience.com/explainable-artificial-intelligence-14944563cc79

15  　Confidential　© TDAI Lab All right reserved.   質問：信頼されるAIさえ出来れば問題ないのか？ AIにこれら信頼性を持たすだけでは「課題解決」には不十分
1. 人とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを用いることの悪い側面をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で二つの重要な視点

16  　Confidential　© TDAI Lab All right reserved.   質問：信頼されるAIさえ出来れば問題ないのか？ AIにこれら信頼性を持たすだけでは「課題解決」には不十分
1. 人とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを用いることの悪い側面をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で二つの重要な視点

18  　Confidential　© TDAI Lab All right reserved.   よくある勘違い：機械化と人間の稼働はトレードオフ •
「AI最終目標は全自動化である」・「徐々に人間のタスクを機械に代替する」 • これらスタンスの１次元的な捉え方に、Human-Centered AIは否定的

19  　Confidential　© TDAI Lab All right reserved.   Human-Centered AIとは？
• 代替するのではなく、人間の能力を増幅・拡張・強化・向上させる • つまりどういうことか？ https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf

20  　Confidential　© TDAI Lab All right reserved.   Human Centered
AIにおける二次元的捉え方 • HCAIでは、人間のコントロール度と機械の自動化を別の軸として扱う • 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf

24  　Confidential　© TDAI Lab All right reserved.   HCAIをどう設計するか :
ガイドラインの策定

25  　Confidential　© TDAI Lab All right reserved.   Guidelines for
Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか？ • Microsoftが作成したAIと人間が相互作用するAIシステムをデザインするための18個のガイドライン • 「利用初期」,「インタラクション中」,「AIが間違えた時」,「利用の経過につれて」の4つの段階 • AI研究者・エンジニア的な目線だけでは不十分な、UI・UX設計の観点からの指摘も豊富

Human-AI Interaction

Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと人間が相互作用するAIシステムをデザインするための18個のガイドライン • 「利用初期」,「インタラクション中」,「AIが間違えた時」,「利用の経過につれて」の4つの段階 • AI研究者・エンジニア的な目線だけでは不十分な、UI・UX設計の観点からの指摘も豊富

28  　Confidential　© TDAI Lab All right reserved.   AIが間違えた時に関するガイドライン G7.
呼び出しやすい：AIシステムのサービスを、必要な時に簡単に呼び出せるようにする例） • 音声アシスタントの起動にはシンプルに呼び掛ければよく、いつでも行うことができる • スワイプなどで推薦を再生成

すぐにAIの出力を無視できる仕組み例） • 不快なコンテンツが表示・レコメンドされた際、それをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくいのは良くない

すぐに間違いを直させることのできる仕組み例） • 不快なコンテンツが表示・レコメンドされた際報告し、修正できる • 音声アシスタントが書き起こした指示をユーザーが確認・修正できる音声アシスタント用のユーザーインターフェースを提供する。

不確実性を考慮し、挙動に制約を例） • スパム判定を行う際、判断できる情報が明らかに足りないのに勝手に判断してしまうのは良くない • 文章の自動補完の場合、複数候補を出すなど • 音声認識でノイズが酷い場合、聞き直すなど

なぜそのように挙動したのかを説明 • レコメンドエンジンに「推奨理由」ボタンを設け、クリックするとシステムがその特定の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表示。例えば、音楽推薦では、似た曲や同じアーティストなど

rights reserved. 33  文献紹介：How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • NeurIPS 2020 • 予測対象と”類似した事例”をユーザーに提示する解釈性について、クラウドソーシングを用いて他の手法と解釈のしやすさを調査 • (例：深層学習分類器の最終層特徴量における cosine類似度など)

rights reserved. 34  文献紹介：How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • 文章での説明方法は「LIME」が70.4％と好まれました。 • また、画像、音声、感覚の分類では、それぞれ 89.6％、70.9％、84.8％の割合で「例示による説明」が好まれた。

rights reserved. 35  説明責任に関する有識者の見解 • 私はAIに説明責任を負わせるべきかどうかについて、私の技術的専門知識に関連して答えると全くするべきではないと思います。 • 画像に歩行者が写っているかの判断で、AIシステムに「なぜそれを考えたのですか」と尋ねた際、人間が理解しやすい簡単な規則があるのであれば、そのような問題は、何年もずっと前に既に解決された問題だったでしょう。 • その代わりシステムをどのように信頼するかに応じて、そのシステムがどのように振る舞うかに基づいて規制する必要があります。 WIREDでのHinton氏のインタビュー記事意訳 https://www.wired.com/story/googles-ai-guru- computers-think-more-like-brains/ この発言は、賛同もあった半面、多くの研究者から「Interpretableであることも、 Explainableであることも放棄しかのようだ」と、批判的、懐疑的な意見も出ました。 https://www.forbes.com/sites/cognitiveworld/2018/ 12/20/geoﬀ-hinton-dismissed-the-need-for-explaina ble-ai-8-experts-explain-why-hes-wrong/#5d5f3796 756d

rights reserved. 36  文献紹介：Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST • ACL 2020 Best Paper • 従来はtrain-test-validationでのみ精度評価が行われることが一般的 • そこでチェックリストを設けることで多面的に性能を評価しようという試み ◦ Min Func Test：ユニットテスト的な発想 ◦ INVariance：摂動に対する出力の頑健さ(入力が多少変わっても出力はかわらない ) ◦ DIRectional：出力を変えるような変更で出力が変わるか

　Confidential　© TDAI Lab All rights reserved. 見逃しがちな事例：これらの何に注意すべきなのか？ Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、各店舗に送る冊数を自動で決定する。なぜなら出版取次業にとって、返本は赤字の原因でもあり、既存約
40％という高い返本率を AIを活用し、各書店での売れそうな本を予測し配送することは、返本を大きく減らせ大きな利益につながるはずである。 38  https://jpn.nec.com/vci/optimization/ai.html

rights reserved. 39  需要予測による最適化による本屋の魅力減少の可能性そもそもAIが課題の解決策になるかどうかから考え直す • “売れそうな本”しか置かない本屋ができる可能性 • 本屋って本当にそれでよかった？ ◦ ショッピングモールの屋上にあり集客を行い、下階の店舗に人を流す ◦ 自分では絶対見つけられない本を探す発見の場 ◦ 少数だがマイナー本が揃っているところが魅力の店舗

rights reserved. 41  Secondary Biasによる多様性の減少 https://spectee.co.jp/report/storming_us_capitol_20210106/ 安倍総理の健康状態に対する意見は大きく二分されている意見の分断エコーチェンバーフィルターバブル

42  　Confidential　© TDAI Lab All right reserved.   参考：共同提言「健全な言論プラットフォームに向けて―デジタル・ダイエット宣言
ver.1.0」要旨  • インターネットの急速な発展による情報の「飽食」と「偏食」の中で、フェイクニュース（偽情報）氾濫などの情報環境の機能不全が深刻化  • 本共同提言はその解決の目標として、バランスのよい情報摂取（デジタル・ダイエット）を通した個人と社会の「情報的健康（インフォメーション・ヘルス）」の実現を掲げ、デジタル・プラットフォーム（DPF）事業者、ユーザー、マスメディア、政府など様々なステークホルダーが取り組むべき施策をまとめたもの 

44  　Confidential　© TDAI Lab All right reserved.   Human Centered
AIにおける二次元的捉え方 • HCAIでは、人間のコントロール度と機械の自動化を別の軸として扱う • 人間にとってコントロールするための重要な情報を分かりやすく提示することが大事 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021-v2.pdf

　Confidential　© TDAI Lab All rights reserved. 本日のまとめ • Human-Centerd AI的な考え方
◦ 人間のコントロール度と機械化を同時に押し進めていくデザインが必要 ◦ 具体的なガイドラインはMicrosoftの18個のガイドラインを参照 • AIを適用することでどのような不都合が生じうるか考慮する必要性 ◦ AIの提供者・利用者共に監視・意思決定する判断材料を与える仕組みが重要 ◦ AIを人が入った前提のMLOpsによっていかに育てていくかが大事 46 

　Confidential　© TDAI Lab All rights reserved. 49  Company Mission 大量のデータと最新のアルゴリズムの掛け合わせにより
《今まで人間には分からなかったこと、データに眠る隠れた価値の発見》を行う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artiﬁcial Intelligence

ヒトをめぐるデータサイエンスにおけるAIの最新動向.pdf

ヒトをめぐるデータサイエンスにおけるAIの最新動向.pdf

More Decks by 株式会社TDAI Lab

Other Decks in Research

Featured

Transcript