DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 Confidential © TDAI Lab All right reserved. 自己紹介経歴 2016年株式会社TDAI Lab創業 (代表取締役社⻑) 2018年東京⼤学⼤学院⼯学系研究科修⼠課程修了 2021年東京⼤学⼤学院⼯学系研究科博⼠課程修了興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年東京⼤学総⻑賞受賞 2015年全⽇本学⽣競技ダンス選⼿権優勝 2020年芸能⼈格付けチェック出演 ~2021年全⽇本準強化指定選⼿著書「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」福⾺智⽣ Tomoki Fukuma @fukuma_tomoki

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 14 【問題点3】AIの脆弱性問題（堅牢性） https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap er.pdf

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 Confidential © TDAI Lab All right reserved. これまでのAIは功利主義的に進化してきた ● “過程”ではなく”結果”を重視 ● より⼤きな社会的利益のためにAIが殺⼈を⾏うことを正当化 ○ 1⼈の殺⼈で将来的に何千⼈もの命が救われるなら良い ● 多くの損失関数が、学習データセット内の各データにおける損失の平均を使⽤ ○ 功利主義的最適化 ○ 差別をしていようが正解率が⾼いことが正義 ● 学習データ内に偏りがあればマジョリティについて精度をあげることが優先

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

25 Confidential © TDAI Lab All right reserved. 講演メッセージ1︓AIにおける倫理の議論を多⾯的に捉える AIにおける倫理を語る5つの眼差し ● 権利的アプローチ︓どの選択肢が利害関係のある全ての⼈の権利を最も尊重するか︖ ● 正義的アプローチ︓どの選択肢が⼈々を平等に、あるいは⽐例的に扱うか︖ ● 功利主義的アプローチ︓どの選択肢が最も多くの善を⽣み、最も少ない害をもたらすか︖ ● 公益的アプローチ︓どの選択肢が⼀部の⼈だけでなく、地域社会全体のためになるのか︖ ● 美徳的アプローチ︓どの選択肢が⾃分がなりたいと思う⼈間として⾏動することにつながるか︖ AIにおける倫理の議論を読む際、どの⽴場からの意⾒なのかに基づいて読み解くと理解が深まる

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 27 第⼆の潮流︓信頼されるAI(Trusted AI) ・⼈⼯知能分野は単に判断精度が⾼いだけでは許されない・国・国際レベルでのAI社会原則・倫理指針の策定が進む・人間中心の原則・教育・リテラシーの原則・プライバシー確保の原則・セキュリティー確保の原則・公正競争確保の原則・公平性・説明責任・透明性の原則・イノベーションの原則「人間中心のAI社会原則」(日本政府が2019年3月に策定) 「信頼できるAIのための倫理ガイドライン（Ethics Guidelines for Trustworthy AI）」(欧州委員会) 「倫理的に配慮されたデザイン（Ethically Aligned Design）」(IEEE) 「次世代AIのためのガバナンス原則」(中国政府) 「人工知能に関するOECD原則」(経済協力開発機構:OECD)

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

31 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 32

Slide 32 text

Slide 33

Slide 33 text

33 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか ● Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン ● 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 ● AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

39 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G11. 説明性︓なぜそのように挙動したのかを説明例） ● レコメンドエンジンに「推奨理由」ボタンを設け、クリックするとシステムがその特定の製品を推奨した理由を説明 ● 推薦の根拠となるパラメータを表⽰。例えば、⾳楽推薦では、似た曲や同じアーティストなどどうやってAIの判断根拠を理解する︖

Slide 40

Slide 40 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 40 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods ● NeurIPS 2020 ● 予測対象と”類似した事例”をユーザーに提⽰する解釈性について、クラウドソーシングを⽤いて他の⼿法と解釈のしやすさを調査 ● (例︓深層学習分類器の最終層特徴量におけるcosine類似度など)

Slide 41

Slide 41 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 41 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods ● ⽂章での説明⽅法は「LIME」が70.4％と好まれました。 ● また、画像、⾳声、感覚の分類では、それぞれ89.6％、70.9％、84.8％の割合で「例⽰による説明」が好まれた。

Slide 42

Slide 42 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 42 説明責任に関する有識者の⾒解 ● 私はAIに説明責任を負わせるべきかどうかについて、私の技術的専⾨知識に関連して答えると全くするべきではないと思います。 ● 画像に歩⾏者が写っているかの判断で、AIシステムに「なぜそれを考えたのですか」と尋ねた際、⼈間が理解しやすい簡単な規則があるのであれば、そのような問題は、何年もずっと前に既に解決された問題だったでしょう。 ● その代わりシステムをどのように信頼するかに応じて、そのシステムがどのように振る舞うかに基づいて規制する必要があります。 WIREDでのHinton⽒のインタビュー記事意訳 https://www.wired.com/story/googles-ai- guru-computers-think-more-like-brains/ この発⾔は、賛同もあった半⾯、多くの研究者から「Interpretableであることも、Explainableであることも放棄しかのようだ」と、批判的、懐疑的な意⾒も出ました。 https://www.forbes.com/sites/cognitiveworld/2 018/12/20/geoff-hinton-dismissed-the-need- for-explainable-ai-8-experts-explain-why-hes- wrong/#5d5f3796756d

Slide 43

Slide 43 text

Confidential © TDAI Lab All rights reserved. Confidential © TDAI Lab All rights reserved. 43 ⽂献紹介︓Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST ● ACL 2020 Best Paper ● 従来はtrain-test-validationでのみ精度評価が⾏われることが⼀般的 ● そこでチェックリストを設けることで多⾯的に性能を評価しようという試み ○ Min Func Test︓ユニットテスト的な発想 ○ INVariance︓摂動に対する出⼒の頑健さ(⼊⼒が多少変わっても出⼒はかわらない) ○ DIRectional︓出⼒を変えるような変更で出⼒が変わるか

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

46 Confidential © TDAI Lab All right reserved. Guidelines for Human-AI Interaction ● AIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン ● 「利⽤初期」, 「インタラクション中」, 「AIが間違えた時」, 「利⽤の経過につれて」の4つの段階 ● AIサービスを作成する際もこれらのガイドラインを満たしているかの確認が重要

Slide 47

Slide 47 text

Confidential © TDAI Lab All rights reserved. ⾒逃しがちな事例︓これらの何に注意すべきなのか︖ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめを届けるサービスを開発 Xcorpは、より良い検索エンジン開発のために、クリック情報を元に検索エンジンの改善を⾏う Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、各店舗に送る冊数を⾃動で決定する 47

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Confidential © TDAI Lab All rights reserved. Position Based Model (PBM) Examination 👀 Relevance💰 Click ✅ O=1 R=1 Y=1 O=1 R=0 Y=0 ̶ ̶ ̶ O=0 R=1 Y=0 O=0 R=1 Y=0 O=0 R=0 Y=0 安易にクリックをアノテーションに⽤いてはいけない Joachims et al. (2017): Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. (WSDM ʼ17) 52

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

56 Confidential © TDAI Lab All right reserved. 講演メッセージ3︓功利主義的な観点からの問いかけ ● このプロジェクトによって直接影響を受けるのは誰ですか︖間接的に影響を受けるのは誰か︖ ● また、どのような種類の善と害があるのか︖ ● 私たちは、関連するすべての種類の危害/利益（⼼理的、政治的、環境的、道徳的、認知的、感情的、制度的、⽂化的）について考えているか︖

Slide 57

Slide 57 text

Confidential © TDAI Lab All rights reserved. 本⽇のまとめ ● AIにおける倫理を語る上で、それぞれの視点を紹介 ○ 功利主義・義務論... ● 倫理的なAIは、技術⾯だけでなくUI・UXの観点からの設計が⼤事 ○ 間違いをすぐ直せる仕組みなど ○ どのような結果が解釈しやすい︖ ● エンジニアが設計する最適化対象に、事前に考慮できていない変数がないか疑う必要 ○ 知らない間にAIで誰かを不幸にしないために 57

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Confidential © TDAI Lab All rights reserved. 59 Company Mission ⼤量のデータと最新のアルゴリズムの掛け合わせにより《今まで⼈間には分からなかったこと、データに眠る隠れた価値の発⾒》を⾏う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence

Slide 60

Slide 60 text