DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

Confidential © TDAI Lab All rights reserved. 1 AIと倫理 Tomoki
Fukuma TDAI Lab Co., Ltd. CEO 機械学習を⼈間に適⽤する際に⾒落としやすい落とし⽳⼀般社団法⼈データサイエンティスト協会8thシンポジウム〜データサイエンスの最前線〜

2 Confidential © TDAI Lab All right reserved. 自己紹介経歴
2016年株式会社TDAI Lab創業 (代表取締役社⻑) 2018年東京⼤学⼤学院⼯学系研究科修⼠課程修了 2021年東京⼤学⼤学院⼯学系研究科博⼠課程修了興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年東京⼤学総⻑賞受賞 2015年全⽇本学⽣競技ダンス選⼿権優勝 2020年芸能⼈格付けチェック出演 ~2021年全⽇本準強化指定選⼿著書「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」福⾺智⽣ Tomoki Fukuma @fukuma_tomoki

3 Confidential © TDAI Lab All right reserved. ⽬次 1.
背景知識︓AIを信頼するための4つの柱 2. AIの倫理を語る上で必要な複数の観点 3. ケーススタディ1. AIの間違いにどう対処するか 4. ケーススタディ2. 気付かないうちにAIに苦しめられる事例

7 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要
【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」

9 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題（説明責任）
【問題点2】AIのバイアス問題（公平性）【問題点3】AIの脆弱性問題（堅牢性）【問題点4】AIの品質保証問題（透明性）社会応⽤を進める上での信頼されるAIの構築

18 Confidential © TDAI Lab All right reserved. ⽬次 •
背景知識︓AIを信頼するための4つの柱 • AIの倫理を語る上で必要な複数の観点 • ケーススタディ1. AIの間違いへの対処⽅法(解釈性) • ケーススタディ2. AIの運⽤の難しさ(フィードバックループ)

20 Confidential © TDAI Lab All right reserved. 規範倫理学の３つの理論「功利主義」
その⾏為が結果としてできるだけ多くの⼈をできるだけ幸福にするか(最⼤多数の最⼤幸福の達成) 「義務論」その⾏為が特定の「義務」を全うしているか「徳倫理学」⾏為を⾏う⼈が「徳」を備えていれば、それは⾏為によらず正当化される(⾏為者に焦点)

21 Confidential © TDAI Lab All right reserved. これまでのAIは功利主義的に進化してきた •
“過程”ではなく”結果”を重視 • より⼤きな社会的利益のためにAIが殺⼈を⾏うことを正当化 ◦ 1⼈の殺⼈で将来的に何千⼈もの命が救われるなら良い • 多くの損失関数が、学習データセット内の各データにおける損失の平均を使⽤ ◦ 功利主義的最適化 ◦ 差別をしていようが正解率が⾼いことが正義 • 学習データ内に偏りがあればマジョリティについて精度をあげることが優先

Confidential © TDAI Lab All rights reserved. Bias In Bias
Out 偏ったデータ + 単純な合計/平均に基づく損失関数 Clean Algorithm Biased Algorithm BERT image is cited from https://arxiv.org/pdf/2004.06660.pdf 23

24 Confidential © TDAI Lab All right reserved. それら不公平なAIへの義務論的な⽴場からの⾮難 •
義務論的⽴場は... ◦ “結果”ではなく”過程”を重視 ◦ 1⼈を殺すことで得られる将来の利益は、1⼈の⼈権のために無視するべき • たとえ性能が良くても、差別している時点でそのAIは正当化されない ◦ ⼈種・性別による差別は⼈権の侵害

25 Confidential © TDAI Lab All right reserved. 講演メッセージ1︓AIにおける倫理の議論を多⾯的に捉える AIにおける倫理を語る5つの眼差し
• 権利的アプローチ︓どの選択肢が利害関係のある全ての⼈の権利を最も尊重するか︖ • 正義的アプローチ︓どの選択肢が⼈々を平等に、あるいは⽐例的に扱うか︖ • 功利主義的アプローチ︓どの選択肢が最も多くの善を⽣み、最も少ない害をもたらすか︖ • 公益的アプローチ︓どの選択肢が⼀部の⼈だけでなく、地域社会全体のためになるのか︖ • 美徳的アプローチ︓どの選択肢が⾃分がなりたいと思う⼈間として⾏動することにつながるか︖ AIにおける倫理の議論を読む際、どの⽴場からの意⾒なのかに基づいて読み解くと理解が深まる

Lab All rights reserved. 27 第⼆の潮流︓信頼されるAI(Trusted AI) ・⼈⼯知能分野は単に判断精度が⾼いだけでは許されない・国・国際レベルでのAI社会原則・倫理指針の策定が進む・人間中心の原則・教育・リテラシーの原則・プライバシー確保の原則・セキュリティー確保の原則・公正競争確保の原則・公平性・説明責任・透明性の原則・イノベーションの原則「人間中心のAI社会原則」(日本政府が2019年3月に策定) 「信頼できるAIのための倫理ガイドライン（Ethics Guidelines for Trustworthy AI）」(欧州委員会) 「倫理的に配慮されたデザイン（Ethically Aligned Design）」(IEEE) 「次世代AIのためのガバナンス原則」(中国政府) 「人工知能に関するOECD原則」(経済協力開発機構:OECD)

31 Confidential © TDAI Lab All right reserved. Guidelines for
Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Human-AI Interaction

Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

34 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G7.
呼び出しやすい︓AIシステムのサービスを、必要な時に簡単に呼びだ出せるようにする例） • ⾳声アシスタントの起動にはシンプルに呼び掛ければよく、いつでも⾏うことができる • スワイプなどで推薦を再⽣成

すぐにAIの出⼒を無視できる仕組み例） • 不快なコンテンツが表⽰・レコメンドされた際、それをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくいのは良くない

すぐに間違いを直させることのできる仕組み例） • 不快なコンテンツが表⽰・レコメンドされた際報告し、修正できる • ⾳声アシスタントが書き起こした指⽰をユーザーが確認・修正できる⾳声アシスタント⽤のユーザーインターフェースを提供する。

不確実性を考慮し、挙動に制約を例） • スパム判定を⾏う際、判断できる情報が明らかに⾜りないのに勝⼿に判断してしまうのは良くない • ⽂章の⾃動補完の場合、複数候補を出すなど • ⾳声認識でノイズが酷い場合、聞き直すなど

なぜそのように挙動したのかを説明例） • レコメンドエンジンに「推奨理由」ボタンを設け、クリックするとシステムがその特定の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、⾳楽推薦では、似た曲や同じアーティストなど

説明性︓なぜそのように挙動したのかを説明例） • レコメンドエンジンに「推奨理由」ボタンを設け、クリックするとシステムがその特定の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、⾳楽推薦では、似た曲や同じアーティストなどどうやってAIの判断根拠を理解する︖

Lab All rights reserved. 40 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • NeurIPS 2020 • 予測対象と”類似した事例”をユーザーに提⽰する解釈性について、クラウドソーシングを⽤いて他の⼿法と解釈のしやすさを調査 • (例︓深層学習分類器の最終層特徴量におけるcosine類似度など)

Lab All rights reserved. 41 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • ⽂章での説明⽅法は「LIME」が70.4％と好まれました。 • また、画像、⾳声、感覚の分類では、それぞれ89.6％、70.9％、84.8％の割合で「例⽰による説明」が好まれた。

Lab All rights reserved. 42 説明責任に関する有識者の⾒解 • 私はAIに説明責任を負わせるべきかどうかについて、私の技術的専⾨知識に関連して答えると全くするべきではないと思います。 • 画像に歩⾏者が写っているかの判断で、AIシステムに「なぜそれを考えたのですか」と尋ねた際、⼈間が理解しやすい簡単な規則があるのであれば、そのような問題は、何年もずっと前に既に解決された問題だったでしょう。 • その代わりシステムをどのように信頼するかに応じて、そのシステムがどのように振る舞うかに基づいて規制する必要があります。 WIREDでのHinton⽒のインタビュー記事意訳 https://www.wired.com/story/googles-ai- guru-computers-think-more-like-brains/ この発⾔は、賛同もあった半⾯、多くの研究者から「Interpretableであることも、Explainableであることも放棄しかのようだ」と、批判的、懐疑的な意⾒も出ました。 https://www.forbes.com/sites/cognitiveworld/2 018/12/20/geoff-hinton-dismissed-the-need- for-explainable-ai-8-experts-explain-why-hes- wrong/#5d5f3796756d

Lab All rights reserved. 43 ⽂献紹介︓Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST • ACL 2020 Best Paper • 従来はtrain-test-validationでのみ精度評価が⾏われることが⼀般的 • そこでチェックリストを設けることで多⾯的に性能を評価しようという試み ◦ Min Func Test︓ユニットテスト的な発想 ◦ INVariance︓摂動に対する出⼒の頑健さ(⼊⼒が多少変わっても出⼒はかわらない) ◦ DIRectional︓出⼒を変えるような変更で出⼒が変わるか

Human-AI Interaction • AIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン • 「利⽤初期」, 「インタラクション中」, 「AIが間違えた時」, 「利⽤の経過につれて」の4つの段階 • AIサービスを作成する際もこれらのガイドラインを満たしているかの確認が重要

Confidential © TDAI Lab All rights reserved. ⾒逃しがちな事例︓これらの何に注意すべきなのか︖ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめを届けるサービスを開発 Xcorpは、より良い検索エンジン開発のために、クリック情報を元に検索エンジンの改善を⾏う
Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、各店舗に送る冊数を⾃動で決定する 47

Confidential © TDAI Lab All rights reserved. Position Based Model
(PBM) Examination 👀 Relevance💰 Click ✅ O=1 R=1 Y=1 O=1 R=0 Y=0 ̶ ̶ ̶ O=0 R=1 Y=0 O=0 R=1 Y=0 O=0 R=0 Y=0 安易にクリックをアノテーションに⽤いてはいけない Joachims et al. (2017): Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. (WSDM ʼ17) 52

56 Confidential © TDAI Lab All right reserved. 講演メッセージ3︓功利主義的な観点からの問いかけ •
このプロジェクトによって直接影響を受けるのは誰ですか︖間接的に影響を受けるのは誰か︖ • また、どのような種類の善と害があるのか︖ • 私たちは、関連するすべての種類の危害/利益（⼼理的、政治的、環境的、道徳的、認知的、感情的、制度的、⽂化的）について考えているか︖

Confidential © TDAI Lab All rights reserved. 本⽇のまとめ • AIにおける倫理を語る上で、それぞれの視点を紹介
◦ 功利主義・義務論... • 倫理的なAIは、技術⾯だけでなくUI・UXの観点からの設計が⼤事 ◦ 間違いをすぐ直せる仕組みなど ◦ どのような結果が解釈しやすい︖ • エンジニアが設計する最適化対象に、事前に考慮できていない変数がないか疑う必要 ◦ 知らない間にAIで誰かを不幸にしないために 57

Confidential © TDAI Lab All rights reserved. 59 Company Mission
⼤量のデータと最新のアルゴリズムの掛け合わせにより《今まで⼈間には分からなかったこと、データに眠る隠れた価値の発⾒》を⾏う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence

DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

More Decks by 株式会社TDAI Lab

Other Decks in Research

Featured

Transcript