Save 37% off PRO during our Black Friday Sale! »

DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

 DS協会8thシンポジウム「AIと倫理」機械学習を人間に適用する際に見落としやすい落とし穴

一般社団法人データサイエンティスト協会8thシンポジウム〜データサイエンスの最前線〜にて講演した資料になります。

2b1653e7910b85a3c5348b609d52ad8c?s=128

株式会社TDAI Lab

November 17, 2021
Tweet

Transcript

  1. Confidential © TDAI Lab All rights reserved. 1 AIと倫理 Tomoki

    Fukuma TDAI Lab Co., Ltd. CEO 機械学習を⼈間に適⽤する際に⾒落としやすい落とし⽳ ⼀般社団法⼈データサイエンティスト協会8thシンポジウム〜データサイエンスの最前線〜
  2. 2 Confidential © TDAI Lab All right reserved. 自己紹介 経歴

    2016年 株式会社TDAI Lab創業 (代表取締役社⻑) 2018年 東京⼤学⼤学院⼯学系研究科 修⼠課程修了 2021年 東京⼤学⼤学院⼯学系研究科 博⼠課程修了 興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年 東京⼤学総⻑賞受賞 2015年 全⽇本学⽣競技ダンス選⼿権 優勝 2020年 芸能⼈格付けチェック出演 ~2021年 全⽇本準強化指定選⼿ 著書 「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」 福⾺ 智⽣ Tomoki Fukuma @fukuma_tomoki
  3. 3 Confidential © TDAI Lab All right reserved. ⽬次 1.

    背景知識︓AIを信頼するための4つの柱 2. AIの倫理を語る上で必要な複数の観点 3. ケーススタディ1. AIの間違いにどう対処するか 4. ケーススタディ2. 気付かないうちにAIに苦しめられる事例
  4. 4 Confidential © TDAI Lab All right reserved. ⽬次 1.

    背景知識︓AIを信頼するための4つの柱 2. AIの倫理を語る上で必要な複数の観点 3. ケーススタディ1. AIの間違いにどう対処するか 4. ケーススタディ2. 気付かないうちにAIに苦しめられる事例
  5. 5 Confidential © TDAI Lab All right reserved. AI研究開発の潮流

  6. 6 Confidential © TDAI Lab All right reserved. AI研究開発の潮流

  7. 7 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要

    【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない ⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」
  8. 8 Confidential © TDAI Lab All right reserved. AI研究開発の潮流

  9. 9 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題(説明責任)

    【問題点2】AIのバイアス問題(公平性) 【問題点3】AIの脆弱性問題(堅牢性) 【問題点4】AIの品質保証問題(透明性) 社会応⽤を進める上での信頼されるAIの構築
  10. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 10 【問題点1】AIのブラックボックス問題(説明責任) https://towardsdatascience.com/explainable-artificial-intelligence- 14944563cc79
  11. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 11 【問題点2】AIのバイアス問題(公平性)
  12. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 12 【問題点2】AIのバイアス問題(公平性)
  13. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 13 【問題点3】AIの脆弱性問題(堅牢性)
  14. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 14 【問題点3】AIの脆弱性問題(堅牢性) https://www.ecva.net/papers/eccv_2018/papers_ECCV/papers/Dong_Su_Is_Robustness_the_ECCV_2018_pap er.pdf
  15. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 15 【問題点4】AIの品質保証問題(透明性) https://media.neurips.cc/Conferences/NIPS2018/Slides/jpineau-NeurIPS- dec18-fb.pdf
  16. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 16 【問題点4】AIの品質保証問題(透明性) https://media.neurips.cc/Conferences/NIPS2018/Slides/jpineau-NeurIPS- dec18-fb.pdf
  17. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 17 【問題点4】AIの品質保証問題(透明性) https://media.neurips.cc/Conferences/NIPS2018/Slides/jpineau-NeurIPS- dec18-fb.pdf
  18. 18 Confidential © TDAI Lab All right reserved. ⽬次 •

    背景知識︓AIを信頼するための4つの柱 • AIの倫理を語る上で必要な複数の観点 • ケーススタディ1. AIの間違いへの対処⽅法(解釈性) • ケーススタディ2. AIの運⽤の難しさ(フィードバックループ)
  19. 19 Confidential © TDAI Lab All right reserved. 規範倫理学の3つの理論

  20. 20 Confidential © TDAI Lab All right reserved. 規範倫理学の3つの理論 「功利主義」

    その⾏為が結果としてできる だけ多くの⼈をできるだけ幸 福にするか(最⼤多数の最⼤幸 福の達成) 「義務論」 その⾏為が特定の「義務」を 全うしているか 「徳倫理学」 ⾏為を⾏う⼈が「徳」を備えて いれば、それは⾏為によらず正 当化される(⾏為者に焦点)
  21. 21 Confidential © TDAI Lab All right reserved. これまでのAIは功利主義的に進化してきた •

    “過程”ではなく”結果”を重視 • より⼤きな社会的利益のためにAIが殺⼈を⾏うことを正当化 ◦ 1⼈の殺⼈で将来的に何千⼈もの命が救われるなら良い • 多くの損失関数が、学習データセット内の各データにおける損失の平均を使⽤ ◦ 功利主義的最適化 ◦ 差別をしていようが正解率が⾼いことが正義 • 学習データ内に偏りがあればマジョリティについて精度をあげることが優先
  22. Confidential © TDAI Lab All rights reserved. 性能の偏り 22

  23. Confidential © TDAI Lab All rights reserved. Bias In Bias

    Out 偏ったデータ + 単純な合計/平均 に基づく損失関数 Clean Algorithm Biased Algorithm BERT image is cited from https://arxiv.org/pdf/2004.06660.pdf 23
  24. 24 Confidential © TDAI Lab All right reserved. それら不公平なAIへの義務論的な⽴場からの⾮難 •

    義務論的⽴場は... ◦ “結果”ではなく”過程”を重視 ◦ 1⼈を殺すことで得られる将来の利益は、1⼈の⼈権のために無視するべき • たとえ性能が良くても、差別している時点でそのAIは正当化されない ◦ ⼈種・性別による差別は⼈権の侵害
  25. 25 Confidential © TDAI Lab All right reserved. 講演メッセージ1︓AIにおける倫理の議論を多⾯的に捉える AIにおける倫理を語る5つの眼差し

    • 権利的アプローチ︓どの選択肢が利害関係のある全ての⼈の権利を最も尊重するか︖ • 正義的アプローチ︓どの選択肢が⼈々を平等に、あるいは⽐例的に扱うか︖ • 功利主義的アプローチ︓どの選択肢が最も多くの善を⽣み、最も少ない害をもたらすか︖ • 公益的アプローチ︓どの選択肢が⼀部の⼈だけでなく、地域社会全体のためになるのか︖ • 美徳的アプローチ︓どの選択肢が⾃分がなりたいと思う⼈間として⾏動することにつながるか︖ AIにおける倫理の議論を読む際、 どの⽴場からの意⾒なのかに基づいて読み解くと理解が深まる
  26. 26 Confidential © TDAI Lab All right reserved. ⽬次 1.

    背景知識︓AIを信頼するための4つの柱 2. AIの倫理を語る上で必要な複数の観点 3. ケーススタディ1. AIの間違いにどう対処するか 4. ケーススタディ2. 気付かないうちにAIに苦しめられる事例
  27. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 27 第⼆の潮流︓信頼されるAI(Trusted AI) ・⼈⼯知能分野は単に判断精度が⾼いだけでは許されない ・国・国際レベルでのAI社会原則・倫理指針の策定が進む ・人 間中心の原則 ・教育・リテラシーの原則 ・プライバシー確保の原則 ・セキュリティー確保の原則 ・公正競争 確保の原則 ・公平性・説明責任・透明性の原則 ・イノベーションの原則 「人間中心のAI社会原則」(日本政府が2019年3月に策定) 「信頼できるAIのための倫理ガイドライン(Ethics Guidelines for Trustworthy AI)」(欧州委員会) 「倫理的に配慮されたデザイン(Ethically Aligned Design)」(IEEE) 「次世代AIのためのガバナンス原則」(中国政府) 「人工知能に関するOECD原則」(経済協力開発機構:OECD)
  28. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 28 「⼈間中⼼のAI社会原則」(⽇本政府が2019年3⽉に策 定) 国内外の議論及び国際的な議論の動向(令和元年5⽉資 料)
  29. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 29 「⼈間中⼼のAI社会原則」(⽇本政府が2019年3⽉に策 定) 国内外の議論及び国際的な議論の動向(令和元年5⽉資 料) どうやってそのようなAIを作る︖
  30. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 30 ガイドラインの策定
  31. 31 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富
  32. 32 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction
  33. 33 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富
  34. 34 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G7.

    呼び出しやすい︓AIシステムのサービスを、 必要な時に簡単に呼びだ出せるようにする 例) • ⾳声アシスタントの起動にはシンプルに呼び 掛ければよく、いつでも⾏うことができる • スワイプなどで推薦を再⽣成
  35. 35 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G8.

    すぐにAIの出⼒を無視できる仕組み 例) • 不快なコンテンツが表⽰・レコメンド され た際、それをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくい のは良くない
  36. 36 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G9.

    すぐに間違いを直させることのできる仕組み 例) • 不快なコンテンツが表⽰・レコメンド され た際報告し、修正できる • ⾳声アシスタントが書き起こした指⽰をユー ザーが確認・修正できる⾳声アシスタント⽤ のユーザーインターフェースを提供する。
  37. 37 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G10.

    不確実性を考慮し、挙動に制約を 例) • スパム判定を⾏う際、判断できる情報が明ら かに⾜りないのに勝⼿に判断してしまうのは 良くない • ⽂章の⾃動補完の場合、複数候補を出すなど • ⾳声認識でノイズが酷い場合、聞き直すなど
  38. 38 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G11.

    なぜそのように挙動したのかを説明 例) • レコメンドエンジン に「推奨理由」ボタン を設け、クリックするとシステムがその特定 の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、 ⾳楽推薦では、似た曲や同じアーティストな ど
  39. 39 Confidential © TDAI Lab All right reserved. AIが間違えた時に関するガイドライン G11.

    説明性︓なぜそのように挙動したのかを説 明 例) • レコメンドエンジン に「推奨理由」ボタン を設け、クリックするとシステムがその特定 の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、 ⾳楽推薦では、似た曲や同じアーティストな ど どうやってAIの判断根拠を理解する︖
  40. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 40 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • NeurIPS 2020 • 予測対象と”類似した事例”をユーザーに提⽰する解釈性について、クラウドソーシ ングを⽤いて他の⼿法と解釈のしやすさを調査 • (例︓深層学習分類器の最終層特徴量におけるcosine類似度など)
  41. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 41 ⽂献紹介︓How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • ⽂章での説明⽅法は「LIME」が70.4%と好まれました。 • また、画像、⾳声、感覚の分類では、それぞれ89.6%、70.9%、84.8%の割合で 「例⽰による説明」が好まれた。
  42. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 42 説明責任に関する有識者の⾒解 • 私はAIに説明責任を負わせるべきかどうかについて、私の 技術的専⾨知識に関連して答えると全くするべきではない と思います。 • 画像に歩⾏者が写っているかの判断で、AIシステムに「な ぜそれを考えたのですか」と尋ねた際、⼈間が理解しやす い簡単な規則があるのであれば、そのような問題は、何年 もずっと前に既に解決された問題だったでしょう。 • その代わりシステムをどのように信頼するかに応じて、そ のシステムがどのように振る舞うかに基づいて規制する必 要があります。 WIREDでのHinton⽒のインタビュー記事意訳 https://www.wired.com/story/googles-ai- guru-computers-think-more-like-brains/ この発⾔は、賛同もあった半⾯、多くの研究者から 「Interpretableであることも、Explainableである ことも放棄しかのようだ」と、批判的、懐疑的な意 ⾒も出ました。 https://www.forbes.com/sites/cognitiveworld/2 018/12/20/geoff-hinton-dismissed-the-need- for-explainable-ai-8-experts-explain-why-hes- wrong/#5d5f3796756d
  43. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 43 ⽂献紹介︓Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST • ACL 2020 Best Paper • 従来はtrain-test-validationでのみ精度評価が⾏われることが⼀般的 • そこでチェックリストを設けることで多⾯的に性能を評価しようという試み ◦ Min Func Test︓ユニットテスト的な発想 ◦ INVariance︓摂動に対する出⼒の頑健さ(⼊⼒が多少変わっても出⼒はかわらない) ◦ DIRectional︓出⼒を変えるような変更で出⼒が変わるか
  44. 44 Confidential © TDAI Lab All right reserved. 講演メッセージ2︓AIをデザインする難しさ •

    AIサービスを作る上で、UI・UXにまで思慮を巡らせた設計が必要 ◦ AIは間違えることを前提とし、⼈の⾃律性を尊重した設計 • 解釈性は、AIが間違えているかどうかを確かめるためのツール ◦ 画像・⾳・センサーには類似事例例⽰ ◦ テキストにはLIME
  45. 45 Confidential © TDAI Lab All right reserved. ⽬次 1.

    背景知識︓AIを信頼するための4つの柱 2. AIの倫理を語る上で必要な複数の観点 3. ケーススタディ1. AIの間違いにどう対処するか 4. ケーススタディ2. 気付かないうちにAIに苦しめられる事例
  46. 46 Confidential © TDAI Lab All right reserved. Guidelines for

    Human-AI Interaction • AIと⼈間が相互作⽤するAIシステムをデザインするための16個のガイドライン • 「利⽤初期」, 「インタラクション中」, 「AIが間違えた時」, 「利⽤の経過につれて」の4つの段 階 • AIサービスを作成する際もこれらのガイドラインを満たしているかの確認が重要
  47. Confidential © TDAI Lab All rights reserved. ⾒逃しがちな事例︓これらの何に注意すべきなのか︖ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめを届けるサービスを開発 Xcorpは、より良い検索エンジン開発のために、クリック情報を元に検索エンジンの改善を⾏う

    Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、 各店舗に送る冊数を⾃動で決定する 47
  48. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 48 需要予測による最適化による本屋の魅⼒減少の可能性 本当に需要予測は問題の解決策であろうか︖ https://jpn.nec.com/vci/optimization/ ai.html
  49. Confidential © TDAI Lab All rights reserved. ⾒逃しがちな事例︓これらの何に注意すべきなのか︖ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめを届けるサービスを開発 Xcorpは、より良い検索エンジン開発のために、クリック情報を元に検索エンジンの改善を⾏う

    Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、 各店舗に送る冊数を⾃動で決定する 49
  50. Confidential © TDAI Lab All rights reserved. Presentation Bias 50

  51. Confidential © TDAI Lab All rights reserved. Presentation Bias 51

  52. Confidential © TDAI Lab All rights reserved. Position Based Model

    (PBM) Examination 👀 Relevance💰 Click ✅ O=1 R=1 Y=1 O=1 R=0 Y=0 ̶ ̶ ̶ O=0 R=1 Y=0 O=0 R=1 Y=0 O=0 R=0 Y=0 安易にクリックをアノテーションに⽤いてはいけない Joachims et al. (2017): Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. (WSDM ʼ17) 52
  53. Confidential © TDAI Lab All rights reserved. ⾒逃しがちな事例︓これらの何に注意すべきなのか︖ Xcorpは、ユーザーのニュースを読んだ履歴によって、おすすめを届けるサービスを開発 Xcorpは、より良い検索エンジン開発のために、クリック情報を元に検索エンジンの改善を⾏う

    Xcorpは、出版取次業の返本率解消のために、各書店での売上を予測するモデルを開発し、 各店舗に送る冊数を⾃動で決定する 53
  54. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 54 Secondary Biasによる多様性の減少
  55. Confidential © TDAI Lab All rights reserved. Confidential © TDAI

    Lab All rights reserved. 55 Secondary Biasによる多様性の減少 Spotifyの研究で視聴する曲の多様性が低いユーザーは、 解約率・課⾦しにくいなどの結果
  56. 56 Confidential © TDAI Lab All right reserved. 講演メッセージ3︓功利主義的な観点からの問いかけ •

    このプロジェクトによって直接影響を受けるのは誰ですか︖間接的に影響を受けるのは誰か︖ • また、どのような種類の善と害があるのか︖ • 私たちは、関連するすべての種類の危害/利益(⼼理的、政治的、環境的、道徳的、認知的、感 情的、制度的、⽂化的)について考えているか︖
  57. Confidential © TDAI Lab All rights reserved. 本⽇のまとめ • AIにおける倫理を語る上で、それぞれの視点を紹介

    ◦ 功利主義・義務論... • 倫理的なAIは、技術⾯だけでなくUI・UXの観点からの設計が⼤事 ◦ 間違いをすぐ直せる仕組みなど ◦ どのような結果が解釈しやすい︖ • エンジニアが設計する最適化対象に、事前に考慮できていない変数がないか疑う必要 ◦ 知らない間にAIで誰かを不幸にしないために 57
  58. Confidential © TDAI Lab All rights reserved. Company 58

  59. Confidential © TDAI Lab All rights reserved. 59 Company Mission

    ⼤量のデータと最新のアルゴリズムの掛け合わせに より《今まで⼈間には分からなかったこと、データ に眠る隠れた価値の発⾒》を⾏う Vision “Augment Intelligence”(拡張知能) : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence
  60. Confidential © TDAI Lab All rights reserved. 60 Contact Us

    @fukuma_tomoki https://tdailab.com/contact https://www.wantedly.com/c ompanies/company_2215096 /projects