深層学習における予測の不確実性・入門 - Uncertainty in Deep Neural Networks - 太田真人 2021/11/10 (水) 1

全体のゴール 1. 予測の不確実性の重要性を知る 2. 予測の不確実性には2種類あることを知る 3. データの不確実性とモデルの不確実性の性質を理解する 4. それぞれの不確実性を用いた応用アプリケーションを知る 5. 不確実性の定量化手法を理解する 6. 問題に応じて不確実性の定量化手法が選択できるようになる 2

要約 3

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 4

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 5

予測の不確実性とは • モデル内外部で発生する確率的な要因による予測のばらつき（信頼度） • ばらつきが大きいほど，不確実性の推定値は大きい（信頼度は低い） 不確実性：大 回帰の例 分 類 確 率 c1 c2 c3 c1 c2 c3 AAACa3ichVG7SgNBFD1ZX3F9RW1ELcQQtQqzFhqsAjaWvqKBJMjuOuqQfbE7CcbgD1jaWGijICJ+ho0/YOEniFgp2Fh4d7MgKupdZufMmXvunLljeJYIJGMPCaWtvaOzK9mt9vT29Q+kBoc2Arfmm7xgupbrFw094JZweEEKafGi53PdNiy+aVQXw/3NOvcD4TrrsuHxiq3vOmJHmLokqlguqfvTarmylUqzLIti4ifQYpBGHMtu6gplbMOFiRpscDiQhC3oCOgrQQODR1wFTeJ8QiLa5ziEStoaZXHK0Imt0n+XVqWYdWgd1gwitUmnWDR8Uk4gw+7ZNXthd+yGPbL3X2s1oxqhlwbNRkvLva2Bo5G1t39VNs0Se5+qPz1L7CAXeRXk3YuY8BZmS18/OHlZW1jNNKfYBXsi/+fsgd3SDZz6q3m5wldPodIDaN/b/RNszGa1uay2MpvO5+KnSGIMk5ihfs8jjyUsoxD1+RinOEs8K8PKqDLeSlUSsWYYX0LJfABYVIvj x0 AAACanichVG7SgNBFD1ZX3F9RW0UGzFGrMKshYpVwMbSV4yQhLC7TnTIvtidBDX4A3ZWglYKIuJn2PgDFn6CaKdgY+HdzYJoUO8wM2fO3HPnzIzhWSKQjD0mlI7Oru6eZK/a1z8wOJQaHtkK3Lpv8rzpWq6/begBt4TD81JIi297Ptdtw+IFo7Yc7hca3A+E62zKA4+XbX3XEVVh6pKoQqmo7qulciWVZlkWxWQ70GKQRhyrbuoaJezAhYk6bHA4kIQt6AioFaGBwSOujCZxPiER7XMcQSVtnbI4ZejE1mjcpVUxZh1ahzWDSG3SKRZ1n5STyLAHdsNe2T27ZU/s49dazahG6OWAZqOl5V5l6Hhs4/1flU2zxN6X6k/PElUsRl4FefciJryF2dI3Dk9fN5bWM80Zdsmeyf8Fe2R3dAOn8WZerfH1c6j0AdrP524HW3NZbT6rrc2lc4vxVyQxgSnM0nsvIIcVrCIfuTvBGc4TL8qIMq5MtFKVRKwZxbdQpj8B4yuLsg== x 不確実性：小 分類の例 不確実性：小 不確実性：大 ※厳密にはデータの不確実性 6

AI (ML/RL) における不確実性のインパクト BERT，GPT-3 ViT， NeRF Sim2real，Offline RL Uncertainty, Calibration https://www.itoenhotel.com/newsakura/cuisine/ GCN, Embeddings • 他の技術と比較すると解決できる課題のインパクトは小さい。 7

研究界隈で取り組みが盛んに 0 5 10 15 20 25 30 Bayesian Uncertain AAAI 2017 2018 2019 2020 2021 • 「不確か」や「ベイズ」が論文のタイトルに年々多く含まれている。 • 非構造化データに対する予測の不確実性の定量化，分布外検知（OOD），分布シフト 0 10 20 30 40 50 60 Bayesian Uncertain NeurIPS 2017 2018 2019 2020 2021 8

MLシステムにおける不確実性のインパクト https://7-11net.omni7.jp/detail/341649 https://liginc.co.jp/299065 BERT U-Net GCN DQN ViT GAT MADDPG MoCo VAE SoTA Model Uncertainty • MLシステムにおいては多くのモデルに適用できて汎用性が高くインパクトが大きい。 9

MLシステムの開発プロセス・原則 MLシステムを開発するプロセスや基準は多くある。 • CRISP-ML(Q) (MLOps) • Machine Learning Technology Readiness Levels (MLTRL) • Azure 責任のある AI の原則 どれに準拠するにせよ、予測の不確実性が重要な役割を果たす。 一つずつ、不確実性の役立つ場面を紹介します。 10

CRISP-ML(Q) CRoss-Industry Standard Process model for the development of Machine Learning applications with Quality assurance methodology 製品やサービスの一部としてML モデルを展開・管理するアプリ ケーションのプロセス https://ml-ops.org/content/crisp-ml#machine-learning-model-engineering Monitoring & Maintenance Business & Data Understanding [Studer 21] 11

CRISP-ML(Q) データ準備 • 特徴選択 • データ選択 • クラス不均衡対策 • データクリーニング モデルの評価 • モデルの性能の検証 • ロバスト性の検証 • モデルの説明性を高める 監視・メンテナンス • 予測の性能と有効性を監 視 • モデルの再学習 • 新データを収集 • 新データのラベル付け 赤字が予測の不確実性を活用することで解決または補助できると考えてます。 12

CRISP-ML(Q)での不確実性の役割 データ準備：能動学習、ノイズの多いデータの再ラベリング • モデルが知らない、わからないサンプルを不確かさの大きさをもとに判断 評価：予測の信頼性 • 予測の信頼度をもとに、人間が判断するか、MLの結果を信じるか判断 監視・メンテナンス：再学習の判断 • モデルの劣化を推論時の予測の不確かさの高いサンプル数から判断 予測の不確実性を用いることで、次の意思決定につながる 先ほどの項目でどのように不確実性を活用するのか説明する。 13

Machine Learning Technology Readiness Levels • NASAが1974年に提唱した開発プロセスの機械学習版 • MLTRLは研究からプロトタイピング，製品化，デプロイまでを網羅 • 2021/1/11 https://arxiv.org/abs/2101.03989 共著者が豪華 14

MLTRLの10 ステップ 基礎研究 斬新なアイデア 新しい角度から問題を突く 特定のモデルやアルゴリズムの 特性を分析する実験を設計 積極的な研究開発が開始され、 主にテストベッドでの開発 コードのチェックポイント 相互運用性、信頼性、保守性、拡張性、スケーラビリティ 実際のシナリオの中で技術を実証 前提条件と制限の確認、 セキュリティやプライバシーへの配慮 研究開発から製品化への技術移行 製品指向のV&V コードを製品レベルに 引き上げ 仕様書、包括的なテスト 明確に定義されたAPI 製品統合・CIを実現 明確なテストを定義 ゴールデンデータセット メタモルフィックテスト 期待される条件下で動作することを実証 継続的なデプロイメント（CD） ブルー/グリーンデプロイメントテスト A/Bテスト、シャドーテスト、カナリアテスト 現在のバージョンを監視し、 次のバージョンの改善に向けて検討 データの品質を常に監視する データ品質、コンセプトドリフト、データドリフト 研究 開発 実証 運用 [Lavin 21] 不確実性の活用場面を赤枠で示す。 15

MLTRLでの不確実性の役割 • Level 4 PoC Development（前提条件と制限の確認） • データもとの不確実性を定量化し、原因もとを見つけ、タスクの制限を知る。 • センサーノイズや欠陥のあるセンサーからデータの不確実性が生まれる。 • アノテーションやデータ取得方法（撮影）ではヒューマンエラーが起こる。 • Level 9 Deployment • 与えられるデータの品質とモデルの推論結果を監視する。 • データの傾向の変化、モデルの予測の信頼性の確認に不確実性を活用する。 先ほどの項目でどのように不確実性を活用するのか説明する。 16

Azureの責任のある AI の原則 • 透明性 • 信頼性と安全性 • 説明責任 • 公平性 • セキュリティとプライバシー • 包括性 予測の不確実性を導入すると満たせる場合が多い 17

Azureの責任のある AI の原則：透明性 • AI システムの判断基準を人々が理解できるようにする。 そのために、不確実性の定量化が必要。 • 訓練データから「知らない」「わからない」を定量化でき、透明性が上がる。 • わからない：似たデータを知っているが、ばらつきが多く予測を一意に定められない。 • 知らない：訓練データでは、似たデータを見たことがなく、予測に自信がない。 「知らない」 「わからない」 [Amini 19] 18

Azureの責任のある AI の原則：信頼性と安全性 • AI システムは信頼され、予期せぬ状況下でも安全に機能しなければいけない。 ML for Cybersecurity 予測値の信頼 大規模モデルの調査 異常検知による警告 Long tail 頑健性 環境の変化への適応 報酬設計 公平性・倫理 [Hendrycks 21] 19

Azureの責任のある AI の原則：説明責任 • AI システムをデプロイする人は、システムの動作について説明責任を負う。 • 不確実性を定量化することで、予測の説明をすることができる。 • ベイズモデリングは、グラフィカルモデルで語ることができる。 以下の例では、何の不確実性を定量化するかによって予測結果の説明がそれぞれできる。 予測結果：クラスc1 説明 「訓練データの中で似たデータが、クラスc1に分類されていたのを知っていたから」 「訓練データの中で似たデータが、クラスc1とc2に分類されていて，わからなかったから」(Aleatoric) 「訓練データの中で似たデータが、なかったから」(Epistemic) 20

補足：Data-Centric AI モデル の学習 エラー 分析 データ の改善 不確実性のインパクトが今より大きくなる可能性を秘めている。 DeepLearing.AI のAndre Ng先生が提唱 モデルを固定したもとで繰り返しデータ品質の改善 • 新しいサンプル収集, データ拡張, ラベリング https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps-From-Model-centric-to-Data-centric-AI.pdf 21

Data-Centric AIでの不確実性の応用 • ラベルの一貫性 分類境界付近のデータを再確認 • 入力データの多様性 未知データの探索 データの不確実性 モデルの不確実性 [Gawlikowski 21] 22

まとめ：不確実性の重要性を知る。 予測の不確実性を活用することで、MLシステムをより改善できると考える。 今回は、以下３つの開発基準のどこで不確実性を活用できるか説明した。 • CRISP-ML(Q) (MLOps) • Machine Learning Technology Readiness Levels (MLTRL) • Azure 責任のある AI の原則 具体的には、以下で役立つ。 • アノテーションや計測の限界といったデータの準備 • 予測結果の説明性や評価 • データの性質が変化していないかの監視 23

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 24

不確実性の例 回帰 分類 データの不確実性 モデルの不確実性 データの不確実性 モデルの不確実性 [Gawlikowski 21] 25

データの不確実性（ Data Uncertainty ） • データに直接起因する不確実性（Aleatoric Uncertaintyともいう） • 分類問題：分類境界付近のデータ • 回帰問題：出力値にノイズが多いデータ • 観測データを増やしてもデータの不確実性は減少しない なぜ必要？ 収集したデータ集合の限界が知れるから 意思決定の例：センサーを変える，データクリーニング 26

モデルの不確実性（ Model Uncertainty ） データ不足やモデルの欠点によって生じる不確実性 • 学習手順，NNの構造，未知のサンプルや学習データの網羅性の低さによる知識不足 • 上記を改善することで（理論的には）モデルの不確実性が減少する なぜ必要？ どの訓練データを追加で取得する必要があるか分かる 過去のデータにない（モデルがまだ知らない）データを特定できるから 意思決定の例：データ収集，推論モデルの変更 27

ドメインシフト不確実性（Domain-shift Uncertainty） モデルの不確実性の一つ • 訓練データ分布からシフトした分布より得られた入力に関する不確実性 • 原因：訓練データのカバー率が不十分，実世界の環境の変化に依存 • 対策：事前にドメインシフトに対応するデータ拡張を行いDNNを学習 • 懸念：ドメインシフトの不確実性の原因となるすべての誤差をモデル化することは困難 ドメインシフトの例 28

分布外の不確実性（Out-of-domain Uncertainty） モデルの不確実性の一つ • 学習データに含まれないクラスの未知データに関連する不確実性 • 特性：未知データの分布は学習分布とは異なり，ドメインシフトよりも遠く離れている • 原因：DNNがドメイン外の知識を持っていないため • 対策：未知データも予測する必要がある場合，新たなクラスの教師データを追加 CIFAR-10で学習し，SVHNがOODとなる例 29

数学的な表記 事前に人間が仮定：事前確率 観測データとDNN：尤度関数 損失関数やサンプリング：事後分布 未知データに対して予測：予測分布 AAACdHichVHLTsJAFD3UF9YHqBsTXRAJBjdkykKJKxM3LlUETICQtg7QUNqmHUiQ+AP+gAtXGo0xfoYbf8AFn2BcYnTjwktpYtSot5nOmTP33DkzV3NMwxOM9ULSyOjY+ER4Up6anpmNROfm857dcnWe023Tdg811eOmYfGcMITJDx2Xq03N5AWtsT3YL7S56xm2dSA6Di831ZplVA1dFURVopFSUXaSJVHnQl2TS+VKNM5SzI/YT6AEII4gdu3oDUo4gg0dLTTBYUEQNqHCo68IBQwOcWV0iXMJGf4+xwlk0rYoi1OGSmyD/jVaFQPWovWgpuerdTrFpOGSMoYEe2S3rM8e2B17Yu+/1ur6NQZeOjRrQy13KpHTxezbv6omzQL1T9WfngWqyPheDfLu+MzgFvpQ3z4+62c39xPdVXbJnsn/Beuxe7qB1X7Rr/f4/jlkaoDy/bl/gnw6paynlL10fCsTtCKMJawgSe+9gS3sYBc5vyfnuMJ16FValuJSYpgqhQLNAr6ElPoAJ0mO7g== p(✓) AAACuXichVG7ThtBFD1sAoENDydpkGgsLJDdWLMuEpQoElIoKHkZkLyWNTuM8cK+tDu2RBb/QH4gBRVICCH+IG0afoCCLi1QgpSGguv1Il4C7mhm7pw5586ZGStw7EgxdtqjvXnb2/euf0B/Pzg0PJL58HE58puhkGXhO364avFIOrYny8pWjlwNQsldy5Er1uaPzv5KS4aR7XtLaiuQVZeve3bdFlwRVMssmRU9yJuqIRXfjk2Xq4bgTnamXfhu1kMu4iB/H93uMgu3kkL7EaHQ1s1qLZNjRZZE9mlipEkOacz5mQOYWIMPgSZcSHhQlDvgiKhVYIAhIKyKmLCQMjvZl2hDJ22TWJIYnNBNGtdpVUlRj9admlGiFnSKQz0kZRYT7IQdskt2zI7YGbt+tlac1Oh42aLZ6mplUBv5Nbr4/1WVS7NC4071omeFOqYSrzZ5DxKkcwvR1bd+/r5c/LowEU+yPXZB/nfZKftLN/BaV2J/Xi7sQKcPMB4/99NkuVQ0PheN+VJueir9in6MYRx5eu8vmMYs5lCmc//gH85wrn3TuNbQNrpUrSfVfMKD0KIbDx+qmw== p(✓|D) = p(D|✓)p(✓) p(D) AAACpXichVFNaxNBGH6yVduuH431UvCyGKoRJMz2oEUIBOzBi9KvpIVsXGa302bp7uywOwnGTf5A/4AHTwoq4s/w4sFrCv0JxWMFLx58s1kQLeo7zMwzz7zPO8/MeCoMUs3YScmYuXDx0uzcvHn5ytVrC+Xri6007iW+aPpxGCe7Hk9FGEjR1IEOxa5KBI+8UOx4h48m+zt9kaRBLLf1QIlOxA9ksB/4XBPllhtO21TVzIm47vo8tNZGQ0d3heZ3rbrlqCTeczNZt0fPsqcjS1UHrhw+d+W9Isd0Om65wmosD+s8sAtQQRHrcfk9HOwhho8eIghIaMIhOFJqbdhgUMR1kBGXEAryfYERTNL2KEtQBif2kMYDWrULVtJ6UjPN1T6dElJPSGlhmY3ZB3bGPrOP7JT9+GutLK8x8TKg2ZtqhXIXjpa2vv9XFdGs0f2l+qdnjX2s5l4D8q5yZnILf6rvv3h5tvVwczm7zd6wr+T/NTthn+gGsv/Nf7shNl/BpA+w/3zu86C1UrPv1+yNlUpjtfiKOdzELVTpvR+ggcdYR5POfYcvGOPYuGM8MbaN1jTVKBWaG/gtDPcn2lGh0g== p(D|✓) = N Y n=1 p(yn |xn, ✓) AAACuXichVG7ThtBFD1sHpAliU1oIqVZYYEMiqxZCkCJkJCgoAQbA5LXWLPLYA/sS7tjK47hB/gBCiqQIoTyB2nT5AdS0NFCSiKlScH17kqIoCR3tTNnzr3nzpkZO3RlrBi7GNAePX7ydHDomT78/MXLXH7k1XoctCNHVJ3ADaJNm8fClb6oKqlcsRlGgnu2KzbsvcV+fqMjolgG/prqhqLu8aYvd6TDFVGN/JpV08Nid2tq/8PW1Nue5XHVcrhrLB1MGvOGYUlfGXd5S7WE4pNhMQX79+q3U1K36o18gZVYEsZDYGaggCxWgvwZLGwjgIM2PAj4UIRdcMT01WCCISSujh5xESGZ5AUOoJO2TVWCKjixezQ2aVXLWJ/W/Z5xonZoF5f+iJQGxtl3ds5u2Df2mV2x33/t1Ut69L10abZTrQgbucPXlV//VXk0K7TuVP/0rLCDucSrJO9hwvRP4aT6zsejm8q78nhvgp2yH+T/hF2wr3QCv/PT+bQqysfQ6QHMP6/7IVifLpkzJXN1urAwlz3FEN5gDEW671ksYBkrqNK+X3CJK1xr7zWutbTdtFQbyDSjuBdafAvkDKjB p(y⇤|x⇤, D) = Z p(y⇤|x⇤, ✓)p(✓|D)d✓ AAACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtoxERzVcfkJpZkJCfmKLjUKtgqxFRXxOfpVMbnxdTGV+fZGtbG+XHFxMYLKBvoGYCBAibDEMpQZoCCgHyB5QwxDCkM+QzJDKUMuQypDHkMJUB2DkMiQzEQRjMYMhgwFADFYhmqgWJFQFYmWD6VoZaBC6i3FKgqFagiESiaDSTTgbxoqGgekA8ysxisOxloSw4QFwF1KjCoGlw1WGnw2eCEwWqDlwZ/cJpVDTYD5JZKIJ0E0ZtaEM/fJRH8naCuXCBdwpCB0IXXzSUMaQwWYLdmAt1eABYB+SIZor+savrnYKsg1Wo1g0UGr4HuX2hw0+Aw0Ad5ZV+SlwamBs1m4AJGgCF6cGMywoz0DM30DAONlB0soFHBwSDNoMSgAQxvcwYHBg+GAIZQoL19DFsY9jLsY+JnMmWyYbKDKGVihOoRZkABTO4A4eOYCw== D = {xn, yn }N n=1 AAACenichVHLSsNAFD2NrxpfVREEN6VFqQhlIqKiCIIbl221KrSlJHGqwTQJybRYiz/gD7hwpSCi/Qw3/oCLfoK4VHDThbdpQLSod5iZM2fuuXNmRnNMwxOMNUNST29f/0B4UB4aHhkdi4xP7Hl2xdV5VrdN2z3QVI+bhsWzwhAmP3BcrpY1k+9rJ1vt/f0qdz3DtnZFzeGFsnpkGSVDVwVRxchUPifXohvRUuJ0PS+OuVDn5XyhGImzJPMj2g2UAMQRRMqO3CGPQ9jQUUEZHBYEYRMqPGo5KGBwiCugTpxLyPD3Oc4hk7ZCWZwyVGJPaDyiVS5gLVq3a3q+WqdTTOouKaOYZc/snr2xJ9ZgL6z1a626X6PtpUaz1tFypzh2Mb3z8a+qTLPA8ZfqT88CJaz6Xg3y7vhM+xZ6R189u3zbWcvM1ufYDXsl/9esyR7pBlb1Xb9N88wVZPoA5edzd4O9xaSynFTSi/HN1eArwphBDAl67xVsYhspZOncOq7xgEaoJcWkeWmhkyqFAs0kvoW09AljS5DJ y = f(x; ✓) 準備 学習 推論 AAAC1XichVFNaxQxGH53tB+OH93qRfASXCrbIkumBy09FezBi9APt1vYbIfMNLsbOh9hJrt0jXMrHrx49OBJQUT8GV78Axb6E4rHCl568J0PEC3qG5I8efI+b54kngpkqik9qVmXLk9Nz8xesa9eu35jrj5/cyeNR4kv2n4cxMmux1MRyEi0tdSB2FWJ4KEXiI538Cjf74xFkso4eqonSvRCPohkX/pcI+XWFevajCuVxIeE9RPuGyczTzLC0lHoGsP0UGieuUbmlAyJapbUc8NCroc+D8h6tpgRxQLR183J3hJhodwn5jDbW7pPymRXskQOhnrRZj233qAtWgS5CJwKNKCKjbj+ARjsQww+jCAEARFoxAFwSLF1wQEKCrkeGOQSRLLYF5CBjdoRZgnM4Mge4DjAVbdiI1znNdNC7eMpAfYElQQW6Ff6kZ7RL/QTPaXnf61lihq5lwnOXqkVyp17eXv7x39VIc4ahr9U//SsoQ8rhVeJ3lXB5LfwS/342euz7dWtBXOPvqPf0P9bekI/4w2i8Xf//abYegM2foDz53NfBDvLLedBy9lcbqytVF8xC3fgLjTxvR/CGjyGDWjjucdwXpuqTVsdK7OOrBdlqlWrNLfgt7Be/QQFDbQz ⇡ 1 M X ✓i ⇠p(✓|D) p (y⇤ | x⇤, ✓i) (モンテカルロ近似) 30

• データの不確実性の指標 • 最大クラス確率，エントロピー • モデルの不確実性の指標 • 予測確率の分散 c 不確実性の定量化指標 入 力 x の 分 類 確 率 c1 c2 c3 c1 c2 c3 データの不確実性：大 最大クラス確率が小さい エントロピーが大きい データの不確実性：小 最大クラス確率が大きい エントロピーが小さい モデル１ モデル２ モデル３ モデルの不確実性：大 どのクラスも予測の分散が大きい c1 c2 c3 31

今日のゴール 1. 予測の不確実性の重要性を知る 2. 予測の不確実性には2種類あることを知る 3. データの不確実性とモデルの不確実性の性質を理解する 4. それぞれの不確実性を用いた応用アプリケーションを知る 5. 不確実性の定量化手法を理解する 6. 問題に応じて不確実性の定量化手法が選択できるようになる 32

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 33

予測の不確実性が役立つ場面 人命に関わるAIシステム • 自動運転，医療画像解析，ロボット ノイズの多いデータを扱う領域 • 衛星データ，様々なセンサデータ AIシステムのデータ準備・推論・運用 • データのラベル付け，推論データの変化検知 34

医療画像 • 病気の位置を不確実性付きで発見 4つのボクセルベースの不確実性指標を出力 • 大規模なアノテーション付きデータセットの不足（ラベル付けが高コスト） • 安全なAIのために説明性としても不確実性が重要 • U –Netに不確実性を加え，異常検知 [Reinhold 20] [Nair 20] 35

自動運転 • 安全なAIが重要な領域で説明性が求められる • 車載カメラの映像から意思決定を行うために不確実性を活用 Bayesian SegNetの結果 [Kendall 15] 入力 真値 予測 不確実性 予測× 不確実性大 不確実性小 予測○ 36

ロボット（深層強化学習） • ロボットが未知の環境と相互作用する場合，行動価値の不確実性を推論することで， 危険な行動をせずにすむ • 環境の変化に対して， Out-of-Distribution（OOD）検出時に不確実性を用いる 自動運転における意思決定の不確実性を推定 [Sedlmeier 19] 予測分散が閾値以下となるQ値の平均が高い行動をとる アンサンブル 37

地球観測衛生画像 Terraで観測した植生指標 (NDVI) の時系列予測 [Ruβwurm 20] • 地理的なエリアの違いや季節の違いから，未観測クラスや分布外（OOD）サンプルが多い • 観測値にノイズが多く，サンプル数が少ないため，不確実性が重要 テスト時に未知クラスサンプルを識別 [Gawlikowski 21] In-domain 訓練OOD テストOOD 都市と植生 岩と道路 水 38

アノテーション（能動学習） • 一般的にデータのラベル付けは高コスト • どのデータにラベル付けるかにモデルの不確実性を用いる Active Learning [Zeng 18] 1. 少数のラベル付きデータでモデル学習 2. ラベルなしデータの不確実性を予測 3. 不確実性に依存する獲得関数からラベル付けのデータ選択 39

データクリーニング • 間違ったラベルは予測モデルの精度を落とす • 膨大なデータの中でラベル付けが間違っているサンプルを見つける可能性がある ラベル：犬 CIFAR-10 ラベル：猫 40

モデルの監視・運用 • データ分布が変化すると予測性能が低下 • モデルの不確実性からOODサンプルの検知数を基準に再学習可能 Concept drift検出 [Lucas 21] • Uncertainty Drift Detection（UDD） 予測の不確実性が大きくなるタイミングでドリフト検出し再学習． Dataset shift (train/test依存) Concept drift (時刻依存, 入力非依存) Covariate shift (入力の変化) AAACh3ichVE9S8NAGH6MXzV+tOoiuJQWRUHqpYOKU8XFsX5UhbaUJJ4amiYxuRZrcRf/gIOTgogIrrq7+Acc+hPEUcHFwTdpQFTU97i75557n/eeu9Mc0/AEY802qb2js6s70iP39vUPRGODQ+ueXXV1ntNt03Y3NdXjpmHxnDCEyTcdl6sVzeQbWnnR39+ocdczbGtN1B1erKg7lrFt6KogqhRLFPJyttQQ7uHE/lR9Ml6w+F7cJ3iLkAvFUizJUiyI+E+ghCCJMLJ27BIFbMGGjioq4LAgCJtQ4VHLQwGDQ1wRDeJcQkawz3EImbRVyuKUoRJbpnGHVvmQtWjt1/QCtU6nmNRdUsYxxh7ZFXthD+yaPbH3X2s1ghq+lzrNWkvLnVL0eGT17V9VhWaB3U/Vn54FtjEXeDXIuxMw/i30lr52cPKyOr8y1hhn5+yZ/J+xJrunG1i1V/1ima+cQqYPUL4/90+wnk4pMyllOZ3MzIVfEcEoEpig955FBkvIIkfnHuEGt7iTeqRpaUYKc6W2UDOMLyEtfACVpZVD Ptr(x, y) 6= Pte(x, y) AAACiXichVHLLgRBFD3au70GG4nNxCAkMrltwcRKYmM5HoNkZtLpboWOnu7WXTMxJn7AD1hYkYiIjS1bGz9g4RPEksTGwp2eTgTBrVTVqVP33DpVZfqOHUqixyaluaW1rb2jU+3q7untS/QPrIVeObBEzvIcL9gwjVA4tity0paO2PADYZRMR6ybuwv1/fWKCELbc1dl1RfFkrHt2lu2ZUim9MRoIa9m9ZrU6XBif6o6mSy4Yi8ZMVqDUQtFPZGiNEWR/Am0GKQQR9ZLXKCATXiwUEYJAi4kYwcGQm55aCD4zBVRYy5gZEf7AodQWVvmLMEZBrO7PG7zKh+zLq/rNcNIbfEpDveAlUmM0QNd0gvd0xU90fuvtWpRjbqXKs9mQyt8ve9oaOXtX1WJZ4mdT9WfniW2kIm82uzdj5j6LayGvnJw/LIytzxWG6czemb/p/RId3wDt/JqnS+J5ROo/AHa9+f+Cdam09pMWluaTs1n4q/owDBGMMHvPYt5LCKLHJ97hGvc4FbpUjQlo8w1UpWmWDOIL6EsfACBIZWf Pt0 (x, y) 6= Pt1 (x, y) AAACiXichVHLLgRBFD3au70GG4nNxCBsJrctmFhJbCzHY5DMTDrdrdDR0926aybG8AN+wMKKRERsbNna+AELnyCWJDYW7vR0IghupapOnbrn1qkq03fsUBI9NinNLa1t7R2dald3T29fon9gNfTKgSVylud4wbpphMKxXZGTtnTEuh8Io2Q6Ys3cma/vr1VEENqeuyKrviiWjC3X3rQtQzKlJ0YLeTWr16ROhxPVg73JZMEVu8mI0RqMWijqiRSlKYrkT6DFIIU4sl7iAgVswIOFMkoQcCEZOzAQcstDA8FnrogacwEjO9oXOITK2jJnCc4wmN3hcYtX+Zh1eV2vGUZqi09xuAesTGKMHuiSXuieruiJ3n+tVYtq1L1UeTYbWuHrfUdDy2//qko8S2x/qv70LLGJTOTVZu9+xNRvYTX0lf3jl+XZpbHaOJ3RM/s/pUe64xu4lVfrfFEsnUDlD9C+P/dPsDqV1qbT2uJUai4Tf0UHhjGCCX7vGcxhAVnk+NwjXOMGt0qXoikZZbaRqjTFmkF8CWX+A8n0lj8= Pt0 (y|x) 6= Pt1 (y|x) AAACg3ichVHLSsNAFD1GqzW+qm4EQYpFUYQyKaIiCAU3LuujWmhLSeKowTSJybRYS3eu/AEXrhRE1KX+gRt/wIWfIC4V3LjwJg2IinpDZs49c8+dMzOaYxqeYOyxRWpti7R3RDvlru6e3r5Y/8C6Z1dcnWd127TdnKZ63DQsnhWGMHnOcbla1ky+oe0u+usbVe56hm2tiZrDi2V12zK2DF0VRJViI4W8nCnVhduY2J+MFyy+F/dT7qdyoViKJViSBRH/CZQQJBBGxo5doIBN2NBRQRkcFgRhEyo8+vJQwOAQV0SdOJeQEaxzNCCTtkJVnCpUYndp3KYsH7IW5X5PL1DrtItJv0vKOMbYA7tkL+yeXbMn9v5rr3rQw/dSo1lrarlT6jsaWn37V1WmWWDnU/WnZ4EtzAVeDfLuBIx/Cr2prx4cv6zOr4zVx9kZeyb/p+yR3dEJrOqrfr7MV04g0wMo36/7J1hPJZWZpLKcSqTnwqeIYhijmKD7nkUaS8ggS/se4go3uJUi0pSUkqabpVJLqBnEl5AWPgBACZPR Ptr(x) 6= Pte(x) AAAChHichVHLSsNAFD3Gd3xV3QguLJaKgpSJ4gNBEdy4rI+2QltKEqcaTJOQTIu1unTjD7hwpSAibvUL3PgDLvwEcVnBjQtv0oCoqDdk5twz99w5M6M5puEJxp6apOaW1rb2jk65q7unty/SP5D27LKr85Rum7a7pakeNw2Lp4QhTL7luFwtaSbPaHsr/nqmwl3PsK1NUXV4vqTuWEbR0FVBVCEyksvKyUJNuEfj1cP9iehi1M94I5Nz+UIkxhIsiOhPoIQghjCSduQKOWzDho4ySuCwIAibUOHRl4UCBoe4PGrEuYSMYJ3jCDJpy1TFqUIldo/GHcqyIWtR7vf0ArVOu5j0u6SMIs4e2TWrswd2w57Z+6+9akEP30uVZq2h5U6h72Ro4+1fVYlmgd1P1Z+eBYqYD7wa5N0JGP8UekNfOTitbyysx2tj7IK9kP9z9sTu6QRW5VW/XOPrZ5DpAZTv1/0TpKcSymxCWZuKLc+HT9GBYYxinO57DstYRRIp2vcYN7jFndQmTUrT0kyjVGoKNYP4EtLSB4AelGI= Ptr(y|x) = Pte(y|x) AAACdHichVHLSsNAFD2N7/ho1Y2gi2KpuCo3LlTEheDGpa9qoS0hidMaTJOQTAta/AF/wIUrRRHxM9z4Ay78BHGp6MaFt2lAtKg3TObMmXvunJlr+o4dSqLHhNLV3dPb1z+gDg4NjyRTo2M7oVcPLJG3PMcLCqYRCsd2RV7a0hEFPxBGzXTErnmw2trfbYggtD13Wx76olwzqq5dsS1DMqWnkqWiKnVKL6elrqmlsp7KUI6iSHcCLQYZxLHupa5Rwh48WKijBgEXkrEDAyF/RWgg+MyV0WQuYGRH+wLHUFlb5yzBGQazB/yv8qoYsy6vWzXDSG3xKQ6PgJVpZOmBbuiF7umWnujj11rNqEbLyyHPZlsrfD15MrH1/q+qxrPE/pfqT88SFSxGXm327kdM6xZWW984On3ZWtrMNmfogp7Z/zk90h3fwG28WlcbYvMMKjdA+/ncnWBnLqfN57SNuczKYtyKfkxiGrP83gtYwRrWkY96coZLXCXelCklo2TbqUoi1ozjWyi5T8KPjj4= t0 < t1 41

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 42

不確実性の定量化 手法分類 • 単一決定論的手法 • ベイジアン手法 • アンサンブル手法 • テスト時データ拡張手法 [Gawlikowski 21] 43

不確実性の定量化手法分類（フォワードパス） 現状、実用的 現実で使うことを 意識した研究で熱い 理論的研究で熱い [Gawlikowski 21] 44

Deterministic Neural Networks • 一回のフォワードパスだけで不確かさを推定する． • 各タスクごとに仕掛けを設計する必要がある．汎用性は低いが，推論時間は短い． 各ピクセル Evidential Regression [Amini 19] Deep Deterministic Uncertainty [Mukhoti 21] 45

Bayesian Neural Networks • NNのモデルパラメータに事前分布を仮定し，ベイズモデリングをおこなう． 予測分布の計算において • モデルパラメータの事後確率を計算するためには，近似ベイズ推論技術が必要． AAACuXichVG7ThtBFD1sHpAliU1oIqVZYYEMiqxZCkCJkJCgoAQbA5LXWLPLYA/sS7tjK47hB/gBCiqQIoTyB2nT5AdS0NFCSiKlScH17kqIoCR3tTNnzr3nzpkZO3RlrBi7GNAePX7ydHDomT78/MXLXH7k1XoctCNHVJ3ADaJNm8fClb6oKqlcsRlGgnu2KzbsvcV+fqMjolgG/prqhqLu8aYvd6TDFVGN/JpV08Nid2tq/8PW1Nue5XHVcrhrLB1MGvOGYUlfGXd5S7WE4pNhMQX79+q3U1K36o18gZVYEsZDYGaggCxWgvwZLGwjgIM2PAj4UIRdcMT01WCCISSujh5xESGZ5AUOoJO2TVWCKjixezQ2aVXLWJ/W/Z5xonZoF5f+iJQGxtl3ds5u2Df2mV2x33/t1Ut69L10abZTrQgbucPXlV//VXk0K7TuVP/0rLCDucSrJO9hwvRP4aT6zsejm8q78nhvgp2yH+T/hF2wr3QCv/PT+bQqysfQ6QHMP6/7IVifLpkzJXN1urAwlz3FEN5gDEW671ksYBkrqNK+X3CJK1xr7zWutbTdtFQbyDSjuBdafAvkDKjB p(y⇤|x⇤, D) = Z p(y⇤|x⇤, ✓)p(✓|D)d✓ 予測分布 計算困難 BNNs [Valentin 20] • MCMC • Variational Inference 46

アンサンブル法 • アンサンブルは精度向上に加え，予測のモデル不確実性を直感的に表現する方法 • 元々不確実性を扱う手法ではなかったが，NNの不確実性の推定に適していることがわ かってきた 複数のモデル（メンバー）の出力結果の平均 [Gawlikowski 21] 47

Test Time Data Augmentation • 各テストサンプルにデータ拡張をおこない，予測分布を計算 • 基礎となるモデルを変更せず，追加のデータを必要とせず，既製のライブラリを使って簡単 に実践できるため，不確実性を推定するための簡単な方法 • 注意：拡張によって対象となる分布から外れたデータを生成してはならない AAACbHichVG7SgNBFD1ZX3F9JD4KQQQxKFbhbgoVq4CNpa8kShLC7jrqkn2xu4lo8AdsLSzUQkFE/Awbf8DCTxDBRsHGwpvNgqiod5iZM2fuuXNmRnNNww+IHmJSW3tHZ1e8W+7p7etPJAcG875T83SR0x3T8dY11RemYYtcYASmWHc9oVqaKQpadaG5X6gLzzccey3Yc0XZUrdtY8vQ1YCpjVJR3q2QXCpXkilKUxjjP4ESgRSiWHKSVyhhEw501GBBwEbA2IQKn1sRCgguc2U0mPMYGeG+wAFk1tY4S3CGymyVx21eFSPW5nWzph+qdT7F5O6xchyTdE/X9EJ3dEOP9P5rrUZYo+llj2etpRVuJXE4svr2r8riOcDOp+pPzwG2MBd6Ndi7GzLNW+gtfX3/+GV1fmWyMUUX9MT+z+mBbvkGdv1Vv1wWKyeQ+QOU78/9E+QzaWUmrSxnUtm56CviGMUEpvm9Z5HFIpaQ43MtHOEUZ7FnaVgalcZaqVIs0gzhS0hTH06cjFQ= w0 AAACbHichVG7SgNBFD1ZX3F9JD4KQQQxKFbhbgoVq4CNpa8kShLC7jrqkn2xu4lo8AdsLSzUQkFE/Awbf8DCTxDBRsHGwpvNgqiod5iZM2fuuXNmRnNNww+IHmJSW3tHZ1e8W+7p7etPJAcG875T83SR0x3T8dY11RemYYtcYASmWHc9oVqaKQpadaG5X6gLzzccey3Yc0XZUrdtY8vQ1YCpjVJR3q2QXCpXkilKUxjjP4ESgRSiWHKSVyhhEw501GBBwEbA2IQKn1sRCgguc2U0mPMYGeG+wAFk1tY4S3CGymyVx21eFSPW5nWzph+qdT7F5O6xchyTdE/X9EJ3dEOP9P5rrUZYo+llj2etpRVuJXE4svr2r8riOcDOp+pPzwG2MBd6Ndi7GzLNW+gtfX3/+GV1fmWyMUUX9MT+z+mBbvkGdv1Vv1wWKyeQ+QOU78/9E+QzaWUmrSxnUtm56CviGMUEpvm9Z5HFIpaQ43MtHOEUZ7FnaVgalcZaqVIs0gzhS0hTH06cjFQ= w0 AAACbHichVG7SgNBFD1ZX3F9JD4KQQQxKFbhbgoVq4CNpa8kShLC7jrqkn2xu4lo8AdsLSzUQkFE/Awbf8DCTxDBRsHGwpvNgqiod5iZM2fuuXNmRnNNww+IHmJSW3tHZ1e8W+7p7etPJAcG875T83SR0x3T8dY11RemYYtcYASmWHc9oVqaKQpadaG5X6gLzzccey3Yc0XZUrdtY8vQ1YCpjVJR3q2QXCpXkilKUxjjP4ESgRSiWHKSVyhhEw501GBBwEbA2IQKn1sRCgguc2U0mPMYGeG+wAFk1tY4S3CGymyVx21eFSPW5nWzph+qdT7F5O6xchyTdE/X9EJ3dEOP9P5rrUZYo+llj2etpRVuJXE4svr2r8riOcDOp+pPzwG2MBd6Ndi7GzLNW+gtfX3/+GV1fmWyMUUX9MT+z+mBbvkGdv1Vv1wWKyeQ+QOU78/9E+QzaWUmrSxnUtm56CviGMUEpvm9Z5HFIpaQ43MtHOEUZ7FnaVgalcZaqVIs0gzhS0hTH06cjFQ= w0 [Ashukha 20] 48

アジェンダ • 深層学習の予測の不確実性 • データの不確実性とモデルの不確実性 • アプリケーション • 不確実性の定量化手法 • まとめ 49

まとめ • 予測の不確実性がMLシステムに重要なことを説明した。 • 不確実性にはデータの不確実性とモデルの不確実性がある。 • アプリケーションは、大きく分けて、安全性が必要なシステム、ノイズ の多いデータを扱うシステム、MLシステムの運用の3種類がある。 • 不確実性の定量化手法は、4分類あることを説明した。 50

参考文献 • J. C. Reinhold, Y. He, S. Han, Y. Chen, D. Gao, J. Lee, J. L. Prince, and A. Carass, “Validating uncertainty in medical image translation,” in 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI). IEEE, 2020, pp. 95–98. • T. Nair, D. Precup, D. L. Arnold, and T. Arbel, “Exploring uncertainty measures in deep networks for multiple sclerosis lesion detection and segmentation,” Medical image analysis, vol. 59, p. 101557, 2020. • Kendall, Alex, Vijay Badrinarayanan, and Roberto Cipolla. "Bayesian segnet: Model uncertainty in deep convolutional encoder-decoder architectures for scene understanding." arXiv preprint arXiv:1511.02680 (2015). • Sedlmeier, Andreas, et al. "Uncertainty-based out-of-distribution classification in deep reinforcement learning." arXiv preprint arXiv:2001.00496 (2019). • Ruβwurm, Marc, et al. "Model and Data Uncertainty for Satellite Time Series Forecasting with Deep Recurrent Models." IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. IEEE. • J. Gawlikowski, S. Saha, A. Kruspe, and X. X. Zhu, “Out-of- distribution detection in satellite image classification,” in RobustML workshop at ICLR 2021. ICRL, 2021, pp. 1–5. • J. Zeng, A. Lesnikowski, and J. M. Alvarez, “The relevance of bayesian layer positioning to model uncertainty in deep bayesian active learning,” arXiv preprint arXiv:1811.12535, 2018. • Baier, Lucas, et al. "Detecting Concept Drift With Neural Network Model Uncertainty." arXiv preprint arXiv:2107.01873 (2021). 51

参考文献 • Jospin, Laurent Valentin, et al. "Hands-on Bayesian Neural Networks--a Tutorial for Deep Learning Users." arXiv preprint arXiv:2007.06823 (2020). • A. Ashukha, A. Lyzhov, D. Molchanov, and D. Vetrov, “Pitfalls of in-domain uncertainty estimation and ensembling in deep learning,” in International Conference on Learning Representations, 2020. • Amini, A., Schwarting, W., Soleimany, A., & Rus, D. (2019). Deep evidential regression. arXiv preprint arXiv:1910.02600. • Hendrycks, Dan, et al. "Unsolved Problems in ML Safety." arXiv preprint arXiv:2109.13916 (2021). • Jishnu Mukhoti, Joost van Amersfoort, Philip Torr and Yarin Gal. “Deep Deterministic Uncertainty for Semantic Segmentation” ICML 2021 Workshop on Uncertainty and Robustness in Deep Learning. • Lavin, Alexander, et al. "Technology readiness levels for machine learning systems." arXiv preprint arXiv:2101.03989 (2021). • Studer, Stefan, et al. "Towards CRISP-ML (Q): a machine learning process model with quality assurance methodology." Machine Learning and Knowledge Extraction 3.2 (2021): 392-413. • Gawlikowski, Jakob, et al. "A survey of uncertainty in deep neural networks." arXiv preprint arXiv:2107.03342 (2021). 52