科学的説明を持つ 機械学習システム 橋本順之 グリー株式会社 Rev0.1 1

発表の流れ ● 説明が必要とされる背景確認 ● 導入したい説明モデルの確認 ● LIMEを説明に使った場合の考察 ● 説明を組み込んだ再利用できる機械学習モデルの提案 ● まとめ 2

背景：なぜ説明がほしい？ ● 機械学習に対する期待と不安 ○ モデルはデータ依存 ○ 顧客からはブラックボックスに見え、信頼できない ● 総務省のAI開発ガイドライン ○ AIの検証や説明をするように努力を求める ● AIに対する説明が必要 ○ システムの仕様に説明に関するものが必要ではないか ○ 説明できないと賠償などのリスクになる恐れがある（担当者がやめていたら？） 3 機械学習 モデル M 入 力 パラ メータ 予 測 説 明 説明がでてくるモデルがほしい プログラムのインターフェースを 決めたい

説明とは何か？ ● 解釈性 (インタプリンタビリティ) ○ 機械学習の結果の解釈や解析に重点を置くもの ● 科学的説明(エクスプラネーション) ○ 法則と因果関係に重点を置くもの ● 心理学的説明(パースエーション) ○ 説明する相手を説得したり ,納得させることに重点を置くもの ○ *総務省の資料は人間中心とある * ● 説明責任(アカウンタビリティ) ○ 説明する義務や結果の保証を重点を置くもの 4

科学的説明とはなにか？、なぜそれを使うのか？ ● ヘンペルの 演繹的法則論的モデル (DN モデル) ○ 物理の法則由来 ○ 物理量と数式で演繹的に説明 ● 必ずしも言語的なものでなくてよい ○ ニュートンの万有引力の法則は数式 ○ プログラムで扱いやすい ● 組み合わせやすい ○ 演繹的な推論をするための説明 ○ 既知の法則を組み合わせて推論をする ● 検証しやすい ○ 現象がルールにあっているかチェックできる 5

どんな説明がほしいのか 6 機械学習モデル M 入力 パラメータ 予測 説明 説明が満たすべきルールはなにか？ どんなルールがあると便利か？ 説明が演繹的なルール（ニュートンの法則のようなもの）ならどうなるか？

どんな説明がほしいのか 機械学習 モデル M 入力A パラメータP 予測B 説明C 説明C 説明を満たす入力があるなら同じ予測結果（B＝B'）になるはず。 入力例生成機をシステムに組み込むのはどうか？ 入力A' 予測B' 機械学習 モデル M P 入力例生成機

既存の説明：LIME 機械学習モデル M ラブラドール パラメータP 入力 説明 予測結果 機械学習モデル M

説明から入力例~前提条件を出す 入力例生成機 ラブラドール 説明 予測結果 パラメータP 説明から 作られる画像

説明の検証 機械学習モデル M ラブラドール パラメータP 説明からつくった例で予測すると同じ予測結果と同じ説明がでるはず 逆に、同じ予測結果と説明でないなら不十分な説明ではないか？ 説明から 作られる画像 説明 予測結果

LIMEによる説明と検証 機械学習 モデル M ラブラ ドール 入 力 説 明 機械学習 モデル M ラブラ ドール 例 説 明 説 明 入力例生成機 説明が不変量になりそう

決定木による説明と検証 機械学習 モデル M ラブラ ドール 入 力 説 明 機械学習 モデル M ??? 例 説 明 説 明 入力例生成機 決定木 背景が黒なら ラブラドール 決定木 背景が黒なら ラブラドール 決定木 背景が黒なら ラブラドール

発表の流れ ● 説明が必要とされる背景確認 ● 導入したい説明モデルの確認 ● LIMEを説明に使った場合の考察 ● 説明を組み込んだ再利用できる機械学習モデルの提案 ● まとめ 13 機械学習 モデル M 入 力 パラ メータ 予 測 説 明 説明がでてくるモデルがほしい プログラムのインターフェースを 決めたい

従来手法：機械学習のモデル化 14 Backprop as Functor[1]より ● P：パラメータの集合 ● A：入力の集合 ● B：予測結果の集合 ● I: P×A → B　　 //予測関数 ● U: P×A×B → P //パラメータ更新 ● r: P×A×B → A　//誤差伝搬用 機械学習 モデル M 入 力 パラ メータ 予 測 機械学習 モデル M’ パラ メータ 予 測 [1]https://arxiv.org/abs/1711.10455

説明のある機械学習のモデル化 15 ● P：パラメータの集合 ● A：入力の集合 ● B：予測結果の集合 ● C：説明の集合 ● I: P×A → B　　 //予測関数 ● U : P×A×B → P //パラメータ更新 ● r: P×A×B → A　//誤差伝搬用 ● E: P×A×B → C //説明関数 ● D: P×B×C → A. //説明の例を出す関数 機械学習 モデル M 入 力 パラ メータ 予 測 説 明 入力例生成機 入力例 予 測 説 明

説明のある機械学習のモデル化 16 入力例生成機 D’ 入力例 予測B’ 説明C’ 入力例生成機 D 入力例A’ 説明C 機械学習 モデル M 入力A パラ メータ 予 測 機械学習 モデル M’ パラ メータ 予測B’ 説明C’ 説 明 ● M,M’: 機械学習のモデル ● D,D’: MとM’に対応する入力例を出すモデル

まとめ 17 ● 科学的説明の演繹的法則論的モデルを利用 ○ 説明＝物理の法則のようなもの ● 説明が不変量になる ● 説明と入力例生成器をもつ機械学習モデルの提案 課題 ● 説明に納得や信頼性がない ● 説明はモデルの正しさの指標ではない