説明可能性と性能を両立させる 深層学習の試み Henry Cui 機械学習の社会実装勉強会 2021年10月23日

自己紹介 ■ 2017年　東京大学理学部情報科学科　学士 ■ 2019年　同大学大学院情報理工学系研究科　修士 ■ 現在　　 同研究科　博士課程 ■ 研究テーマ ● 弱教師付き学習・能動学習・相対比較データ ■ 趣味テーマ ● 物体検出・説明可能性・因果推論 ● 画像処理・音声処理一般 ■ 更に趣味 ● Ruby on Rails, React, NextJS 2

説明可能性 ■ 機械学習モデルは意思決定に使う ● 原料価格予測モデル → 入荷数量・タイミング ● 人にまつわる予測モデル → その人の人生に大きな影響の決定 ● ... ■ 予測出す同時に、説明も聞いて納得して判断下す 3 Statistical Modeling: The Two Cultures, Breiman, Statistical Science, 2001, Vol. 16, No. 3, 199–231

事後局所近似で説明 ■ 既知 ● 深層モデルは性能が良いが、 説明できない ● 線形モデルは性能が悪いが、 説明しやすい ■ 両方のいいところを ● 深層モデルで性能の良い予測 ● 予測の近傍で線形モデルでわ かりやすく解釈 ■ これでいいのか 4 "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Riberiro et al., ACM SIGKDD 2016

これではだめかも ■ 代理モデルの説明が完全正解でしたら、元のモデルを代替で きるはず ■ 性能と説明可能性が両立できないは迷信? 5 Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead, Rudin, Nat Mach Intell 1, 206–215 (2019)

次の方向 ■ 両立した深層モデルを作りましょう ■ 深層モデルが説明できる予測を出すためには ● 線形モデルのように、特徴量の連結になる ● 特徴量は説明できる ● 連結も説明できる ■ 初歩的に画像認識のタスクでのアイデア ● 画像に写っているモノの分類タスク ● 可視化できる特徴量による線形結合 ■ モノのパーツを特徴量に ■ 例：鳥の分類で、鳥の頭・足・翼のパッチ画像を特徴量に 6

内容 ■ モチベーション ■ ProtoPNet ■ Concept Bottleneck Models 7

■ NeurIPS 2019 ■ 自然な論理過程に従ったモデルアーキテクチャを提案 8

モデルアーキテクチャ ■ 明示的に３つに分けた構造 9

学習方法 1. Prototypes 及び 最終層以外の学習 ● 従来の分類ロスに Prototype のためのロス 2. Prototypes の更新 ● Prototypes を可視化可能なパッチに更新 ● 適切な仮定下で、この更新はモデルの予測に影響しない 3. 最終層の学習 ● 凸最適化問題として解く ● Sparsity の正規化でテスト時より自然な説明ができる 10

実験結果 ■ 良い分類性能を保ちつつ、説明可能 11

内容 ■ モチベーション ■ ProtoPNet ■ Concept Bottleneck Models 12

■ ICML 2020 ● https://slideslive.com/38928546/concept-bottleneck-models ■ 説明可能 + 介入によるモデル変更可能 13

特徴 ■ 学習時に concept ラベルが必要 ■ Concept 層を介して二部のモデルに分ける ● 学習時の順番を変えられる ■ 高効率で高性能 14

■ Concept に明らかな間違いがあるときに、結果修正 テスト時に介入できる 15

まとめ ■ 説明可能性は大事 ■ 局所近似による説明はおかしいかも ■ 説明可能性と性能は両立できるかも ■ 両立させた深層モデル ● ProtoNet・Concept Bottleneck Models 16