2019/2/8 NeurIPS 2018 Systems for ML 論文読む会 株式会社ブレインパッド 上総 虎智 Deep Neural Inspection using DeepBase 

No content

サマリ この論文は何？ • Deep Neural Inspectionを用いて深層学習モデルの挙動を解釈するツールを作った • これまで task specificで手間がかかる実装を、異なるモデル、異なる評価値、異なる仮 説やHidden unitの組み合わせでも比較できるように、手順を抽象化し素早い検査を容易 にした • 論文中でも ”Note that although we also report analysis results, the primary purpose is to highlight the easy of analysis” と強調されている なぜこの論文？ • 機械学習モデルの解釈性・説明性は重要視されるようになってきた • ブレインパッドが受託分析の会社 • クライアントの業務プロセスや意思決定に関与して初めて価値が出る • なんで？の解消、納得感の醸成 • AI利活用原則案(総務省2018)やGDPR(EU)への対応など • テーマが様々、汎用的なツールで“解釈性”を扱えるなら最高 

1. Introductionと少々の背景 

機械学習へ解釈性を与える色々な方法 あるデータが与えられた時の振る舞いを見る • ネットワークの出力を最大化する入力を作成する • 入力に対する感度を分析する • 出力から入力までの経路を逆にたどる • 様々な入力から出力の傾向を推定する • 変更量から判断基準を類推する • 学習結果が予測可能になるよう矯正する • 入力に対する着眼点をモデルに組み込む ブラックボックスなモデルを解釈可能なモデルで表現する • Surrogate Model: Born Again Trees など 参考Qiita記事：ディープラーニングの判断根拠を理解する手法 

Deep Neural Inspection(DNI)とは？ 深層学習モデルの各unitにおける活性具合や勾配がどのように振る舞うのかを理 解すること [18] Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization [3] Network Dissection:Quantifying Interpretability of Deep Visual Representations DNIの課題 • Visualization, saliency-basedで結局人で見なければいけない • それぞれの手法は特定のモデルに特価した手法であり再現性がない • 開発者が検査できない、スケールもしない、取り扱える複雑性も少ない 

2. Architecture and API Overview 

どんな仕組み？ Units • どのHidden unitsに着目するかを指定できる • 特定のチャネル、Layer全体、モデル全体など指 定の仕方は明らかにしたい仮説による Hypothesis • 明らかにしたい仮説 • より高レベルなラベルをデータにつける • Hyp functionはロジックをEncodeするための関数 Behavior • 入力ごとのHidden unitsの活性具合 Affinity measures • Unitsとhypothesisの類似性を計ったもの * 

Hypothesis Functions 本論文における実験の仮設一覧 • 文章中の主語、述語などの位置 • 画像内の任意の物体の位置 • 強化学習における画像内でのエージェントと敵の距離 他に取り扱えそうなHypothesis functionsの形式 • Parse Tree：parse treeとhypothesis functionを対応取れれば • Annotations：BoundingBoxやmulti-word annotationsなど • Finite State Machine：入力と状態と遷移の対応が取れれば • General Iterators：入力に対して繰り返されるような手順 * 

3. Experiments 

3. Experiments MiniPacman 強化学習でどのようにポリシーを学習しているかの分析 Facial Identification Inspection 深層学習モデルがジェンダーバイアスを持っているかどうかの分析 

MiniPacman 強化学習でどのようにポリシーを学習しているかをhidden layerのunitの Activationの観点から分析 環境 • 15×19 pixelのマップ • Agentを学習させるためにactor-criticモデルを採用 • 2-layer のfully connected conv model with 16 units • Ghostのポリシーは固定 知りたい疑問 • どんな方策をモデルは学んだのか？ • どんな特徴をモデルは活用しているのか？ • 方策はパックマンやゴーストが将来とり得る道筋を見越したものになっているのか？ ■ Pacman ■ Food ■ Ghost ■ Power pill×2 

Which units track the ghost and path？ 各フレーム毎に各unitの中の活性具合が高いpixelsとゴーストがいるとアノテー ションされたフレームのIoUを図ることで、どのunitがゴーストの位置を特定し ているかを明らかにしている • Data: 各フレームごとの画像 • Units: それぞれの層のそれぞれのチャネル • Hyp: 入力画像におけるゴーストの位置 • Affinity: アノテーションした入力とUnit毎の活性 具合でのIoU 得られた結果 • Layer1のunit14のIoUが最高であった • このunitは学習が進む程にIoUが高くなっていってる 

Planning Ahead？ モデルはゴーストが将来どこにいるかを予測しているかを明らかにするために、 ある時点から将来3ステップにおけるゴーストの位置をアノテーションした上 で、各チャネルでのActivationと比較した。今回は"internal representations"が 分散している可能性があるから、IoUではなくてCCAを用いて線形変換した値 同士から相関を求めている。 • Data:パックマンがPower Pillsを食べたもの • Units:それぞれの層のそれぞれのチャネル • Hyp: 3step将来までのゴーストの位置のアノテーション • Affinity: 特徴マップでのActivatioinとゴーストの位置の アノテーションとの相関 得られた結果 • Layer1のunit1と14、 Layer2のunit5と10が相関が強い • Layer2の10では学習を進めると相関が高くなっていっている 

Internal State ”パックマンとゴーストの距離”というゲームの状態情報を捉えられているかを明ら かにしたい。ある時点におけるパックマンとゴーストの距離を各層のHidden units の活性具合を特徴量にして線形回帰をfitさせてその残差を図ることで、その層が 距離を図れているかを調べている • Data：各フレームごとの画像 • Units: それぞれの層 • Hyp: ゴーストとパックマンの最短距離 • Affinity： 各層でチャネルの活性具合を特徴としたLinRegによる距離の予測値と 実際の距離の残差 得られた結果 • Layer2は残差が小さいままな一方で、学習 が進む毎にLayer1がdegradeしている。 

Facial Identification Inspection ResNet50がジェンダーバイアスを持ってしまっているか明らかにするため に、Gender毎にデータ・セットを分けてネットワーク全体のbehaviorの相関 を見る 環境 • Vggface2のデータセットをResNet50(各層で最大1023unit)で識別するタス クを検査する • top-1でerrorが3.9%であり一般的な特徴はよく捉えていると言える • コントロールとして学習していないをResNet50も用意 知りたい疑問 • 性別によって顔識別モデルのHidden unitsの振る舞いが変わるかどうか 

Facial Identification Inspection 顔全体のBoundingBoxだけでなく、顔全体、目や口、鼻におけるピクセルレベ ルでのアノテーションなど、いつかの仮設を用意。TrainedとUntrainedの振る 舞いの差からジェンダーバイアスの有無 • Data：Vggface2にある顔画像 • Units:：ResNet50の中の指定された層 • Hyp：顔のランドマークのアノテーション • Affinity： 入力画像のランドマークの位置と各unitでのActivationのIoU 各IoUの男女間における相関 得られた結果 • MiddleLayerが目や口、鼻の特徴を捉える役割を果たしているのでは • 男女間でActivationに相関があるので、似たような振る舞いをしている • FaceはBoundingBoxが顔以外も移しているので顔以外の特徴で男女差を獲得 しているかもしれない 

4. Conclusions and Discussion 

Conclusions and Discussion • DeepBaseによってDNIを実装し実行するのを簡単になった • 様々なAffinity measuresをdefault libraryで提供した → CCA、線形回帰、線形識別、jaccard/IoUなど • TensorflowやKeras、PyTorchをサポートしている • 主な労力はhypothesis functionを定義することと、必要なモデルやデータ セットを選んでくるところ • NNモデルを比較したり検査したりするインフラのため一要素になり得ると考 えている 

まとめ 

まとめ • DNIの単純な「ここがActivationしてますよー」以外の使い道が知 れてよかった • hypothesis functionsの実装知りたかった • DeepBaseがどうなるかはわからないが、振る舞いを検査する機 能はもっと高レベルAPIな形でDNNフレームワークに実装されて いく気もする 

ありがとうございました http://www.brainpad.co.jp/recruit/ 株式会社ブレインパッドの採用情報見て下さい