手書き数字認識とイデアハック

手書き数字認識とイデアハック @kaityo256

はじめに機械学習をやってみて、なんか収束はしているっぽいのに、いざ実際に使うとうまくいかないことが多いそもそも学習がどう行われて、モデルがどう入力を解釈しているのかがいまいちわからない MNIST(手書き数字データ)を使って「学習済みモデルの気持ち」を探ってみよう

MNIST: 手書き数字学習用データセットイメージ： 28×28ピクセル 0から1までのfloat(単精度実数) ラベル： 0から9 (整数)

学習 784 ０１８９ 10 学習用データ: 6万テスト用データ：1万
バッチサイズ：1000 エポック: 20 三層全結合 (768, 768, 10) 学習方法： Adam 活性化関数：LeRU

学習済みモデルに手書き数字を食わせる https://kaityo256.github.io/mnist_check/ この例では認識されたが・・・

学習済みモデルに手書き数字を食わせる・・・かなり認識率が低いこの入力は認識失敗

仮説：モデルは学習により「数字のイデア」を構築し、実質的に入力とイデアとの重なりを調べているのでは？モデル 4 なんで認識率が低いんだろう？数字のイデア入力一番「重なり」が大きいイデアを探す

少し修正０１８９モデルの「イデア」を調べるたとえば「1」の出力が大きくなるように入力を調整していくランダム入力もし「目的の重みが大きくなったら修正を採用そうでなければ不採用
フィードバックループ ※ 最初は真面目にアニーリングしようと思ったが、適当に最急勾配でやっても大丈夫っぽかったのでそうした

「５」のイデア５のイデア：この学習済みモデルが「もっとも『５』っぽい」と思う入力イメージ

0 1 2 3 4 5 6 7 8 9
得られたイデア達

イデアハック我々は「モデルのイデア」を知っているので、逆にどういうイメージを与えればモデルが「４」と認識するかわかる

イデアハック 4のイデア「イデア」をカンニングして入力 4と認識された

イデアハック 9のイデア「イデア」をカンニングして入力 0っぽい入力を9と認識させることもできる

まとめ手書き数字を学習させたモデルの「理想の数字 (イデア)」を調べた敵対的サンプル(Adversarial examples)の一種といえなくもない・・・？イデアを見ることで、「人間には別の数字に見える形を別の数字に誤認識させた参考URL https://kaityo256.github.io/mnist_check/ オンラインテスト
https://github.com/kaityo256/mnist_check リポジトリ ChainerでMNISTを学習させた結果を使ってブラウザで手描き数字認識 https://qiita.com/kaityo256/items/8c7c9a32bd4ae5c0b500 Qiitaの記事 MNISTを学習させたモデルの気持ちを調べる https://qiita.com/kaityo256/items/438ee87a0ef1346071b9

手書き数字認識とイデアハック

手書き数字認識とイデアハック

kaityo256 PRO

More Decks by kaityo256

Other Decks in Programming

Featured

Transcript