Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
手書き数字認識とイデアハック
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
kaityo256
PRO
March 26, 2018
Programming
0
360
手書き数字認識とイデアハック
ChainerでMNISTを学習させたモデルの気持ちを調べる
kaityo256
PRO
March 26, 2018
Tweet
Share
More Decks by kaityo256
See All by kaityo256
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
PRO
10
11k
卒論の書き方 / Happy Writing
kaityo256
PRO
54
28k
生成AIとの付き合い方 / Generative AI and us
kaityo256
PRO
13
7.1k
モンテカルロ法(3) 発展的アルゴリズム / Simulation 04
kaityo256
PRO
10
1.7k
UMAPをざっくりと理解 / Overview of UMAP
kaityo256
PRO
12
4.4k
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
8
770
論文紹介のやり方 / How to review
kaityo256
PRO
18
90k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
18
1.9k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
8
730
Other Decks in Programming
See All in Programming
Claude Codeと2つの巻き戻し戦略 / Two Rewind Strategies with Claude Code
fruitriin
0
150
QAフローを最適化し、品質水準を満たしながらリリースまでの期間を最短化する #RSGT2026
shibayu36
2
4.4k
組織で育むオブザーバビリティ
ryota_hnk
0
180
Lambda のコードストレージ容量に気をつけましょう
tattwan718
0
150
AIフル活用時代だからこそ学んでおきたい働き方の心得
shinoyu
0
140
AIによるイベントストーミング図からのコード生成 / AI-powered code generation from Event Storming diagrams
nrslib
2
1.9k
CSC307 Lecture 08
javiergs
PRO
0
670
AIエージェント、”どう作るか”で差は出るか? / AI Agents: Does the "How" Make a Difference?
rkaga
4
2k
Rust 製のコードエディタ “Zed” を使ってみた
nearme_tech
PRO
0
210
CSC307 Lecture 05
javiergs
PRO
0
500
Oxlintはいいぞ
yug1224
5
1.4k
20260127_試行錯誤の結晶を1冊に。著者が解説 先輩データサイエンティストからの指南書 / author's_commentary_ds_instructions_guide
nash_efp
1
990
Featured
See All Featured
It's Worth the Effort
3n
188
29k
The SEO Collaboration Effect
kristinabergwall1
0
350
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
330
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
120
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.6k
Testing 201, or: Great Expectations
jmmastey
46
8.1k
Why You Should Never Use an ORM
jnunemaker
PRO
61
9.7k
The B2B funnel & how to create a winning content strategy
katarinadahlin
PRO
1
280
Designing Powerful Visuals for Engaging Learning
tmiket
0
240
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
livdayseo
0
67
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
How to make the Groovebox
asonas
2
1.9k
Transcript
手書き数字認識とイデアハック @kaityo256
はじめに 機械学習をやってみて、なんか収束はしているっぽい のに、いざ実際に使うとうまくいかないことが多い そもそも学習がどう行われて、モデルがどう入力を解釈 しているのかがいまいちわからない MNIST(手書き数字データ)を使って「学習済みモデルの 気持ち」を探ってみよう
MNIST: 手書き数字学習用データセット イメージ: 28×28ピクセル 0から1までのfloat(単精度実数) ラベル: 0から9 (整数)
学習 784 0 1 8 9 10 学習用データ: 6万 テスト用データ:1万
バッチサイズ:1000 エポック: 20 三層全結合 (768, 768, 10) 学習方法: Adam 活性化関数:LeRU
学習済みモデルに手書き数字を食わせる https://kaityo256.github.io/mnist_check/ この例では認識されたが・・・
学習済みモデルに手書き数字を食わせる ・・・かなり認識率が低い この入力は認識失敗
仮説: モデルは学習により「数字のイデア」を構築し、実質 的に入力とイデアとの重なりを調べているのでは? モデル 4 なんで認識率が低いんだろう? 数字のイデア 入力 一番「重なり」が 大きいイデアを探す
少し修正 0 1 8 9 モデルの「イデア」を調べる たとえば「1」の出力が大きくなるように入力を調整していく ランダム入力 もし「目的の重みが大きくなったら修正を採用 そうでなければ不採用
フィードバックループ ※ 最初は真面目にアニーリングしようと思ったが、適当に最急勾配でやっても大丈夫っぽかったのでそうした
「5」のイデア 5のイデア:この学習済みモデルが「もっとも『5』っぽい」と思う入力イメージ
0 1 2 3 4 5 6 7 8 9
得られた イデア達
イデアハック 我々は「モデルのイデア」を知っているので、逆にどういう イメージを与えればモデルが「4」と認識するかわかる
イデアハック 4のイデア 「イデア」をカンニングして入力 4と認識された
イデアハック 9のイデア 「イデア」をカンニングして入力 0っぽい入力を9と認識させることもできる
まとめ 手書き数字を学習させたモデルの「理想の数字 (イデア)」を調べた 敵対的サンプル(Adversarial examples)の一種といえなくもない・・・? イデアを見ることで、「人間には別の数字に見え る形を別の数字に誤認識させた 参考URL https://kaityo256.github.io/mnist_check/ オンラインテスト
https://github.com/kaityo256/mnist_check リポジトリ ChainerでMNISTを学習させた結果を使ってブラウザで手描き数字認識 https://qiita.com/kaityo256/items/8c7c9a32bd4ae5c0b500 Qiitaの記事 MNISTを学習させたモデルの気持ちを調べる https://qiita.com/kaityo256/items/438ee87a0ef1346071b9