Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
手書き数字認識とイデアハック
Search
kaityo256
PRO
March 26, 2018
Programming
380
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
手書き数字認識とイデアハック
ChainerでMNISTを学習させたモデルの気持ちを調べる
kaityo256
PRO
March 26, 2018
Transcript
14 slides
手書き数字認識とイデアハック @kaityo256
はじめに 機械学習をやってみて、なんか収束はしているっぽい のに、いざ実際に使うとうまくいかないことが多い そもそも学習がどう行われて、モデルがどう入力を解釈 しているのかがいまいちわからない MNIST(手書き数字データ)を使って「学習済みモデルの 気持ち」を探ってみよう
MNIST: 手書き数字学習用データセット イメージ: 28×28ピクセル 0から1までのfloat(単精度実数) ラベル: 0から9 (整数)
学習 784 0 1 8 9 10 学習用データ: 6万 テスト用データ:1万
バッチサイズ:1000 エポック: 20 三層全結合 (768, 768, 10) 学習方法: Adam 活性化関数:LeRU
学習済みモデルに手書き数字を食わせる https://kaityo256.github.io/mnist_check/ この例では認識されたが・・・
学習済みモデルに手書き数字を食わせる ・・・かなり認識率が低い この入力は認識失敗
仮説: モデルは学習により「数字のイデア」を構築し、実質 的に入力とイデアとの重なりを調べているのでは? モデル 4 なんで認識率が低いんだろう? 数字のイデア 入力 一番「重なり」が 大きいイデアを探す
少し修正 0 1 8 9 モデルの「イデア」を調べる たとえば「1」の出力が大きくなるように入力を調整していく ランダム入力 もし「目的の重みが大きくなったら修正を採用 そうでなければ不採用
フィードバックループ ※ 最初は真面目にアニーリングしようと思ったが、適当に最急勾配でやっても大丈夫っぽかったのでそうした
「5」のイデア 5のイデア:この学習済みモデルが「もっとも『5』っぽい」と思う入力イメージ
0 1 2 3 4 5 6 7 8 9
得られた イデア達
イデアハック 我々は「モデルのイデア」を知っているので、逆にどういう イメージを与えればモデルが「4」と認識するかわかる
イデアハック 4のイデア 「イデア」をカンニングして入力 4と認識された
イデアハック 9のイデア 「イデア」をカンニングして入力 0っぽい入力を9と認識させることもできる
まとめ 手書き数字を学習させたモデルの「理想の数字 (イデア)」を調べた 敵対的サンプル(Adversarial examples)の一種といえなくもない・・・? イデアを見ることで、「人間には別の数字に見え る形を別の数字に誤認識させた 参考URL https://kaityo256.github.io/mnist_check/ オンラインテスト
https://github.com/kaityo256/mnist_check リポジトリ ChainerでMNISTを学習させた結果を使ってブラウザで手描き数字認識 https://qiita.com/kaityo256/items/8c7c9a32bd4ae5c0b500 Qiitaの記事 MNISTを学習させたモデルの気持ちを調べる https://qiita.com/kaityo256/items/438ee87a0ef1346071b9
More Decks by kaityo256
See All by kaityo256
生成AIとの付き合い方/ How to work with AI
kaityo256
PRO
3
1.2k
パズルゲームの作り方 / how to make puzzle games
kaityo256
PRO
2
350
What is XAI?
kaityo256
PRO
0
240
勾配ブースティングと決定木の話 / gradient boosting and decision trees
kaityo256
PRO
7
1.9k
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
17
6.1k
この講義について / 00-setup
kaityo256
PRO
3
580
GitHubによるWebアプリケーションのデプロイ / 07-github-deploy
kaityo256
PRO
2
530
演習:Gitの基本操作 / 04-git-basic
kaityo256
PRO
1
780
演習:Gitの応用操作 / 05-git-advanced
kaityo256
PRO
1
480
Other Decks in Programming
See All in Programming
AI-Powered Domain-Driven Design
ziobrando
0
470
Kotlin JVM用に作られたライブラリのKMPを前提とした再設計
jsoizo
0
200
クラウドゲーミングのパフォーマンス最適化に挑む / Cloud Gaming Performance Tuning
vivion
0
360
느린 네트워크와 저사양 디바이스 사용자를 위한 웹뷰 로딩 시간 개선기
kmkim
1
250
Vapor Mode でアクセシビリティは 壊れないか検証した話
fuqda
1
350
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
umigishiaoi
0
170
Apple Intelligenceとオンデバイス時代の到来
yahir0
0
250
Python Lambdaにおけるテストしやすい設計とAI支援の活用 / Designing Testable Python Lambda Functions with AI
kitano_yuichi
1
340
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
steliosf
PRO
1
190
止まらない比較を止める — 余帰納法で無限ストリームを比べる
tarao
0
190
protojson における文字化けの扱い
kazuki1023
0
450
地方こそサーバーレス — 10年続けた、顔が見えるチームで確かな基盤を / Serverless Matters Most in Regional Areas — 10 Years of Building Reliable Foundations with Close-Knit Teams
seike460
PRO
2
490
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
Optimizing for Happiness
mojombo
378
72k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
Code Review Best Practice
trishagee
74
20k
Claude Code のすすめ
schroneko
67
230k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
1.1k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Designing Experiences People Love
moore
143
24k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
760