Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習のテスト自動化コトハジメ #MLCT Machine Learning Casual ...
Search
KOMIYA Atsushi
June 06, 2014
Technology
11
10k
機械学習のテスト自動化コトハジメ #MLCT Machine Learning Casual Talks #1
Machine Learning Casual Talks #1 で発表した「機械学習のテスト自動化コトハジメ」発表資料です。
http://connpass.com/event/6275/
KOMIYA Atsushi
June 06, 2014
Tweet
Share
More Decks by KOMIYA Atsushi
See All by KOMIYA Atsushi
#JJUG Java における乱数生成器とのつき合い方
komiya_atsushi
5
5.1k
#JJUG Fork/Join フレームワークを効率的に正しく使いたい
komiya_atsushi
0
440
[#JSUG] SmartNews における container friendly な Spring Boot アプリケーション開発
komiya_atsushi
1
11k
Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7
komiya_atsushi
4
4.6k
#devsumi 自然言語処理・機械学習によるファクトチェック業務の支援
komiya_atsushi
1
4.2k
SmartNews Ads における機械学習の活用とその運用 #mlops
komiya_atsushi
3
19k
GBDT によるクリック率予測を高速化したい #オレシカナイト vol.4
komiya_atsushi
5
1.3k
Maven central repository の artifact をランキングする #渋谷java
komiya_atsushi
0
1.2k
確率的データ構造を Java で扱いたい! #JJUG
komiya_atsushi
6
2.2k
Other Decks in Technology
See All in Technology
Applied NLP with LLMs: Beyond Black-Box Monoliths
inesmontani
PRO
0
110
What a Good Platform Looks Like and How to Get There @ Large Financial Organization, Oct 2024
mfpais
PRO
0
110
さくっと実践!Postmanを活用した高品質で持続可能なAPI管理
yokawasa
3
140
From naive to advanced RAG: the complete guide
glaforge
0
370
今日から始める技術的負債の解消
leveragestech
2
100
KubeVirt Networking ONIC 2024
orimanabu
4
680
TypeScript x Raycast x AIで変える開発者体験
nagauta
1
310
今こそ変化対応力を向上させるとき 〜ログラスが FAST に挑戦する理由〜 / Why Loglass is Talking on the Challenge of Agile Framework FAST
shioyang
0
180
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
380
組織デバイスのための効率的なアプリケーション更新戦略
kenchan0130
0
370
Perlで始めるeBPF: 自作Loaderの作り方 / Getting started with eBPF in Perl_How to create your own Loader
takehaya
1
1k
AWSの初級者向けAI・ML資格『AWS Certified AI Practitioner』の傾向と対策/So You Want To Pass AWS Certified AI Practitioner
quiver
0
630
Featured
See All Featured
The Language of Interfaces
destraynor
154
24k
Debugging Ruby Performance
tmm1
73
12k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Navigating Team Friction
lara
183
14k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
What's in a price? How to price your products and services
michaelherold
243
11k
KATA
mclloyd
28
13k
Web Components: a chance to create the future
zenorocha
310
42k
Infographics Made Easy
chrislema
239
18k
The Pragmatic Product Professional
lauravandoore
31
6.2k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Making Projects Easy
brettharned
115
5.9k
Transcript
機械学習の テスト⾃自動化 コトハジメ 2014.6.6 Machine Learning Casual Talks #1 at
COOKPAD @komiya_atsushi
2
「お前誰よ?」 3
略略して 4
「おまだれ」 5
6
ALBERT Inc. Analytical technology 7
Job: Engineer 8
Machine Learning and me 9
10 ワタシハ キカイガクシュウ チョットデキル I can develop machine
learning a little.
Today’s topic 11
Test Automation 12
Code-driven testing (xUnit / xSpec) + Continuous integration 13
Code-driven testing (xUnit / xSpec) + Continuous integration 14 こちらに注⽬目
Machine Learning 15
2. 分類・推定フェーズ 1. 学習フェーズ 正解が未知のデータ (特徴量量のみ) 特徴量量と正解情報の 組み合わせから 法則性を導き出す (モデル化)
学習データ (特徴量量&正解情報) 機械学習 アルゴリズム 分類・推定結果 モデル モデルを元に 正解を推測する Photo by littlelostrobot https://www.flickr.com/photos/littlelostrobot/215559356/ 16
時間もあまりないし 説明はカジュアルに 割愛します 17
18 http://www.slideshare.net/shoheihido/cross-30115506/19 詳しくは PFI ⽐比⼾戸さんの資料料がオススメ!
Why automated testing for machine learning ? 19
こんな経験 ありませんか? 20
機械学習アルゴリズムが 遅くて遅くて⽣生きるのが⾟辛い… 21 チューニングしてやったぜ! 何となく動作かくにん! よかった♡ 計算結果が全くおかしいことに N ヶ⽉月後になってから発覚 \(^o^)/
※この話はフィクションです
機械学習アルゴリズムの精度度を 上げるすんごいアイデア思いついた! 22 実装してみたら精度度が向上した! 何となく動作かくにん! よかった♡ 実はコーナーケースなデータの 存在をまったく考慮できてなくて 本番環境で不不慮の事故死… ※この話はフィクションです
23 本 番 環 境 で 事 故 を 起
こ す 奴 は
だからといって Excel ⽅方眼紙に書かれた テスト項⽬目を毎回消化するのも バカらしい 24
機械学習の実装・利利⽤用に 集中したい! 25
テストを ⾃自動化しましょ! 26
悩みどころ 27
「期待する結果」 の定義が難しい 28
機械学習の 精度度は 100% ではない 29
ランダムな 振る舞いをする アルゴリズム 30
テストデータを 作るのが⾟辛い 31
どのような ⼊入⼒力力データを 与えればよいか? 32
どのような 出⼒力力結果が 得られるのか? 33
テストケースが NG となったときに 何がダメなのかが 分かりづらい 34
実装上の 不不具合によって NGとなったのか? 35
はたまた ⼊入⼒力力データに 不不⼿手際があったのか? 36
Software testing of Machine learning 37
機械学習への Code-driven testing 適⽤用の基本 38
⼊入⼒力力データと 出⼒力力結果を 意識識する 39
2. 分類・推定フェーズ 1. 学習フェーズ 正解が未知のデータ (特徴量量のみ) 特徴量量と正解情報の 組み合わせから 法則性を導き出す (モデル化)
学習データ (特徴量量&正解情報) 機械学習 アルゴリズム 分類・推定結果 モデル モデルを元に 正解を推測する Photo by littlelostrobot https://www.flickr.com/photos/littlelostrobot/215559356/ 40
2. 分類・推定フェーズ 1. 学習フェーズ 正解が未知のデータ (特徴量量のみ) 特徴量量と正解情報の 組み合わせから 法則性を導き出す (モデル化)
学習データ (特徴量量&正解情報) 機械学習 アルゴリズム 分類・推定結果 モデル モデルを元に 正解を推測する Photo by littlelostrobot https://www.flickr.com/photos/littlelostrobot/215559356/ 41 Input Output
2. 分類・推定フェーズ 1. 学習フェーズ 正解が未知のデータ (特徴量量のみ) 特徴量量と正解情報の 組み合わせから 法則性を導き出す (モデル化)
学習データ (特徴量量&正解情報) 機械学習 アルゴリズム 分類・推定結果 モデル モデルを元に 正解を推測する Photo by littlelostrobot https://www.flickr.com/photos/littlelostrobot/215559356/ 42 Input Output ⼊入⼒力力データに対して、期待していた 出⼒力力結果が得られているのか?
Black-box testing ! ☺ 43
Patterns & Practices 44
※ おことわり 個⼈人の経験より 得られた知⾒見見をもとに お話をします (これが正解、というわけ ではありません) 45
テスト対象の 分離離・明確化 46
アプリケーション ビジネスロジック 機械学習 アルゴリズム 47
アプリケーション ビジネスロジック 機械学習 アルゴリズム 48 実装の正しさ を検証する 使い⽅方の正しさ を検証する 得られる精度度
を検証する
機械学習アルゴリズム に対するテスト 既存のライブラリを 利利⽤用するならテストは不不要 フルスクラッチ・独⾃自実装 する場合は必要 49
ビジネスロジックに 対するテスト 機械学習に与える ⼊入⼒力力データや出⼒力力結果の 取り扱いが複雑な場合に 実施すべき 50
アプリケーションに 対するテスト 機械学習の結果の精度度を 定量量評価できる仕組みが 整っている場合に実現可能 51
テストデータの 準備・作成 52
出⼒力力を⼈人⼒力力計算できる ⼩小規模データを⼿手で作る 53
54 Spark/MLlib: K-Means での例例
55 Spark/MLlib: K-Means での例例 このテストデータ に対して クラスタの中⼼心は この値になる
擬似データを ⾃自動⽣生成する 56
57 MLlib: Logistic regression での例例
58 MLlib: Logistic regression での例例 正規分布に従った 乱数を⽣生成し 条件に従って ラベル付け
これらを実践するためには、 各機械学習アルゴリズムに対する 本質的な理理解が求められる 59
既存の枯れた実装を 利利⽤用して⽣生成する 60
⼊入⼒力力として与える データだけを準備 すればよい 61
ライブラリ: libsvm, liblinear, SciPy, OpenCV 62
フレームワーク・ ソフトウェア: Mahout, Jubatus, R 63
テスト技法 64
モック 65
アプリケーション ビジネスロジック 機械学習 アルゴリズム 66 ビジネスロジックの テストに集中したいが、
アプリケーション ビジネスロジック 機械学習 アルゴリズム 67 機械学習アルゴリズムの 予測しづらい挙動が 悩ましい・・・
アプリケーション ビジネスロジック モック化 68 意図的な挙動を させる 予測可能な 返却値
フィクスチャ 69
アプリケーション ビジネスロジック 機械学習 アルゴリズム モデルファイル テストケースごとに モデルファイルを ⽤用意・差し替える 70
アプリケーション ビジネスロジック 機械学習 アルゴリズム 乱数シードを 固定する 71 乱数発⽣生器 seed =
127
ホワイト ボックス的観点 72
数値計算の結果が 例例外値になりうる ケースを予測する 73
74
75
NaN (negative) infinity 情報落落ち 76
・・・と そろそろいいお時間 ですのでこの辺で。 77
Conclusion 78
79 本 番 環 境 で 事 故 を 起
こ す 奴 は
そうならないように するための ⾃自動テスト 80
ありがとう ございました! 81