Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Machine Learning Experiment Tips
Search
Shintaro Shiba
June 01, 2020
Technology
0
1.4k
Machine Learning Experiment Tips
Tips for more productive machine learning experiments
Shintaro Shiba
June 01, 2020
Tweet
Share
More Decks by Shintaro Shiba
See All by Shintaro Shiba
3D study group 201902: Event-based vision
shiba24
0
260
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
shiba24
0
360
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
shiba24
0
650
Probabilistic Robotics chap 6-7
shiba24
0
570
Probabilistic Robotics chap 1-5
shiba24
0
460
Other Decks in Technology
See All in Technology
現代CSSフレームワークの内部実装とその仕組み
poteboy
8
3.7k
検証を通して見えてきたTiDBの性能特性
lycorptech_jp
PRO
7
3.8k
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
390
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
190
20分で完全に理解するGrafanaダッシュボード
hamadakoji
3
700
ServiceNow Knowledge Learning Rise up
manarobot
0
210
JSON攻略法.pdf
miyakemito
8
5.1k
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
350
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
400
Compose Compiler Metricsを使った実践的なコードレビュー
tomorrowkey
1
220
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
4
440
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
689
190k
Designing Experiences People Love
moore
136
23k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Optimising Largest Contentful Paint
csswizardry
8
2.4k
Why Our Code Smells
bkeepers
PRO
331
56k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
116
18k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
40
4.4k
A designer walks into a library…
pauljervisheath
200
23k
[RailsConf 2023] Rails as a piece of cake
palkan
23
4k
What's new in Ruby 2.0
geeforr
337
31k
BBQ
matthewcrist
80
8.8k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Transcript
個⼈開発のための 機械学習実験効率化tips By a Machine Learning software engineer Shintaro Shiba
動機 機械学習(だけに限らないが)の実装・実験は • ⾊々な実験条件の⽐較やコードのバージョン管理が⼤変 • 前処理も複雑になりがち • 特に3D系では、Point Cloudを扱ったりする際の可視化、時刻の同期、Pose周りの 問題などもあり⼀層複雑でデバッグが⼤変
• 実験スクリプトのボトルネックはGPUメモリへのコピーなのか?GPUな のか? データローダなのか?問題 • データが⼤量で、デバッグに時間がかかる問題 • tensorboard重すぎ問題、いちいちリモートサーバー⾏きたくない問題 • 可視化⽤のデータの保存先やネーミング問題 ソフトウェアエンジニア的な観点から効率化ツールを組み合わせ、 個⼈として可能な限り⾼速に開発する
Contents • jupyterを使⽤した探索的データ解析とデバッグ • Gitlabを使⽤した⾃動ユニットテスト • W&Bを使⽤した機械学習実験管理
jupyterを使⽤した探索的データ解析とデ バッグ • (ポピュラーだが)jupyterはデータ解析やデバッグには便利 • 例えばデータの統計量をみたい • 例えば複数のデータの時間的な同期を確認する • ここでのTipsは
• ⾃分の書いた関数をきちんとimportして使う • Autoreloadを使えば.pyファイル内の修正がすぐに反映される(参考) • ファイル名は(⻑くてもいいので)わかりやすいものにしておくこと • 不要なcellはガンガン消すこと(将来⾒たくなくなる)
Gitlabを使⽤した⾃動ユニットテスト (そもそも)ユニットテストを書く、1つでも良い • その実験で、「バグっていたら致命的な関数」は何か? • テスト書くの⾯倒… • →実際は書いてみると15分くらいで書ける • 最悪assertを埋め込むだけでも良い
• (あと書いたことがある⼈は就職に有利) 実装が難しい 実装が簡単 影響が致命的 影響が軽微 ここだけでも やっておく
Gitlabを使⽤した⾃動ユニットテスト テスト⽤の軽量データセットを⾃分で作成する • 本データと同じ形式にしておく • 例えば画像なら、ランダムに集めた10枚だけ • 例えばpickleやarrayが保存されているファイルなら、短くサンプリング • これらの軽量なテスト⽤データだけはgit管理下に⼊れてしまう
• 数枚程度の画像ならCPUで⼗分テスト可能になる • ちょっと⾯倒だが、実際は20分くらいあればできる
Gitlabを使⽤した⾃動ユニットテスト テスト環境等を定義する 右のファイルをコピペして保存 最終的に下のような形になる
Gitlabを使⽤した⾃動ユニットテスト Gitlabを使⽤して⾃動でテストされるようにする • 最初からGitlabのみを使⽤しても良い • Githubを使⽤したい場合には、GitlabでCI/CD⽤のProjectを作成できる: Githubへのpushによって⾃動でCI/CDが回る
W&Bを使⽤した機械学習実験管理 • デモします(公式docを読んでね) • 個⼈利⽤・アカデミック利⽤は無料(100GBまで) • 始め⽅ • Web経由の登録 https://app.wandb.ai/
と • pip install wandb • できること • Argparseの引数全部まとめて記録、Commit IDの記録 • Yamlで定義されたHyper parameter記録、結果⽐較 • モデルの重みの可視化 • CPU/GPU使⽤率モニタリング、モデルの重み等の可視化 • 画像、点群、matplotlibのplotの記録と可視化・あとでのダウンロード • Hyper parameter sweep
スマートフォン・Slack連携 • W&Bはそもそもスマホから結果を確認可能 • 地味だが、ssh不要、PCさえ不要なのは嬉しい • W&Bから、実験の終了時(成功or失敗)に slackを⾶ばす • GitlabからもPipelineの通知をslackに⾶ばす