Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Machine Learning Experiment Tips
Search
Shintaro Shiba
June 01, 2020
Technology
0
1.5k
Machine Learning Experiment Tips
Tips for more productive machine learning experiments
Shintaro Shiba
June 01, 2020
Tweet
Share
More Decks by Shintaro Shiba
See All by Shintaro Shiba
3D study group 201902: Event-based vision
shiba24
0
300
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
shiba24
0
400
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
shiba24
0
760
Probabilistic Robotics chap 6-7
shiba24
0
610
Probabilistic Robotics chap 1-5
shiba24
0
470
Other Decks in Technology
See All in Technology
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
kawanoriku0
1
220
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.3k
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
10
3.2k
下手な強制、ダメ!絶対! 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは?
tsukaman
2
460
ブロックテーマ時代における、テーマの CSS について考える Toro_Unit / 2025.09.13 @ Shinshu WordPress Meetup
torounit
0
130
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
280
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
1.1k
データ分析エージェント Socrates の育て方
na0
8
2.7k
Create Ruby native extension gem with Go
sue445
0
130
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
cmusudakeisuke
1
280
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
1
970
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
460
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
930
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Documentation Writing (for coders)
carmenintech
74
5k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Fireside Chat
paigeccino
39
3.6k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Making Projects Easy
brettharned
117
6.4k
Side Projects
sachag
455
43k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Transcript
個⼈開発のための 機械学習実験効率化tips By a Machine Learning software engineer Shintaro Shiba
動機 機械学習(だけに限らないが)の実装・実験は • ⾊々な実験条件の⽐較やコードのバージョン管理が⼤変 • 前処理も複雑になりがち • 特に3D系では、Point Cloudを扱ったりする際の可視化、時刻の同期、Pose周りの 問題などもあり⼀層複雑でデバッグが⼤変
• 実験スクリプトのボトルネックはGPUメモリへのコピーなのか?GPUな のか? データローダなのか?問題 • データが⼤量で、デバッグに時間がかかる問題 • tensorboard重すぎ問題、いちいちリモートサーバー⾏きたくない問題 • 可視化⽤のデータの保存先やネーミング問題 ソフトウェアエンジニア的な観点から効率化ツールを組み合わせ、 個⼈として可能な限り⾼速に開発する
Contents • jupyterを使⽤した探索的データ解析とデバッグ • Gitlabを使⽤した⾃動ユニットテスト • W&Bを使⽤した機械学習実験管理
jupyterを使⽤した探索的データ解析とデ バッグ • (ポピュラーだが)jupyterはデータ解析やデバッグには便利 • 例えばデータの統計量をみたい • 例えば複数のデータの時間的な同期を確認する • ここでのTipsは
• ⾃分の書いた関数をきちんとimportして使う • Autoreloadを使えば.pyファイル内の修正がすぐに反映される(参考) • ファイル名は(⻑くてもいいので)わかりやすいものにしておくこと • 不要なcellはガンガン消すこと(将来⾒たくなくなる)
Gitlabを使⽤した⾃動ユニットテスト (そもそも)ユニットテストを書く、1つでも良い • その実験で、「バグっていたら致命的な関数」は何か? • テスト書くの⾯倒… • →実際は書いてみると15分くらいで書ける • 最悪assertを埋め込むだけでも良い
• (あと書いたことがある⼈は就職に有利) 実装が難しい 実装が簡単 影響が致命的 影響が軽微 ここだけでも やっておく
Gitlabを使⽤した⾃動ユニットテスト テスト⽤の軽量データセットを⾃分で作成する • 本データと同じ形式にしておく • 例えば画像なら、ランダムに集めた10枚だけ • 例えばpickleやarrayが保存されているファイルなら、短くサンプリング • これらの軽量なテスト⽤データだけはgit管理下に⼊れてしまう
• 数枚程度の画像ならCPUで⼗分テスト可能になる • ちょっと⾯倒だが、実際は20分くらいあればできる
Gitlabを使⽤した⾃動ユニットテスト テスト環境等を定義する 右のファイルをコピペして保存 最終的に下のような形になる
Gitlabを使⽤した⾃動ユニットテスト Gitlabを使⽤して⾃動でテストされるようにする • 最初からGitlabのみを使⽤しても良い • Githubを使⽤したい場合には、GitlabでCI/CD⽤のProjectを作成できる: Githubへのpushによって⾃動でCI/CDが回る
W&Bを使⽤した機械学習実験管理 • デモします(公式docを読んでね) • 個⼈利⽤・アカデミック利⽤は無料(100GBまで) • 始め⽅ • Web経由の登録 https://app.wandb.ai/
と • pip install wandb • できること • Argparseの引数全部まとめて記録、Commit IDの記録 • Yamlで定義されたHyper parameter記録、結果⽐較 • モデルの重みの可視化 • CPU/GPU使⽤率モニタリング、モデルの重み等の可視化 • 画像、点群、matplotlibのplotの記録と可視化・あとでのダウンロード • Hyper parameter sweep
スマートフォン・Slack連携 • W&Bはそもそもスマホから結果を確認可能 • 地味だが、ssh不要、PCさえ不要なのは嬉しい • W&Bから、実験の終了時(成功or失敗)に slackを⾶ばす • GitlabからもPipelineの通知をslackに⾶ばす