Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Machine Learning Experiment Tips
Search
Shintaro Shiba
June 01, 2020
Technology
0
1.5k
Machine Learning Experiment Tips
Tips for more productive machine learning experiments
Shintaro Shiba
June 01, 2020
Tweet
Share
More Decks by Shintaro Shiba
See All by Shintaro Shiba
3D study group 201902: Event-based vision
shiba24
0
290
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
shiba24
0
400
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
shiba24
0
760
Probabilistic Robotics chap 6-7
shiba24
0
600
Probabilistic Robotics chap 1-5
shiba24
0
470
Other Decks in Technology
See All in Technology
robocopy の怖い話/scary-story-about-robocopy
emiki
0
450
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
160
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
230
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
3
250
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
4
470
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
3
190
みんなのSRE 〜チーム全員でのSRE活動にするための4つの取り組み〜
kakehashi
PRO
2
130
Kiroでインフラ要件定義~テスト を実施してみた
nagisa53
3
280
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.3k
2025-07-31: GitHub Copilot Agent mode at Vibe Coding Cafe (15min)
chomado
2
340
SAE J1939シミュレーション環境構築
daikiokazaki
1
220
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
How GitHub (no longer) Works
holman
314
140k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
KATA
mclloyd
31
14k
Typedesign – Prime Four
hannesfritz
42
2.7k
Side Projects
sachag
455
43k
Faster Mobile Websites
deanohume
308
31k
Transcript
個⼈開発のための 機械学習実験効率化tips By a Machine Learning software engineer Shintaro Shiba
動機 機械学習(だけに限らないが)の実装・実験は • ⾊々な実験条件の⽐較やコードのバージョン管理が⼤変 • 前処理も複雑になりがち • 特に3D系では、Point Cloudを扱ったりする際の可視化、時刻の同期、Pose周りの 問題などもあり⼀層複雑でデバッグが⼤変
• 実験スクリプトのボトルネックはGPUメモリへのコピーなのか?GPUな のか? データローダなのか?問題 • データが⼤量で、デバッグに時間がかかる問題 • tensorboard重すぎ問題、いちいちリモートサーバー⾏きたくない問題 • 可視化⽤のデータの保存先やネーミング問題 ソフトウェアエンジニア的な観点から効率化ツールを組み合わせ、 個⼈として可能な限り⾼速に開発する
Contents • jupyterを使⽤した探索的データ解析とデバッグ • Gitlabを使⽤した⾃動ユニットテスト • W&Bを使⽤した機械学習実験管理
jupyterを使⽤した探索的データ解析とデ バッグ • (ポピュラーだが)jupyterはデータ解析やデバッグには便利 • 例えばデータの統計量をみたい • 例えば複数のデータの時間的な同期を確認する • ここでのTipsは
• ⾃分の書いた関数をきちんとimportして使う • Autoreloadを使えば.pyファイル内の修正がすぐに反映される(参考) • ファイル名は(⻑くてもいいので)わかりやすいものにしておくこと • 不要なcellはガンガン消すこと(将来⾒たくなくなる)
Gitlabを使⽤した⾃動ユニットテスト (そもそも)ユニットテストを書く、1つでも良い • その実験で、「バグっていたら致命的な関数」は何か? • テスト書くの⾯倒… • →実際は書いてみると15分くらいで書ける • 最悪assertを埋め込むだけでも良い
• (あと書いたことがある⼈は就職に有利) 実装が難しい 実装が簡単 影響が致命的 影響が軽微 ここだけでも やっておく
Gitlabを使⽤した⾃動ユニットテスト テスト⽤の軽量データセットを⾃分で作成する • 本データと同じ形式にしておく • 例えば画像なら、ランダムに集めた10枚だけ • 例えばpickleやarrayが保存されているファイルなら、短くサンプリング • これらの軽量なテスト⽤データだけはgit管理下に⼊れてしまう
• 数枚程度の画像ならCPUで⼗分テスト可能になる • ちょっと⾯倒だが、実際は20分くらいあればできる
Gitlabを使⽤した⾃動ユニットテスト テスト環境等を定義する 右のファイルをコピペして保存 最終的に下のような形になる
Gitlabを使⽤した⾃動ユニットテスト Gitlabを使⽤して⾃動でテストされるようにする • 最初からGitlabのみを使⽤しても良い • Githubを使⽤したい場合には、GitlabでCI/CD⽤のProjectを作成できる: Githubへのpushによって⾃動でCI/CDが回る
W&Bを使⽤した機械学習実験管理 • デモします(公式docを読んでね) • 個⼈利⽤・アカデミック利⽤は無料(100GBまで) • 始め⽅ • Web経由の登録 https://app.wandb.ai/
と • pip install wandb • できること • Argparseの引数全部まとめて記録、Commit IDの記録 • Yamlで定義されたHyper parameter記録、結果⽐較 • モデルの重みの可視化 • CPU/GPU使⽤率モニタリング、モデルの重み等の可視化 • 画像、点群、matplotlibのplotの記録と可視化・あとでのダウンロード • Hyper parameter sweep
スマートフォン・Slack連携 • W&Bはそもそもスマホから結果を確認可能 • 地味だが、ssh不要、PCさえ不要なのは嬉しい • W&Bから、実験の終了時(成功or失敗)に slackを⾶ばす • GitlabからもPipelineの通知をslackに⾶ばす