Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Machine Learning Experiment Tips
Search
Shintaro Shiba
June 01, 2020
Technology
0
1.5k
Machine Learning Experiment Tips
Tips for more productive machine learning experiments
Shintaro Shiba
June 01, 2020
Tweet
Share
More Decks by Shintaro Shiba
See All by Shintaro Shiba
3D study group 201902: Event-based vision
shiba24
0
300
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
shiba24
0
400
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
shiba24
0
760
Probabilistic Robotics chap 6-7
shiba24
0
610
Probabilistic Robotics chap 1-5
shiba24
0
470
Other Decks in Technology
See All in Technology
機械学習を扱うプラットフォーム開発と運用事例
lycorptech_jp
PRO
0
550
まずはマネコンでちゃちゃっと作ってから、それをCDKにしてみよか。
yamada_r
2
120
20250912_RPALT_データを集める→とっ散らかる問題_Obsidian紹介
ratsbane666
0
100
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
10k
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1.1k
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
110
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
2
260
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
250
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
340
いま注目のAIエージェントを作ってみよう
supermarimobros
0
330
Codeful Serverless / 一人運用でもやり抜く力
_kensh
7
450
Featured
See All Featured
How to Ace a Technical Interview
jacobian
279
23k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Site-Speed That Sticks
csswizardry
10
820
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Faster Mobile Websites
deanohume
309
31k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
Rails Girls Zürich Keynote
gr2m
95
14k
Transcript
個⼈開発のための 機械学習実験効率化tips By a Machine Learning software engineer Shintaro Shiba
動機 機械学習(だけに限らないが)の実装・実験は • ⾊々な実験条件の⽐較やコードのバージョン管理が⼤変 • 前処理も複雑になりがち • 特に3D系では、Point Cloudを扱ったりする際の可視化、時刻の同期、Pose周りの 問題などもあり⼀層複雑でデバッグが⼤変
• 実験スクリプトのボトルネックはGPUメモリへのコピーなのか?GPUな のか? データローダなのか?問題 • データが⼤量で、デバッグに時間がかかる問題 • tensorboard重すぎ問題、いちいちリモートサーバー⾏きたくない問題 • 可視化⽤のデータの保存先やネーミング問題 ソフトウェアエンジニア的な観点から効率化ツールを組み合わせ、 個⼈として可能な限り⾼速に開発する
Contents • jupyterを使⽤した探索的データ解析とデバッグ • Gitlabを使⽤した⾃動ユニットテスト • W&Bを使⽤した機械学習実験管理
jupyterを使⽤した探索的データ解析とデ バッグ • (ポピュラーだが)jupyterはデータ解析やデバッグには便利 • 例えばデータの統計量をみたい • 例えば複数のデータの時間的な同期を確認する • ここでのTipsは
• ⾃分の書いた関数をきちんとimportして使う • Autoreloadを使えば.pyファイル内の修正がすぐに反映される(参考) • ファイル名は(⻑くてもいいので)わかりやすいものにしておくこと • 不要なcellはガンガン消すこと(将来⾒たくなくなる)
Gitlabを使⽤した⾃動ユニットテスト (そもそも)ユニットテストを書く、1つでも良い • その実験で、「バグっていたら致命的な関数」は何か? • テスト書くの⾯倒… • →実際は書いてみると15分くらいで書ける • 最悪assertを埋め込むだけでも良い
• (あと書いたことがある⼈は就職に有利) 実装が難しい 実装が簡単 影響が致命的 影響が軽微 ここだけでも やっておく
Gitlabを使⽤した⾃動ユニットテスト テスト⽤の軽量データセットを⾃分で作成する • 本データと同じ形式にしておく • 例えば画像なら、ランダムに集めた10枚だけ • 例えばpickleやarrayが保存されているファイルなら、短くサンプリング • これらの軽量なテスト⽤データだけはgit管理下に⼊れてしまう
• 数枚程度の画像ならCPUで⼗分テスト可能になる • ちょっと⾯倒だが、実際は20分くらいあればできる
Gitlabを使⽤した⾃動ユニットテスト テスト環境等を定義する 右のファイルをコピペして保存 最終的に下のような形になる
Gitlabを使⽤した⾃動ユニットテスト Gitlabを使⽤して⾃動でテストされるようにする • 最初からGitlabのみを使⽤しても良い • Githubを使⽤したい場合には、GitlabでCI/CD⽤のProjectを作成できる: Githubへのpushによって⾃動でCI/CDが回る
W&Bを使⽤した機械学習実験管理 • デモします(公式docを読んでね) • 個⼈利⽤・アカデミック利⽤は無料(100GBまで) • 始め⽅ • Web経由の登録 https://app.wandb.ai/
と • pip install wandb • できること • Argparseの引数全部まとめて記録、Commit IDの記録 • Yamlで定義されたHyper parameter記録、結果⽐較 • モデルの重みの可視化 • CPU/GPU使⽤率モニタリング、モデルの重み等の可視化 • 画像、点群、matplotlibのplotの記録と可視化・あとでのダウンロード • Hyper parameter sweep
スマートフォン・Slack連携 • W&Bはそもそもスマホから結果を確認可能 • 地味だが、ssh不要、PCさえ不要なのは嬉しい • W&Bから、実験の終了時(成功or失敗)に slackを⾶ばす • GitlabからもPipelineの通知をslackに⾶ばす