Machine Learning Experiment Tips

Tips for more productive machine learning experiments

Transcript

1. 個⼈開発のための 機械学習実験効率化tips By a Machine Learning software engineer Shintaro Shiba
2. 動機 機械学習（だけに限らないが）の実装・実験は • ⾊々な実験条件の⽐較やコードのバージョン管理が⼤変 • 前処理も複雑になりがち • 特に3D系では、Point Cloudを扱ったりする際の可視化、時刻の同期、Pose周りの 問題などもあり⼀層複雑でデバッグが⼤変 • 実験スクリプトのボトルネックはGPUメモリへのコピーなのか？GPUな のか？ データローダなのか？問題 • データが⼤量で、デバッグに時間がかかる問題 • tensorboard重すぎ問題、いちいちリモートサーバー⾏きたくない問題 • 可視化⽤のデータの保存先やネーミング問題 ソフトウェアエンジニア的な観点から効率化ツールを組み合わせ、 個⼈として可能な限り⾼速に開発する
3. Contents • jupyterを使⽤した探索的データ解析とデバッグ • Gitlabを使⽤した⾃動ユニットテスト • W&Bを使⽤した機械学習実験管理
4. jupyterを使⽤した探索的データ解析とデ バッグ • （ポピュラーだが）jupyterはデータ解析やデバッグには便利 • 例えばデータの統計量をみたい • 例えば複数のデータの時間的な同期を確認する • ここでのTipsは • ⾃分の書いた関数をきちんとimportして使う • Autoreloadを使えば.pyファイル内の修正がすぐに反映される（参考） • ファイル名は（⻑くてもいいので）わかりやすいものにしておくこと • 不要なcellはガンガン消すこと（将来⾒たくなくなる）
5. Gitlabを使⽤した⾃動ユニットテスト （そもそも）ユニットテストを書く、1つでも良い • その実験で、「バグっていたら致命的な関数」は何か？ • テスト書くの⾯倒… • →実際は書いてみると15分くらいで書ける • 最悪assertを埋め込むだけでも良い • （あと書いたことがある⼈は就職に有利） 実装が難しい 実装が簡単 影響が致命的 影響が軽微 ここだけでも やっておく
6. Gitlabを使⽤した⾃動ユニットテスト テスト⽤の軽量データセットを⾃分で作成する • 本データと同じ形式にしておく • 例えば画像なら、ランダムに集めた10枚だけ • 例えばpickleやarrayが保存されているファイルなら、短くサンプリング • これらの軽量なテスト⽤データだけはgit管理下に⼊れてしまう • 数枚程度の画像ならCPUで⼗分テスト可能になる • ちょっと⾯倒だが、実際は20分くらいあればできる
7. Gitlabを使⽤した⾃動ユニットテスト テスト環境等を定義する 右のファイルをコピペして保存 最終的に下のような形になる
8. Gitlabを使⽤した⾃動ユニットテスト Gitlabを使⽤して⾃動でテストされるようにする • 最初からGitlabのみを使⽤しても良い • Githubを使⽤したい場合には、GitlabでCI/CD⽤のProjectを作成できる: Githubへのpushによって⾃動でCI/CDが回る
9. W&Bを使⽤した機械学習実験管理 • デモします（公式docを読んでね） • 個⼈利⽤・アカデミック利⽤は無料（100GBまで） • 始め⽅ • Web経由の登録 https://app.wandb.ai/ と • pip install wandb • できること • Argparseの引数全部まとめて記録、Commit IDの記録 • Yamlで定義されたHyper parameter記録、結果⽐較 • モデルの重みの可視化 • CPU/GPU使⽤率モニタリング、モデルの重み等の可視化 • 画像、点群、matplotlibのplotの記録と可視化・あとでのダウンロード • Hyper parameter sweep
10. スマートフォン・Slack連携 • W&Bはそもそもスマホから結果を確認可能 • 地味だが、ssh不要、PCさえ不要なのは嬉しい • W&Bから、実験の終了時（成功or失敗）に slackを⾶ばす • GitlabからもPipelineの通知をslackに⾶ばす