Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon SageMaker MLFlow でスマートに機械学習モデルの実験を管理する方法
Search
ともぞう
November 14, 2024
0
490
Amazon SageMaker MLFlow でスマートに機械学習モデルの実験を管理する方法
ともぞう
November 14, 2024
Tweet
Share
Featured
See All Featured
Bash Introduction
62gerente
614
210k
Music & Morning Musume
bryan
46
6.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
What's in a price? How to price your products and services
michaelherold
246
12k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
BBQ
matthewcrist
89
9.7k
VelocityConf: Rendering Performance Case Studies
addyosmani
330
24k
Transcript
2024/11/13 データ事業本部 小笹友弘 まるクラ勉強会 ONLINE #3 Amazon SageMaker MLFlowで スマートに
機械学習モデルの実験を管理する方法
自己紹介 2 • 名前 ◦ 小笹 友弘 (オザサ トモヒロ) •
所属 ◦ クラスメソッド株式会社 ◦ データ事業本部 ◦ インテグレーション部 ◦ 機械学習チーム • 好きな技術領域・サービス • AWS Step Functions • Terraform • 業務領域 • データ分析/モデル開発 • AWSの機械学習のマネージドサービスを用いたインフラ 基盤構築 • 資格 • AWS全冠
機械学習モデルを作るとき 次のような経験はありませんか?
実験を繰り返すたびに管理が煩雑に 複数のモデルをテストしているうちに、 いつ実験を行ったのか、 モデルはどのファイルで保存したのか、 どのハイパーパラメータがどの結果を出したのか、 どのモデルが最も良いパフォーマンスを出したのか、 だんだん混乱してしまう。 最初はスプレッドシートや複数のNotebookで管理していたけど、モデ ルの数が増えるにつれて、追跡が難しくなってしまう…。
機械学習モデルの実験管理が できるツール(MLflow)があるらしい。 ただ、チームで共有するには サーバが必要になる…
インフラ担当者はいったい誰に • データサイエンスチームがMLflowを使い始めたけど、 トラッキングサーバーの構築が必要だと気付く。 みんな忙しいし、誰もその役割を引き受けたがらない。 • データサイエンティスト「え、私たちは分析業務やモデル構築に手一 杯で、サーバーの構築/管理までできない…」 • インフラエンジニア「え、別の案件で手一杯なんだよなあ。そして、
そのツールよく知らないんだけど…」 結果、誰もやりたがらない仕事が宙に浮いてしまいがち。
2024年6月にAWSが フルマネージド型の実験管理サービス SageMaker MLflow を一般提供開始
これでインフラのこと考えなくて済むのが本当 に助かるよ。今まで、実験環境のセットアップ とか、サーバーの管理とかで無駄に時間取られ てたからさ。 SageMaker Model Registryとも簡単に統合でき るっぽいから、トレーニングしたモデルをすぐ に本番環境に持っていけるのも助かるよね。 そういえば、実験管理も楽になるんだよね?今
まで手動でログ取ったり、バージョン管理した りしてたけど、これからは自動で全部トラッキ ングしてくれるらしいよ。過去の実験結果もす ぐに見返せるし、再現性もバッチリだって。 悩みが解決される
Amazon Sagemaker MLflowのセットアップ手順
①Amazon SageMakerにアクセス ②Applications and IDEsの中の 「Studio」を選択。 (但し、既にドメインを作成している前提。) ③「Studioを開く」をクリック。 Amazon SageMakerにアクセス
④MLflowをクリック ⑤「Create」をクリックして、MLflow Tracking Serverを作成 SageMaker Studioにアクセス
⑥ MLflow Tracking Server名を記載 ⑦アーティファクトの保存場所 (S3 URI)を記載 MLflow Tracking Serverを新規作成
作成に約25分ほどかかります。 また、停止してから再度立ち上げる際も 約25分ほどかかります。 MLflow Tracking Serverが作成されるまで待ちます
セットアップしたSageMaker サーバーで どのような実験情報を確認できるのか
MLflow Tracking ServerのUIをブラウザで確認
異なる実験の”メトリクス”や”ハイパーパラメータ”を比較
ファイル管理やモデルレジストリ登録も可能
SageMaker MLflowの料金体系
料金(東京リージョンの場合) ①コンピューティング料金: 使用したインスタンスのサイズと実行時間に基づいて 課金されます。 • Small(1 ~ 25ユーザ規模): 1時間あたり 0.789ドル
• Medium(1 ~ 50ユーザ規模): 1時間あたり 1.369ドル • Large(1 ~ 100ユーザ規模): 1時間あたり 2.53ドル ②ストレージ料金: データやメタデータの保存に使用するストレージ量に基づいて 課金されます。 • GB-月あたり 0.12ドル 【以下の状況を想定する】 • データサイエンティストの人数:5人 • 勤務時間:9:00 ~ 18:00 0.789 × 9時間 × 20日 = 142ドル(≒2万円)/月
None