Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCSでMLflow~初心者によるMLOps事始め~
Search
camay
March 03, 2024
Technology
0
140
SPCSでMLflow ~初心者によるMLOps事始め~
2024/03/01「
Snowpark Container Servicesで解き放つ!データアプリケーションの魔法
」発表スライドです。
camay
March 03, 2024
Tweet
Share
More Decks by camay
See All by camay
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
420
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
800
Other Decks in Technology
See All in Technology
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
130
Observability infrastructure behind the trillion-messages scale Kafka platform
lycorptech_jp
PRO
0
140
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
0
150
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
3
120
Javaで作る RAGを活用した Q&Aアプリケーション
recruitengineers
PRO
1
110
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
540
Model Mondays S2E02: Model Context Protocol
nitya
0
220
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
170
How Community Opened Global Doors
hiroramos4
PRO
1
120
Microsoft Build 2025 技術/製品動向 for Microsoft Startup Tech Community
torumakabe
2
270
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
700
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1031
460k
BBQ
matthewcrist
89
9.7k
Building an army of robots
kneath
306
45k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
930
Side Projects
sachag
455
42k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
700
Optimizing for Happiness
mojombo
379
70k
A designer walks into a library…
pauljervisheath
207
24k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
790
Why You Should Never Use an ORM
jnunemaker
PRO
57
9.4k
Transcript
SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1
⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3
今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信(→内部ステージに保存されます) 3. 作成したモデルをMLflow Model Registryに送信(→内部ステージに保存されます) 4. MLflow Model Registryからモデルをデプロイ MLflow(OSSのPython MLOpsツール) と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5
感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が(現時点だと)良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない(PrPrの⽅だとできるらしい) • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを1⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF