Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCSでMLflow~初心者によるMLOps事始め~
Search
camay
March 03, 2024
Technology
0
160
SPCSでMLflow ~初心者によるMLOps事始め~
2024/03/01「
Snowpark Container Servicesで解き放つ!データアプリケーションの魔法
」発表スライドです。
camay
March 03, 2024
Tweet
Share
More Decks by camay
See All by camay
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
220
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
470
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
890
Other Decks in Technology
See All in Technology
Talk to Someone At Delta Airlines™️ USA Contact Numbers
travelcarecenter
0
170
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
3
390
M365アカウント侵害時の初動対応
lhazy
7
4.5k
Amazon CloudWatchのメトリクスインターバルについて / Metrics interval matters
ymotongpoo
3
210
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
280
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
1
250
Bliki (ja), and the Cathedral, and the Bazaar
koic
8
1.3k
AIコードアシスタントとiOS開発
jollyjoester
1
230
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
130
スプリントレビューを効果的にするために
miholovesq
9
1.6k
今日からあなたもGeminiを好きになる
subaruhello
1
560
データ駆動経営の道しるべ:プロダクト開発指標の戦略的活用法
ham0215
2
230
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
Building an army of robots
kneath
306
45k
Balancing Empowerment & Direction
lara
1
490
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
A better future with KSS
kneath
238
17k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
Unsuck your backbone
ammeep
671
58k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
370
Transcript
SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1
⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3
今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信(→内部ステージに保存されます) 3. 作成したモデルをMLflow Model Registryに送信(→内部ステージに保存されます) 4. MLflow Model Registryからモデルをデプロイ MLflow(OSSのPython MLOpsツール) と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5
感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が(現時点だと)良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない(PrPrの⽅だとできるらしい) • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを1⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF