Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
インタビューから見えてきた MLOps のレベルと現場の課題
Search
Asei Sugiyama
December 14, 2022
Technology
2
1.9k
インタビューから見えてきた MLOps のレベルと現場の課題
2022年 年忘れ! MLOps LT大会!!!
https://mlops.connpass.com/event/265378/
の登壇資料です、MLOps に関する2022年の所感を話しました
Asei Sugiyama
December 14, 2022
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
生成AIを用いるサービス開発の原則
asei
1
30
基調講演: 生成AIを活用したアプリケーションの開発手法とは?
asei
1
330
Eval-Centric AI: GenAI における継続的改善の実現
asei
2
120
AI の活用における課題と現状、今後の期待
asei
4
720
MLOps の現場から
asei
9
1.1k
LLMOps: Eval-Centric を前提としたMLOps
asei
7
950
The Rise of LLMOps
asei
13
3.3k
生成AIの活用パターンと継続的評価
asei
15
3.2k
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
asei
2
190
Other Decks in Technology
See All in Technology
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
200
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
140
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
130
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
160
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
180
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
260
事例で学ぶ!B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
bitkey
1
160
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
8.1k
ABEMAの本番環境負荷試験への挑戦
mk2taiga
4
310
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
2
370
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
200
shake-upを科学する
rsakata
7
800
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Code Review Best Practice
trishagee
69
19k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
For a Future-Friendly Web
brad_frost
179
9.8k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Practical Orchestrator
shlominoach
189
11k
Why Our Code Smells
bkeepers
PRO
336
57k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
インタビューから見えてきた MLOps の レベルと現場の課題 Asei Sugiyama
自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Advisor
@ Money Forward Organizer @ MLSE 機械学習オペレーション WG 機械学習図鑑 共著
TOC 背景 <- MLOps の取り組みの分類 MLOps の課題 まとめ
機械学習の実用化について相談を受けることが多い AIを一つください、という前に https://speakerdeck.com/asei/aiwo-tukudasai-toiuqian-ni
さまざまに情報発信 Asei Sugiyama (@asei) on Speaker Deck https://speakerdeck.com/asei
縁あって MLSE に参加 MLOps に関する Working Group MLOps に関する基調講演
現場の課題を収集する Workshop https://app.mural.co/t/zeroqueue8023/m/zeroqueue8023/1657073071541/6f20ef4285a7e19caf0baceb174dc781fd2d9f06? sender=u5c824b66a2341e9ebe6b4303
今日は今まで聞いてきた話について振り返り MLOps の定義 プラクティスの分類方法 MLOps の取組分野 機械学習の活用段階 あまり有効でない分類軸
TOC 背景 MLOps の取り組みの分類 <- MLOps の課題 まとめ
MLOps の定義 MLOps: 機械学習の成果を スケールさせるための取り 組み AI を育てる取り組み
MLOps の取り組みの分類方法 MLOps の取り組み分野 機械学習の活用段階
MLOps の取組分野 MLOps を支える技術 MLOps を支えるプロセス MLOps を支えるモニタリン グ MLOps
を支える文化
MLOps を支える技術 機械学習パイプライン ML Metadata Feature Store 概ねここが MLOps として
語られる MLOps: Continuous delivery and automation pipelines in machine learning https://cloud.google.com/architecture/mlops-continuous-delivery-and- automation-pipelines-in-machine-learning
MLOps を支えるプロセ ス モデルの実験プロセス 本番システムに至るまでの 開発プロセス モデルのテスト 本番環境での検証 (A/Bテス トなど)
Well-Architected machine learning lifecycle - Machine Learning Lens https://docs.aws.amazon.com/wellarchitected/latest/machine-learning- lens/well-architected-machine-learning-lifecycle.html
MLOps を支えるモニタ リング 通常のシステムとしての計 測 データの測定 指標の測定 精度の測定 Lupus -
A Monitoring System for Accelerating MLOps https://speakerdeck.com/line_devday2021/lupus-a-monitoring-system-for- accelerating-mlops
MLOps を支える文化 多様な利害関係者間での合 意形成 機械学習チームの評価 機械学習に対する経営判断 Artificial Intelligence (AI) Transformation
Playbook | Landing AI https://landing.ai/resources/ai-transformation-playbook/ エムスリーにおけるAI・機械学習チームの立ち上げと機械学習プロダクト開発 https://speakerdeck.com/nishiba/m3-ai-team
機械学習の活用段階 Lv.0 手作業しかない Lv.1 デプロイの脱属人化 Lv.2 組織的な機械学習基盤の導入 Lv.3 継続的なモニタリングと改善のための分析
体感値 Lv.1 までは行けるようになってきた それ以降に分厚い壁がある Lv 段階 組織の多さ Lv.0 手作業しかない 大半がこれ
Lv.1 デプロイの脱属人化 かなり出てきた Lv.2 組織的な機械学習基盤の導入 ごく一部 Lv.3 継続的なモニタリングと改善のための分析 ほぼいない
あまり有効でない分類軸 企業規模 大企業でもスタートアップ並みに活用している場合がある SaaS 企業でもまったく進められない場合がある 業界 他業種の事例が製造業で活きるなど、事例の有用性は業界をまたぐ 逆説的に、MLOps は機械学習に関するすべての人に関係する
TOC 背景 MLOps の取り組みの分類 MLOps の課題 <- まとめ
現状の課題認識 技術面で未成熟 MLOps に関する取り組みや課題の収集 グローバルな動向に関するキャッチアップ
技術面で未成熟 Kubeflow をはじめ MLOps で用いられるツールはまだまだ未成熟 現状はデプロイの自働化やデプロイ前のテストに議論が集中しがち この領域はエンジニア間での交流が進んできている
MLOps に関する取り組みや課題の収集 成功事例は出てくるものの、それより遥かに多いはずの失敗事例が出て こない Microsoft: An Empirical Study on Program
Failures of Deep Learning Jobs - Microsoft Research Google: How ML Breaks: A Decade of Outages for One Large ML Pipeline 課題について情報発信側に回る人が少ない MLSE のワーキンググループで課題の収集を行っていく予定
グローバルな動向に関するキ ャッチアップ EU の AI ACT をはじめとして、 各国で機械学習の「標準」の策 定が進む 今までのボトムアップだけでは
なくなり、トップダウンな動き 国内団体や、国外の団体へとつ ながりを広めたい
まとめ MLOps に関するさまざまなとりくみについて振り返り どうやら活用段階と取組分野で課題や取り組みが分類できそう 事例や国内外の規制について情報収集を進める予定
None