MLOps の処方箋ができるまで Asei Sugiyama

自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑 共著 事例でわかる MLOps 共著 決闘者 @ マスターデュエル

TOC 背景 <- 取り組んだ課題 結果 今後の展望

MLOps の誕生 2018 年の Google Cloud Next がおそらく初出 MLOps は DevOps for ML として定義される

2022 MLSE 夏合宿 機械学習オペレーション WG を設立 基調講演として MLOps に ついて講演 このイベントで現在の 「 MLOps とは機械学習の 成果をスケールさせるた めのさまざまな取り組み」 という定義に行き着く Introduction to MLOps https://speakerdeck.com/asei/introduction-to-mlops

当時の状況 機械学習基盤の作り方は 共通理解ができてきた それ以外の分野について は共通理解が存在しなか った 活用の現場は多様なもの の類似する課題が複数の 現場で取り組まれていた Introduction to MLOps https://speakerdeck.com/asei/introduction-to-mlops

TOC 背景 取り組んだ課題 <- 結果 今後の展望

モチベーション 書籍「 SRE の探求」の MLOps 版を読みたかった MLOps の精緻な体系化よ りも、各現場の取り組み を集めて広めたかった David N. Blank-Edelman　編、山口 能迪　監訳、渡邉 了介　訳 (2021) SRE の探求―様々な企業におけるサイトリライアビリティエンジニアリングの導 入と実践 オライリージャパン

「 SRE の探求」の作り方 SREconのようなカンファレンスでランチを取っていると考えてみ てください。一緒にテーブルを囲んでいるのは初対面の優秀な SRE たちで、そのうちの 1人が、あなたに次のように言います。 「それ で、今は何に取り組んでいるのですか。最近の関心事はどのような ことですか」あなたは質問に答え始めます ……では、それをそのま ま書き記してください。 David N. Blank-Edelman　編、山口 能迪　監訳、渡邉 了介　訳 (2021) SREの探求―様々な企業におけるサイトリライアビリティエンジニアリングの導入と 実践 オライリージャパン

「 MLOps の処方箋」の作り方 あなたの考える最高の MLOps の事例を話してください！ 杉山 阿聖 太田 満久 久井 裕貴 編著 (2024) 事例でわかる MLOps　機械学習の成果をスケールする処方箋 講談社

取り組んだ課題と対策 課題 1. 機械学習パイプライン以外の分野は不明瞭で、共通理解が 存在しない 対策 1. MLOps について体系化することで、 MLOps の全体像を明確 にする 課題 2. 現場で直面している課題は多様であり、課題に対する対策 の指針が立案できない 対策 2. MLOps について幅広く事例を集めることで、さまざまな現 場における行動指針を明確にする

TOC 背景 取り組んだ課題 結果 <- 今後の展望

課題 1. 機械学習パイプライン 以外の分野は不明瞭で、共通 理解が存在しない MLOps = DevOps + ML という考え 方に基づいて、現状の取り組みを 整理 第 1部で技術・プロセス・文化でそ れぞれの取組を整理

課題 2. 現場で直面している課題は多様であり、課題に 対する対策の指針が立案できない 第 2部の豪華執筆陣による豊富な事例で解決

TOC 背景 取り組んだ課題 結果 今後の展望 <-

現状の MLOps の課題と本書籍における取り組み 教育 : 部分的に解決 LLM: 初期的な取り組み 法制度・標準への対応 : 未着手

教育 MLOps は複雑化した結果、新規に 取り組むには難しくなりすぎた すでにあるプロダクトや OSS の存 在を知らず、再開発を行う事例が 出てきた 本書やコミュニティが役立つこと を期待

LLM 現状の MLOps は CT (継続 的な訓練 ) が中心 必ずしも訓練しない LLM の活用には別のノウハウ が必要 本書は LLM の活用事例を 含むため、初期の取り組 みになっている Learn how to build and scale Generative AI solutions with GenOps | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine- learning/learn-how-to-build-and-scale-generative-ai-solutions-with- genops?hl=en

法制度・標準への対応 緊急かつ重大な課題 2024 年 8 月に AI Act が EU で交付 AIセーフティに関する評価観点ガイド (AI セーフティ・インスティ テュート ) は LLM システムの開発フェーズを定義 MLOps の仮定するフェーズと一致しない場合、既存のノウハウが 使えなくなる 個人的に AIQMI (産総研主催 ) の団体に参加したものの、参加者がま だまだ不足

AI セーフティに関する評価観点ガイド（第 1.01 版）図 1 AIセーフティに関する評価観点ガイドの公開 - AISI Japan https://aisi.go.jp/2024/09/18/evaluation_perspectives/

まとめ MLOps は機械学習の成果をスケールさせるためのさまざまな取り 組み 本書では MLOps の全体像について、技術・プロセス・文化でそれ ぞれの取組を整理 本書はさまざまな現場における取り組みについての事例集 MLOps の分野における課題は教育、 LLM への対応、法制度・標準 への対応が存在し、引き続き取り組みが必要