LLMアプリ、 雰囲気で運用してませんか？ 〜LLMOpsの現在地〜

第115回 Machine Learning 15minutes! Hybrid - connpass https://machine-learning15minutes.connpass.com/event/401182/

Transcript

1. Machine Learning 15minutes! | 2026/08/29 (土) 14:00〜17:00 LLMアプリ、 雰囲気で運用してませんか? 〜LLMOpsの現在地〜 弥生 隆明 (『MLflowで実践するLLMOps』著者)
2. ABOUT ME 自己紹介 弥生 隆明 (やよい たかあき) 2026年4月刊行 @taka_yayoi Databricks シニア スペシャリスト ソリューションアーキテクト • IHI・日立製作所・アクセンチュアで約20年、自然言語処理/機 械学習に従事 • 2020年Databricks Japan入社。専門は生成AI / Databricks Apps / データエンジニアリング • 企業の生成AI活用と本番運用 (LLMOps) を技術面から支援 • Qiitaで2,400本超の技術記事を発信、コミュニティ「JEDAI」 主宰 • 青山学院大学 プロジェクト准教授 MLflowで実践する LLMOps 生成AIアプリケーションの 実験管理と品質保証 (技術評論社) 今日はこの本のテーマの「その後」も話します 2
3. SOUND FAMIL IAR? 「雰囲気で運用」あるある プロンプト、変えたら 良くなった"気がする" エージェントが 中で何をしてるか謎 コストが気づいたら 増えている 何がどれだけ良くなったのか、数字で 答えられない。戻すべきか進むべきか も勘で決めている。 ツール呼び出しが何回走ったのか、ど こで時間を食っているのか、失敗の原 因がどのステップかわからない。 請求書を見て初めて気づく。どの機能 ・どのユーザーがトークンを消費して いるのか内訳が見えない。 3
4. WHY なぜ「雰囲気」になってしまうのか 出力が非決定的 同じ入力でも毎回答えが変わる。1回試して「動いた」は何の保証にもならな い。 品質が多次元 正確さ・網羅性・安全性・トーン・コスト・レイテンシ。単一の"精度"では測 れない。 変更の影響範囲が読めない プロンプトの一語、モデルのバージョン、RAGの1ドキュメント。小さな変更 が思わぬ場所を壊す。 → 頑張りや注意力の問題ではなく、仕組みがないと勘に頼るしかない 4
5. W HAT I S LL MOPS LLMOps = 雰囲気を「計測と根拠」に変える営み トレーシング 評価 アプリ・エージェントの全ステップを記録し、挙 動を可視化する 出力品質を定量化し、変更の良し悪しを数字で判 断する プロンプト管理 監視 プロンプトをバージョン管理し、変更を追跡可能 にする 本番の品質・コスト・レイテンシを継続的に見張 る この4本柱は書籍でも骨格にしている整理です 5
6. MLOPS vs LLMOPS 従来のMLOpsと何が違うのか 従来のMLOps LLMOps • 精度という単一指標で評価できる • 品質・安全性・コスト・速度の多目標 • モデルは学習済みで挙動が固定 • プロンプト・RAG・ツールで挙動が変わる • テストセットで品質を事前保証 • 事前保証だけでは足りず、本番の観測が必須 • デプロイ後の劣化は主にデータドリフト • モデル更新・プロンプト変更で挙動が動き続ける 6
7. こ こか らが 本 編 2026年、LLMOpsの景色は この1年で変わった 1 2 3 トレーシングの標準化 評価の民主化 エージェント可観測性 OpenTelemetryへの収斂 LLM-as-a-Judgeの進化 監視対象の爆発的拡大 7
8. TRE ND 1 | TRA CING トレーシングは「業界標準」の時代へ OpenTelemetry GenAIセマンティック規約に各ツールが収斂しつつある v1.39 MCPツール呼び出しの 規約が導入 v1.41 → エージェント呼び出し スパンの定義が改善 採用拡大 → OSS・商用ツールが ネイティブ対応を開始 これが意味すること • トレース形式のベンダーロックインからの解放 — ツールを乗り換えても資産が生きる • エージェントの推論ステップやMCPツール呼び出しまで標準の語彙で記録できる • APMなど既存の可観測性基盤とLLMトレースが同じ土俵に乗る 8
9. TRE ND 1 | DE MO 「中で何が起きているか」はここまで見える ステップ単位で分解 どこが遅い・どこで失敗したかが一目でわかる (このトレースで は1.91sの内訳が見える) コスト・トークンも記録 552トークンのように、リクエスト1件ごとの消費まで追跡でき る エージェントの構造も可視化 スパンのグラフ表示で、検索・LLM・ツールの呼び出し関係が 一目でわかる MLflowトレース画面 (Databricks Free Edition) — 当日はライブデモでお見せします 9
10. T RE ND 2 | E V AL U ATI O N 評価の民主化 — 勘から数字へ Judge構築のUI化 人間との整合 マルチターン評価 LLM-as-a-JudgeをコードなしでUIから構 築・改善できる時代に。評価者づくりの ハードルが激減。 人間のフィードバックからJudgeを自動整 合させる技術が進化。「Judge自体が信用 できない」問題への回答。 単発の出力評価から、会話・セッション 全体の評価へ。エージェント時代の品質 保証はこちらが本丸。 評価は「専門チームの仕事」から「全員の日常」へ 10
11. T RE ND 3 | AG E NT OB S ER V AB I L I TY 監視対象は「アプリ」から「エージェント」へ コストの可視化 性能ダッシュボード トレース単位のコスト追跡、ゲートウェイでの予算管理。 「気づいたら増えている」の終わり。 エージェントの成功率・レイテンシ・品質を継続監視。自 動での問題検出も。 ガードレール コーディングエージェントも監視対象に ゲートウェイが「ルーティング係」から「統制点」へ。安 全性チェックを通信の関所で実施。 Claude Code・Codex等の開発エージェントの行動もトレ ースする時代。LLMOpsの守備範囲が開発現場まで拡大。 11
12. AND MO RE 他にもある2026年の動き エンタープライズ対応 評価エコシステム統合 RBAC・マルチワークスペースなど統制機能がOSSにも DeepEval / RAGASなど評価ライブラリとの連携が進む → RBACドキュメント → DeepEval/RAGAS/Phoenix紹介ブログ → Workspacesドキュメント → RAGASスコアラー → 3.13.0リリースハイライト → DeepEvalスコアラー (日本語) プロンプト管理の進化 LLMOps自体のAI化 プロンプトとモデル設定・実験の紐付けが密に トレース分析や問題調査をAIが行う自己言及的進化 → Prompt Registryドキュメント → Automatic Issue Detectionブログ → プロンプトとモデルの紐付け → Claude Code x MLflowブログ → プロンプトレジストリ (日本語) → MLflowリリース一覧 ※ 時間の都合で今日は割愛 — リンクは公開スライドからどうぞ 12
13. ACTION 明日からやる3つのこと 1 まずトレーシングを入れる 自動計装なら数行で始められる。「見える」だけで議論の質が変わる。標準規約 対応のツールを選べば資産は無駄にならない。 2 評価データセットを5件作る 完璧な評価基盤は不要。まず代表的な入出力5件と「良い answer の条件」を書き 出すことから。それだけで変更の良し悪しが語れるようになる。 3 コストをダッシュボードに出す トークン消費とコストをチームの見える場所に。数字が見えれば、モデル選定や キャッシュの議論が始まる。 13
14. ま とめ 雰囲気の運用から、 計測に基づく運用へ トレーシングは標準化へ — 今始めても資産になる 評価は民主化した — Judgeづくりはもう専門家の特権ではない エージェントの時代 — コストも挙動も、見えないものは運用できない 見えれば、直せる。測れれば、良くできる。 14
15. DIVE DE E PER 体系的に手を動かして学びたい方へ MLflowで実践するLLMOps qr_book.png 生成AIアプリケーションの実験管理と品質保証 弥生隆明・渡辺祐貴・大内山浩・平田東夢・河村春孝 著 技術評論社 | 2026年4月刊 書籍ページ • 今日話した4本柱を、動くPythonコードとともに11章で体系化 • シンプルなLLMアプリ → RAG → マルチエージェントまで段階的に実践 • ケーススタディとエンタープライズ活用まで網羅 今日の「現在地」の続きは、ぜひ本と一緒に走りながら 15
16. Thank you! あなたのLLMアプリが、「雰囲気」を卒業できますように。 qr_book.png 弥生 隆明 | @taka_yayoi 書籍情報はこちら → 『MLflowで実践するLLMOps』書籍ページ 16