「作って終わり」を卒業する 『MLflowで実践するLLMOps』著者と学ぶ もくもく会

「作って終わり」を卒業する──著者と学ぶMLflow LLMOpsもくもく会 - connpass https://jedai.connpass.com/event/399094/

こちらのイベントの座学資料です。

Transcript

1. JEDAI もくもく会 「作って終わり」を卒業する 『MLflowで実践するLLMOps』著者と学ぶ もくもく会 Databricks Free Edition で LLMOps を1周する 2026.08.05
2. ご参加いただきありがとうございます。 まもなくセッションを開始します。 #jedai #databricksでつぶやこう！ 2
3. はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 • もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 3
4. SELF-INTRO 自己紹介 弥生 隆明（やよい たかあき） Databricks シニア スペシャリスト ソリューションアーキテクト ▪ IHI・日立製作所・アクセンチュアで約20年、自然言語処理/機械学習に従事 ▪ 2020年 Databricks Japan 入社。専門は 生成AI / Databricks Apps(Webアプリ) / データエンジニアリング ▪ 企業の生成AI活用と本番運用（LLMOps）を技術面から支援 ▪ Qiita で 2,300本超の技術記事を発信 ・ ユーザーコミュニティ「JEDAI」主宰 ▪ 共著『MLflowで実践するLLMOps』(技術評論社, 2026/4) ・ 青山学院大学 特別研究員 2
5. 自己紹介 データブリックス・ジャパン株式会社 シニア・スペシャリスト・ソリューション・アーキテクト 大内山 浩（おおうちやま ひろし） ◾職歴 2006~ 2016~ 2019~ ◾趣味 旅行、音楽、サッカー、Youtube、SUP、食事・飲酒 2023~
6. AGENDA 今日の流れ 今ここ 02 01 Fireside Chat 著者に聞く · 10分 もくもくの約束 → 座学 全体像を掴む · 20分 03 → もくもく + 発展編 手を動かす · 60分〜 配布ノートブックを自分のペース で進めればOK。詰まったら気軽に質問・挙手 してください。
7. WHY LLMOPS デモは動く。 本番で壊れる。 01 02 03 プロンプトを直すのが怖い 品質を測る物差しがない 劣化に気づけない 一箇所いじると、他がどう変わるか分からな 「なんとなく良さそう」の雰囲気レビュー。 リリース後の品質低下を、誰も検知できな い。 — この3つを仕組みで解くのが LLMOps です。 い。
8. THE CORE LOOP 1 LLMOps のコアループ 開発から運用までを一つの輪でつな ぎ、 回し続ける のが LLMOps の本 質。 開発 5 2 運用・モニタリン グ 60分 プロンプト管理 で1周 今日のゴール この輪を、 60分で1周します。 運用・モニタリングで得た知見はふたたび評価へ還 り、輪は止まりません。 4 3 デプロイ 評価
9. THE TOOLKIT 道具は MLflow の4本柱 Tracing Evaluate & Monitor 入出力・トークン・レイテンシを自動で記録 品質を数値で測り、本番でも監視し続ける Prompt Registry AI Gateway プロンプトをバージョン管理された資産に ガードレール・レート制限・使用状況を一元化 この4本柱が、そのまま本書の骨 格です。
10. TODAY'S USE CASE ベーカリーチェーンのレビュー分析エージェント 出力 · 構造化 JSON { 入力 · 顧客レビュー "sentiment": "mixed", 「クロワッサンはサクサクで最高でした。ただ、レジの行列 が長くて15分も待たされたのは残念。」 → "topics": ["商品品質", "待ち時間"], "actionable_feedback": "レジ混雑の緩和を検討" } 自由文を、集計・行動につながる構造化データ へ。これを題材にループを1周します。
11. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 1 — DEVELOP & TRACE 動くものに、最初からトレースを仕込む 動かす前に押さえる土台は、 2つ @mlflow.trace def ビューを構造化JSONへ analyze_review(text): # レ return agent.invoke(text) ① エクスペリメント トレース・評価ラン・スコアラーが集まる作業記録の入れ物。ノートブック紐づき型 と、チーム共有できるワークスペース型の2種類。 @mlflow.trace を付けるだけ。入出力・トークン・レイテンシ が全部、自 動で残ります。 今日のノートブックは組み込み済み。ただし Free Edition の workspace カタロ グはデフォルトストレージ のため UC 永続化は現時点で未対応 —— 自動フォー ルバックします。 本番ワークスペースではこれが定石 。 ② UC トレース永続化 保存先を Unity Catalog に指定すると、トレースの実体が Delta テーブルに。 未 設定だと概要タブに何も出ません 。永続化すれば SQL・Genie・ダッシュボード で直接分析でき、保存上限もなし —— トレース自体が運用データになります。
12. 開発 +Trace 1 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 2 — PROMPT REGISTRY プロンプトを、コードから引き剥がす Unity Catalog に登録されたプロンプト資産 本番切り替え v1 v2 エイリアスを付け替えるだけ。 productio n 現在の本番プロンプト stagin g 検証中の改善版 コード変更も再デプロイも不要。切り戻しも一瞬。
13. 1 開発 +Trace STEP 3 — EVALUATE 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング 今日の心臓部 品質を、数値で比べる 01 02 ゴールデンデータ Unity Catalog で管理する正解セット 予告 + LLM ジャッジ make_judge で3観点を採点 03 → evaluate で比較 v1 と v2 を同じ土俵で採点 few-shot を足した「改善版」v2 —— 本当に改善でしょうか？ 答えは自分の評価結果で確認を。改善でも退化でも差なしで も、昇格前に事実として知れることが評価ループの価値です。
14. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 4 — DEPLOY & OPERATE SQL 一行で、バッチ推論に載せる SELECT ai_query( 運用の洗礼 'review-agent' , review_text ) FROM reviews; プロンプトは Registry の production から取得。開発と本番の ズレが起きません。 JSON パース成功率を監視する LLM の出力は、たまに壊れる。壊れた割合を数字で見張るのが運用の 第一歩。
15. デプロイ・運用 5 Step 3 オフライン評価 Step 5 オンラインモニタリング 約15分ごと 開発者が任意のタイミング で、期待値付きのゴールデンデータに対して 登録したスコアラーが、エクスペリメントに届いた 新しいトレースのサンプル へ evaluate。 自動実行。期待値がないため、参照不要なスコアラーのみ。 1 開発 +Trace 2 プロンプト管理 3 評価 4 モニタリング STEP 5 — MONITOR IN PRODUCTION 同じスコアラーを、 2つの使い方で 監視が紐づくのはエンドポイントではなくエクスペリメント 。デプロイ済みエンドポイントのトレースも同じ仕組みに流れ込む。実運用では開発・評価用と本番用でエクスペリメントを 分けるのが定石（もくもくでは簡略化して同居）。 ループが閉じる 開発と本番で同じ評価の仕組みを使い回す —— これが MLflow 3 の設計思想 です。
16. 発展編 A — AI GATEWAY ゲートウェイを挟む境界は、 2つある 利用者 境界 1 境界 2 · 今日 エージェント LLM 境界 1 — エージェントを製品として守る 境界 2 — 組織の LLM 利用を統制する 呼び出し権限・入出力ガードレール。デプロイとセットで、チャレンジ課題へ。 使えるモデル・PII 保護・コスト。発展編Aで体験 ：ガードレール（サービスポリ シー）付きの モデルサービス を作る。 エージェントのコードは変えず 、LLM バックエンドの差し替えだけで前段に挟める。 小ネタ：ビルトイン PII 検出は日本語の人名を取 りこぼすことも —— カスタムガードレールで補強 するのが実践。ポリシー違反は HTTP 400 (REQUEST_BLOCKED_BY_POLICY) で拒否されます。 これで4本柱コンプリート
17. GOING FURTHER その他の発展編とチャレンジ 01 Lakeflow Jobs で定期実行 バッチ推論をスケジュールで自動化 03 デプロイして前段にもゲートウェイ 境界1を立て、エージェ ントを製品として守る（境界1の完成形） 05 ダッシュボード作成 品質 ・コストの推移を可視化 もくもく中は、気になるものへ自由に寄り道してください。 02 プロンプト v3 で評価ループを自走 改善→評価→切り替えを自分で回す 04 ジャッジのアラインメント LLM ジャッジを人間の判断に近づける
18. もくもく会の進め方 ©2026 Databricks Inc. — All rights reserved
19. さあ、はじめよう 進め方 1. 上から順にセルを実行 2. チェックポイントで動作確認 3. 詰まったら、いつでも挙手 詰まりポイント先回り 01 02 03 評価者モデルサービスは Free Edition 対応のもの ガードレール設定の反映は約1分 待つ。すぐ効かなく モニタリング初回実行は15〜30分後 。待ち時間に発 system.ai.meta-llama-3-1-8b-instruct ても慌てずに。 展編へ進む。 に変更。忘れるとフェイルクローズで全リクエストがブ ロック。 Databricks Free Edition · MLflow LLMOps もくもく会
20. 本日の教材 • 入口記事(Qiita): はじめてのDatabricks もくもく会 完全ガイド • ハンズオン教材(GitHub): https://github.com/taka-yayoi/jedai-llmops-mokumoku/ • すべてDatabricks Free Edition(無料・クレジットカード不要)で動きます
21. GitHubからのノートブックの取り込み • ワークスペースでGitフォルダーを作成します。サイドバーで 「ワークスペース」 を選択 し、Git リポジトリのクローンを作成するフォルダーを参照します。 • 作成 > Git フォルダー をクリックします。 • 「Git フォルダーの作成 」ダイアログで、以下の情報を入力して、Gitフォルダを作成をク リックします。 ◦ GitリポジトリのURL: https://github.com/taka-yayoi/jedai-llmops-mokumoku/
22. GitHubからのノートブックの取り込み • これで今日使用するノートブックがクローンされました。
23. ©2026 Databricks Inc. — All rights reserved