「作って終わり」を卒業する 『MLflowで実践するLLMOps』著者と学ぶ もくもく会

「作って終わり」を卒業する──著者と学ぶMLflow LLMOpsもくもく会 - connpass https://jedai.connpass.com/event/399094/

こちらのイベントの座学資料です。

Transcript

1. JEDAI もくもく会 「作って終わり」を卒業する 『MLflowで実践するLLMOps』著者と学ぶ もくもく会 Databricks Free Edition で LLMOps を1周する 2026.08.05
2. ご参加いただきありがとうございます。 まもなくセッションを開始します。 #jedai #databricksでつぶやこう！ 2
3. はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 • もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 3
4. SELF-INTRO 自己紹介 2 弥生 隆明（やよい たかあき） Databricks シニア スペシャリスト ソリューションアーキテクト ▪ IHI・日立製作所・アクセンチュアで約20年、自然言語処理/機械学習に従事 ▪ 2020年 Databricks Japan 入社。専門は 生成AI / Databricks Apps(Webアプリ) / 　　データエンジニアリング ▪ 企業の生成AI活用と本番運用（LLMOps）を技術面から支援 ▪ Qiita で 2,300本超の技術記事を発信 ・ ユーザーコミュニティ「JEDAI」主宰 ▪ 共著『MLflowで実践するLLMOps』(技術評論社, 2026/4) ・ 青山学院大学 特別研究員
5. AGENDA 今日の流れ 01 Fireside Chat 著者に聞く · 10分 → 今ここ 02 座学 全体像を掴む · 20分 → 03 もくもく + 発展編 手を動かす · 60分〜 もくもくの約束 配布ノートブックを自分のペース で進めればOK。詰まったら気軽に質問・挙手 してください。
6. WHY LLMOPS デモは動く。 本番で壊れる。 01 プロンプトを直すのが怖い 一箇所いじると、他がどう変わるか分からな い。 02 品質を測る物差しがない 「なんとなく良さそう」の雰囲気レビュー。 03 劣化に気づけない リリース後の品質低下を、誰も検知できな い。 — この3つを仕組みで解くのが LLMOps です。
7. THE CORE LOOP LLMOps のコアループ 開発から運用までを一つの輪でつな ぎ、 回し続ける のが LLMOps の本 質。 今日のゴール この輪を、 60分で1周します。 運用・モニタリングで得た知見はふたたび評価へ還 り、輪は止まりません。 60分 で1周 1 開発 2 プロンプト管理 3 評価 4 デプロイ 5 運用・モニタリン グ
8. THE TOOLKIT 道具は MLflow の4本柱 Tracing 入出力・トークン・レイテンシを自動で記録 Evaluate & Monitor 品質を数値で測り、本番でも監視し続ける Prompt Registry プロンプトをバージョン管理された資産に AI Gateway ガードレール・レート制限・使用状況を一元化 この4本柱が、そのまま本書の骨 格です。
9. TODAY'S USE CASE ベーカリーチェーンのレビュー分析エージェント 入力 · 顧客レビュー 「クロワッサンはサクサクで最高でした。ただ、レジの行列 が長くて15分も待たされたのは残念。」 → 出力 · 構造化 JSON { "sentiment": "mixed", "topics": ["商品品質", "待ち時間"], "actionable_feedback": "レジ混雑の緩和を検討" } 自由文を、集計・行動につながる構造化データ へ。これを題材にループを1周します。
10. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 1 — DEVELOP & TRACE 動くものに、最初からトレースを仕込む @mlflow.trace def analyze_review(text): # レ ビューを構造化JSONへ return agent.invoke(text) @mlflow.trace を付けるだけ。入出力・トークン・レイテンシ が全部、自 動で残ります。 今日のノートブックは組み込み済み。ただし Free Edition の workspace カタロ グはデフォルトストレージ のため UC 永続化は現時点で未対応 —— 自動フォー ルバックします。 本番ワークスペースではこれが定石 。 動かす前に押さえる土台は、 2つ ① エクスペリメント トレース・評価ラン・スコアラーが集まる作業記録の入れ物。ノートブック紐づき型 と、チーム共有できるワークスペース型の2種類。 ② UC トレース永続化 保存先を Unity Catalog に指定すると、トレースの実体が Delta テーブルに。 未 設定だと概要タブに何も出ません 。永続化すれば SQL・Genie・ダッシュボード で直接分析でき、保存上限もなし —— トレース自体が運用データになります。
11. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 2 — PROMPT REGISTRY プロンプトを、コードから引き剥がす Unity Catalog に登録されたプロンプト資産 v1 productio n 現在の本番プロンプト v2 stagin g 検証中の改善版 本番切り替え エイリアスを付け替えるだけ。 コード変更も再デプロイも不要。切り戻しも一瞬。
12. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 3 — EVALUATE 今日の心臓部 品質を、数値で比べる 01 ゴールデンデータ Unity Catalog で管理する正解セット + 02 LLM ジャッジ make_judge で3観点を採点 → 03 evaluate で比較 v1 と v2 を同じ土俵で採点 予告 few-shot を足した「改善版」v2 —— 本当に改善でしょうか？ 答えは自分の評価結果で確認を。改善でも退化でも差なしで も、昇格前に事実として知れることが評価ループの価値です。
13. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 4 — DEPLOY & OPERATE SQL 一行で、バッチ推論に載せる SELECT ai_query( 'review-agent' , review_text ) FROM reviews; プロンプトは Registry の production から取得。開発と本番の ズレが起きません。 運用の洗礼 JSON パース成功率を監視する LLM の出力は、たまに壊れる。壊れた割合を数字で見張るのが運用の 第一歩。
14. 1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5 モニタリング STEP 5 — MONITOR IN PRODUCTION 同じスコアラーを、 2つの使い方で Step 3 オフライン評価 開発者が任意のタイミング で、期待値付きのゴールデンデータに対して evaluate。 Step 5 オンラインモニタリング 約15分ごと 登録したスコアラーが、エクスペリメントに届いた 新しいトレースのサンプル へ 自動実行。期待値がないため、参照不要なスコアラーのみ。 監視が紐づくのはエンドポイントではなくエクスペリメント 。デプロイ済みエンドポイントのトレースも同じ仕組みに流れ込む。実運用では開発・評価用と本番用でエクスペリメントを 分けるのが定石（もくもくでは簡略化して同居）。 ループが閉じる 開発と本番で同じ評価の仕組みを使い回す —— これが MLflow 3 の設計思想 です。
15. 発展編 A — AI GATEWAY ゲートウェイを挟む境界は、 2つある 利用者 境界 1 エージェント 境界 2 · 今日 LLM 境界 1 — エージェントを製品として守る 呼び出し権限・入出力ガードレール。デプロイとセットで、チャレンジ課題へ。 境界 2 — 組織の LLM 利用を統制する 使えるモデル・PII 保護・コスト。発展編Aで体験 ：ガードレール（サービスポリ シー）付きの モデルサービス を作る。 エージェントのコードは変えず 、LLM バックエンドの差し替えだけで前段に挟める。 小ネタ：ビルトイン PII 検出は日本語の人名を取 りこぼすことも —— カスタムガードレールで補強 するのが実践。ポリシー違反は HTTP 400 (REQUEST_BLOCKED_BY_POLICY) で拒否されます。 これで4本柱コンプリート
16. GOING FURTHER その他の発展編とチャレンジ 01 Lakeflow Jobs で定期実行 バッチ推論をスケジュールで自動化 02 プロンプト v3 で評価ループを自走 改善→評価→切り替えを自分で回す 03 デプロイして前段にもゲートウェイ 境界1を立て、エージェ ントを製品として守る（境界1の完成形） 04 ジャッジのアラインメント LLM ジャッジを人間の判断に近づける 05 ダッシュボード作成 品質 ・コストの推移を可視化 もくもく中は、気になるものへ自由に寄り道してください。
17. ©2026 Databricks Inc. — All rights reserved もくもく会の進め方
18. さあ、はじめよう 進め方 1. 上から順にセルを実行 チェックポイントで動作確認 3. 詰まったら、いつでも挙手 詰まりポイント先回り 01 評価者モデルサービスは Free Edition 対応のもの system.ai.meta-llama-3-1-8b-instruct に変更。忘れるとフェイルクローズで全リクエストがブ ロック。 02 ガードレール設定の反映は約1分 待つ。すぐ効かなく ても慌てずに。 03 モニタリング初回実行は15〜30分後 。待ち時間に発 展編へ進む。 Databricks Free Edition · MLflow LLMOps もくもく会 2.
19. 本日の教材 • 入口記事(Qiita): はじめてのDatabricks もくもく会 完全ガイド • ハンズオン教材(GitHub): https://github.com/taka-yayoi/jedai-llmops-mokumoku/ • すべてDatabricks Free Edition(無料・クレジットカード不要)で動きます
20. GitHubからのノートブックの取り込み • ワークスペースでGitフォルダーを作成します。サイドバーで 「ワークスペース」 を選択 し、Git リポジトリのクローンを作成するフォルダーを参照します。 • 作成 > Git フォルダー をクリックします。 • 「Git フォルダーの作成 」ダイアログで、以下の情報を入力して、Gitフォルダを作成をク リックします。 ◦ GitリポジトリのURL: https://github.com/taka-yayoi/jedai-llmops-mokumoku/
21. GitHubからのノートブックの取り込み • これで今日使用するノートブックがクローンされました。
22. ©2026 Databricks Inc. — All rights reserved