Share
Embed
「作って終わり」を卒業する 『MLflowで実践するLLMOps』著者と学ぶ もくもく会
「作って終わり」を卒業する──著者と学ぶMLflow LLMOpsもくもく会 - connpass https://jedai.connpass.com/event/399094/
こちらのイベントの座学資料です。
Takaaki Yayoi
July 17, 2026
Transcript
23 slides
-
はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 •
もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 3 -
SELF-INTRO 自己紹介 弥生 隆明(やよい たかあき) Databricks シニア スペシャリスト ソリューションアーキテクト ▪
IHI・日立製作所・アクセンチュアで約20年、自然言語処理/機械学習に従事 ▪ 2020年 Databricks Japan 入社。専門は 生成AI / Databricks Apps(Webアプリ) / データエンジニアリング ▪ 企業の生成AI活用と本番運用(LLMOps)を技術面から支援 ▪ Qiita で 2,300本超の技術記事を発信 ・ ユーザーコミュニティ「JEDAI」主宰 ▪ 共著『MLflowで実践するLLMOps』(技術評論社, 2026/4) ・ 青山学院大学 特別研究員 2 -
自己紹介 データブリックス・ジャパン株式会社 シニア・スペシャリスト・ソリューション・アーキテクト 大内山 浩(おおうちやま ひろし) ◾職歴 2006~ 2016~ 2019~
◾趣味 旅行、音楽、サッカー、Youtube、SUP、食事・飲酒 2023~ -
AGENDA 今日の流れ 今ここ 02 01 Fireside Chat 著者に聞く · 10分
もくもくの約束 → 座学 全体像を掴む · 20分 03 → もくもく + 発展編 手を動かす · 60分〜 配布ノートブックを自分のペース で進めればOK。詰まったら気軽に質問・挙手 してください。 -
WHY LLMOPS デモは動く。 本番で壊れる。 01 02 03 プロンプトを直すのが怖い 品質を測る物差しがない 劣化に気づけない
一箇所いじると、他がどう変わるか分からな 「なんとなく良さそう」の雰囲気レビュー。 リリース後の品質低下を、誰も検知できな い。 — この3つを仕組みで解くのが LLMOps です。 い。 -
THE CORE LOOP 1 LLMOps のコアループ 開発から運用までを一つの輪でつな ぎ、 回し続ける のが
LLMOps の本 質。 開発 5 2 運用・モニタリン グ 60分 プロンプト管理 で1周 今日のゴール この輪を、 60分で1周します。 運用・モニタリングで得た知見はふたたび評価へ還 り、輪は止まりません。 4 3 デプロイ 評価 -
THE TOOLKIT 道具は MLflow の4本柱 Tracing Evaluate & Monitor 入出力・トークン・レイテンシを自動で記録
品質を数値で測り、本番でも監視し続ける Prompt Registry AI Gateway プロンプトをバージョン管理された資産に ガードレール・レート制限・使用状況を一元化 この4本柱が、そのまま本書の骨 格です。 -
TODAY'S USE CASE ベーカリーチェーンのレビュー分析エージェント 出力 · 構造化 JSON { 入力
· 顧客レビュー "sentiment": "mixed", 「クロワッサンはサクサクで最高でした。ただ、レジの行列 が長くて15分も待たされたのは残念。」 → "topics": ["商品品質", "待ち時間"], "actionable_feedback": "レジ混雑の緩和を検討" } 自由文を、集計・行動につながる構造化データ へ。これを題材にループを1周します。 -
1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5
モニタリング STEP 1 — DEVELOP & TRACE 動くものに、最初からトレースを仕込む 動かす前に押さえる土台は、 2つ @mlflow.trace def ビューを構造化JSONへ analyze_review(text): # レ return agent.invoke(text) ① エクスペリメント トレース・評価ラン・スコアラーが集まる作業記録の入れ物。ノートブック紐づき型 と、チーム共有できるワークスペース型の2種類。 @mlflow.trace を付けるだけ。入出力・トークン・レイテンシ が全部、自 動で残ります。 今日のノートブックは組み込み済み。ただし Free Edition の workspace カタロ グはデフォルトストレージ のため UC 永続化は現時点で未対応 —— 自動フォー ルバックします。 本番ワークスペースではこれが定石 。 ② UC トレース永続化 保存先を Unity Catalog に指定すると、トレースの実体が Delta テーブルに。 未 設定だと概要タブに何も出ません 。永続化すれば SQL・Genie・ダッシュボード で直接分析でき、保存上限もなし —— トレース自体が運用データになります。 -
開発 +Trace 1 2 プロンプト管理 3 評価 4 デプロイ・運用 5
モニタリング STEP 2 — PROMPT REGISTRY プロンプトを、コードから引き剥がす Unity Catalog に登録されたプロンプト資産 本番切り替え v1 v2 エイリアスを付け替えるだけ。 productio n 現在の本番プロンプト stagin g 検証中の改善版 コード変更も再デプロイも不要。切り戻しも一瞬。 -
1 開発 +Trace STEP 3 — EVALUATE 2 プロンプト管理 3
評価 4 デプロイ・運用 5 モニタリング 今日の心臓部 品質を、数値で比べる 01 02 ゴールデンデータ Unity Catalog で管理する正解セット 予告 + LLM ジャッジ make_judge で3観点を採点 03 → evaluate で比較 v1 と v2 を同じ土俵で採点 few-shot を足した「改善版」v2 —— 本当に改善でしょうか? 答えは自分の評価結果で確認を。改善でも退化でも差なしで も、昇格前に事実として知れることが評価ループの価値です。 -
1 開発 +Trace 2 プロンプト管理 3 評価 4 デプロイ・運用 5
モニタリング STEP 4 — DEPLOY & OPERATE SQL 一行で、バッチ推論に載せる SELECT ai_query( 運用の洗礼 'review-agent' , review_text ) FROM reviews; プロンプトは Registry の production から取得。開発と本番の ズレが起きません。 JSON パース成功率を監視する LLM の出力は、たまに壊れる。壊れた割合を数字で見張るのが運用の 第一歩。 -
デプロイ・運用 5 Step 3 オフライン評価 Step 5 オンラインモニタリング 約15分ごと 開発者が任意のタイミング
で、期待値付きのゴールデンデータに対して 登録したスコアラーが、エクスペリメントに届いた 新しいトレースのサンプル へ evaluate。 自動実行。期待値がないため、参照不要なスコアラーのみ。 1 開発 +Trace 2 プロンプト管理 3 評価 4 モニタリング STEP 5 — MONITOR IN PRODUCTION 同じスコアラーを、 2つの使い方で 監視が紐づくのはエンドポイントではなくエクスペリメント 。デプロイ済みエンドポイントのトレースも同じ仕組みに流れ込む。実運用では開発・評価用と本番用でエクスペリメントを 分けるのが定石(もくもくでは簡略化して同居)。 ループが閉じる 開発と本番で同じ評価の仕組みを使い回す —— これが MLflow 3 の設計思想 です。 -
発展編 A — AI GATEWAY ゲートウェイを挟む境界は、 2つある 利用者 境界 1
境界 2 · 今日 エージェント LLM 境界 1 — エージェントを製品として守る 境界 2 — 組織の LLM 利用を統制する 呼び出し権限・入出力ガードレール。デプロイとセットで、チャレンジ課題へ。 使えるモデル・PII 保護・コスト。発展編Aで体験 :ガードレール(サービスポリ シー)付きの モデルサービス を作る。 エージェントのコードは変えず 、LLM バックエンドの差し替えだけで前段に挟める。 小ネタ:ビルトイン PII 検出は日本語の人名を取 りこぼすことも —— カスタムガードレールで補強 するのが実践。ポリシー違反は HTTP 400 (REQUEST_BLOCKED_BY_POLICY) で拒否されます。 これで4本柱コンプリート -
GOING FURTHER その他の発展編とチャレンジ 01 Lakeflow Jobs で定期実行 バッチ推論をスケジュールで自動化 03 デプロイして前段にもゲートウェイ
境界1を立て、エージェ ントを製品として守る(境界1の完成形) 05 ダッシュボード作成 品質 ・コストの推移を可視化 もくもく中は、気になるものへ自由に寄り道してください。 02 プロンプト v3 で評価ループを自走 改善→評価→切り替えを自分で回す 04 ジャッジのアラインメント LLM ジャッジを人間の判断に近づける -
さあ、はじめよう 進め方 1. 上から順にセルを実行 2. チェックポイントで動作確認 3. 詰まったら、いつでも挙手 詰まりポイント先回り 01
02 03 評価者モデルサービスは Free Edition 対応のもの ガードレール設定の反映は約1分 待つ。すぐ効かなく モニタリング初回実行は15〜30分後 。待ち時間に発 system.ai.meta-llama-3-1-8b-instruct ても慌てずに。 展編へ進む。 に変更。忘れるとフェイルクローズで全リクエストがブ ロック。 Databricks Free Edition · MLflow LLMOps もくもく会 -
本日の教材 • 入口記事(Qiita): はじめてのDatabricks もくもく会 完全ガイド • ハンズオン教材(GitHub): https://github.com/taka-yayoi/jedai-llmops-mokumoku/ •
すべてDatabricks Free Edition(無料・クレジットカード不要)で動きます -
GitHubからのノートブックの取り込み • ワークスペースでGitフォルダーを作成します。サイドバーで 「ワークスペース」 を選択 し、Git リポジトリのクローンを作成するフォルダーを参照します。 • 作成 >
Git フォルダー をクリックします。 • 「Git フォルダーの作成 」ダイアログで、以下の情報を入力して、Gitフォルダを作成をク リックします。 ◦ GitリポジトリのURL: https://github.com/taka-yayoi/jedai-llmops-mokumoku/