Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DSPyとMLflowでLLMアプリケーションを開発_.pdf

 DSPyとMLflowでLLMアプリケーションを開発_.pdf

2025年7月のJEDAI(Japan Enduser Group | Databricks Innovation)Meet Up 「Data + AI Summit 2025をみんなで振り返ろう!」の発表資料です。

Avatar for R-Miura

R-Miura

July 22, 2025
Tweet

More Decks by R-Miura

Other Decks in Technology

Transcript

  1. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyとMLflowで LLMアプリケーションを開発! CCCMKホールディングス株式会社 テクノロジー戦略本部 チーフAIエンジニア 三浦 諒一
  2. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. v v v v v v 自己紹介 三浦 諒一 CCCMKホールディングス株式会社 テクノロジー戦略本部 チーフAIエンジニア タスク AIを活用したサービスの企画・実装 趣味 ・ゲーム(ジャンルはRPG) ・ブログを書くこと
  3. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ”DSPy” v ブレークアウトセッションで聞いた、 LLMアプリケーション開発フレームワーク “DSPy”が面白そう!と感じました。
  4. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. v v Agent Bricksにも使われている・・・?? Agent BricksはAgentのタスクを自然言語で書いて参照するデータソースを選択すれば、 自動的に最適化されたAgentが生成できる機能。 = ノーコードで高性能なAgentの開発が可能! Agentの機能の記述 参照データの設定 RAG Agentの完成! 自動チューニング… ここ、DSPyっぽい・・・
  5. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyとは?? AIアプリケーションの構築を プロンプトエンジニアリングに頼るのではなく、 Moduleの組み合わせ ( プログラミング ) と 学習データに基づいた最適化によって実現しよう、 というAIアプリケーション開発フレームワーク。
  6. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの? v 文章の感情分析をLLMで実装したい時・・・ v こんなプロンプト、 書いたことありませんか?
  7. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの? v DSPyを使うとこうなる! プロンプト、というよりプログラム
  8. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの? 実行すると・・・
  9. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの? v DSPyの構成要素 この処理が何を受け取り、 何をして、 何を返すのかを定義する。 → Signature
  10. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. どんな風に使うの? v DSPyの構成要素 LLMの推論方法を指定。 → Built-In Module
  11. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること Built-In Moduleを組み合わせて カスタムModuleを作ることが出来る。 複雑な処理を実装可能。
  12. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること User Request Query for Wikipedia Query for Wikipedia Query for Wikipedia Search Planner Wikipedia Search Wikipedia Search Wikipedia Search Answer v たとえば「プログラミング言語の歴史についてまとめて」といったリクエストの場合、 「プログラミング言語の歴史」「コンピュータ言語」「プログラミング言語の進化」といった 多角的な観点でWikipediaから情報を収集し、レポートに出来るフローをDSPyで実装! AI Response
  13. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. さらに出来ること v レポートの自動生成をしてみた
  14. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ところで・・・ v サイズの大きいLLMと小さいLLMで感情分析すると、 どれくらい精度に違いが出るの? llama-4-maverick (400b) llama-3-1-8b-instruct 大きい方 小さい方
  15. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 検証してみた! v テキストとそれに対する感情分類(ポジティブ/ネガティブ/ニュートラル)が 含まれたデータ100件で正解率を測定する。
  16. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 検証用のコード Llama-4 で実行 Llama-3.1 で実行 大きい方 小さい方
  17. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 結果! v Maverickは94%の正解率。 しかし、処理時間もかかっている。 llama3.1-8bで同程度の精度が出せる? ・・・プロンプトチューニングで?
  18. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. DSPyのプロンプトチューニング:Optimizer v DSPyのOptimizerを使うと、学習データを使って Prompt内のInstruction(指示文)とDemos(例)の最適解を探すことが出来る。 Prompt Instruction demos
  19. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. プロンプトチューニングの流れ データ セット作成 metricとoptimizer の設定 実行! v 検証とは別の400件のデータを使用
  20. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Optimizerによる最適化後 v Llama3.1でも、 感情分析において llama-4に匹敵する精度に なった!
  21. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ところで最適化中に何が起きてるの? ログはいっぱい出てるけど…
  22. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. そんな時は・・・ v MLflowを使いましょう!
  23. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. MLflowを使って可視化! v Databricksならこれを最適化前に実行すればOK! 精度の記録 Demo 最適化詳細 Instruction
  24. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright

    © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. まとめ v DSPyとMLflowで特定タスクに特化したLLMアプリケーションを作れます! Databricksを活用して色々なアプリケーションを開発したいと思います。