9月24日発売！書籍『LLMアプリケーション評価駆動開発』の歩き方 - 書籍紹介 - 第2部「実戦編」

イベントページ - 9月24日発売！書籍『LLMアプリケーション評価駆動開発』の歩き方
https://studyco.connpass.com/event/405676/

書籍「LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』
https://www.amazon.co.jp/dp/4798190721

Transcript

1. 2026年9月17日 #StudyCo 書籍紹介 - 第2部「実戦編」 書籍『LLMアプリケーション評価駆動開発』の歩き方
2. 自己紹介 大嶋勇樹（おおしまゆうき） https://x.com/oshima_123 株式会社ジェネラティブエージェンツ取締役CTO/Co-founder ChatGPT/LangChainによるチャットシステム構築［実践］入門 LangChainとLangGraphによるRAG・AIエージェント［実践］入門 実践Claude Code入門―現場で活用するためのAIコーディングの思考法 LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知
3. 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する 会社名 所在地 株式会社ジェネラティブエージェンツ （英文：Generative Agents, Inc.） 東京都新宿区四谷坂町10-10 AIエージェントインテグレーションサービスの提供 AIエージェントを実業務で本当に活用するためには、AIエージェントの技術特性 と問題解決領域の両面から検討を進める必要があります。当社は「LangChain」 の公式エキスパートとして、AIエージェントを開発するための確かな技術力を活 CEO 西見 公宏 役員構成 COO 吉田 真吾 CTO 大嶋 勇樹 かし、生成AIアプリケーション開発支援からコンサルティング、教育・研修サービ スまでのあらゆる方面において、AIエージェントを活用した問題解決サービスを 提供します。 設立年月 2024年3月14日 インテグレーションを支えるサービス群の提供 AIエージェントを効果的に運用するためには、AIエージェントを動かすためのイ ンフラが必要です。当社はマルチエージェントのオーケストレーション基盤である 「tasq0 - タスクゼロ（※開発中）」をはじめ、AIエージェントのためのツール群 「middleman.ai」の提供を通して、AIエージェント活用のための基盤構築をサ ポートします。 事業内容 AIエージェント技術を軸とした生成AIアプリケーション開発 支援、コンサルティング、教育・研修サービスの提供
4. 書籍のご紹介 『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』（翔泳社） 上野 彰大 (著), 大嶋 勇樹 (著) 第1部 理論編 第1章 なぜLLM アプリケーションを評価する必要があるのか 第2章 LLMアプリケーション評価設計の全体像 第3章 LLMアプリケーション評価の実行プロセスと運用設計 第4章 評価指標の設定の考え方 第5章 LLM-as-a-Judge 第6章 LLMOpsによる継続的な改善 第2部 実践編 第7章 テーマ設定とサンプルアプリケーションの準備 第8章 評価の初期設計とデータセットの作成 第9章 リリース前の評価とチューニング 第10章 リリース後の評価と継続的な改善
5. 評価の話をしていると必ず聞かれること 「具体的にどうやるんですか？」
6. ハンズオンを用意しました！
7. 第2部 - 実践編 7章. テーマ設定とサンプルアプリケーションの準備 8章. 評価の初期設計とデータセットの作成 9章. リリース前の評価とチューニング 10章. リリース後の評価とモニタリング
8. 7章. テーマ設定とサンプルアプリケーションの準備 テーマ：架空の会社「株式会社サンプルエージェント」のお問い合わせ対応業務 お問い合わせへの対応業務を LLMアプリケーションで支援する例の 「評価」に取り組みます
9. LLMOpsのプラットフォームを使用したハンズオン 書籍のハンズオンではLangSmithを使用します ハンズオンで取り組む内容自体は、 LangfuseやW&B Weaveなど 他のLLMOpsプラットフォームを使う場合でも 適用可能となっています • LangSmith：先進的な機能が特徴 • Langfuse：OSSのため自由に使いやすい • W&B Weave：運用を任せつつPrivateホスト可能 https://www.langchain.com/langsmith-platform 需要があれば、Langfuse版・W&B Weave版のハンズオンも作るかもしれません
10. 8章. 評価の初期設計とデータセットの作成 サンプルアプリケーションの「評価」を検討 • リリース前の評価 • リリース後の評価（In-the-loop評価） • リリース後の評価（Out-of-the-loop評価） データセットを作成して 評価の準備を整えます
11. 9章. リリース前の評価とチューニング データセットを使った評価を実装 • ルールベースの評価 • LLM-as-a-Judge アノテーションキューを使った人手評価から 評価自体の改善にも取り組みます
12. 評価・分析・チューニングのサイクル
13. 現在では、評価結果に基づくチューニングには コーディングエージェントを活用可能
14. コーディングエージェントによるチューニングの自動化 LangSmithの「スキル」を使用して、 評価・分析・チューニングのサイクルを コーディングエージェントで実施 （書籍中ではClaude Codeを使用）
15. 10章. リリース後の評価とモニタリング トレースと紐づけてスコアを記録 • LLMによる分類を修正したか • LLMで生成した文章をどの程度編集したか 「実際に役に立ったのか？」を評価 モニタリング機能による可視化
16. ハンズオンで取り組む評価手法 データセットを使った アノテーションキューでの トレースと紐づけた 自動評価 人手評価 実際のトラフィックでの評価 評価の取り組み方の具体例を把握したうえで、 必要に応じて組み合わせて評価に取り組んでいくことになります ※この他にも様々な手法があります
17. まとめ • 『LLMアプリケーション評価駆動開発』の「第2部 - 実践編」をご紹介しました お問い合わせへの対応業務を題材として「評価」に取り組むハンズオン • データセットを使った自動評価、アノテーションキューを使った人手評価 コーディングエージェントによるチューニングの自動化にも挑戦 • トレースと紐づけた実際のトラフィックでの評価も実施 「実際に役に立ったのか？」を評価 LLMアプリケーションの評価の基本を一通り体験できます 評価のイメージがついていない方は、第2部から読んでみるのもおすすめです
18. ご清聴ありがとうございました