キミガタリLangfuse運用事例

Langfuse Night #3 -リアルユースケースとLangfuse -の登壇資料
https://langfuse.connpass.com/event/362656/

Transcript

1. キミガタリのLangfuse活用事例 L a n g f u s e N i g h t # 3 - リ ア ル ユ ー ス ケ ー ス と L a n g f u s e 2 0 2 5 年 0 8 月 1 9 日 a k i . t s @ H e d g e h o g P y t h o n
2. 自 己 紹 介 キ ミ ガ タ リ の 紹 介 キ ミ ガ タ リ と L a n g f u s e の 連 携 サ マ リ 出 力 品 質 の 改 善 お ま け : M a s t r a の ス コ ア ラ ー 最 後 に AGENDA
3. ABOUT ME Ueda Syoitu ハリネズミ・aki.ts (株)Nint
4. キミガタリとは何か？
5. キミガタリ-物語制作プラットフォーム AI編集者との会話と、ステップバイステップで要素を組み合わせる機能により、 簡単に物語を作成できる。
6. キミガタリ-物語制作プラットフォーム 生成された物語の全ての要素を構造化して管理することが可能。 キャラクターの人間関係を グラフ表示で可視化できる
7. エピソード内登場するキャラク ターの重要度を調整できる 続編のエピソードや並行する エピソードも作成可能 キミガタリ-物語制作プラットフォーム 物語の設定に従って、一貫性のあるエピソードを作成ことが可能
8. キミガタリ-物語制作プラットフォーム エピソード作成に必要な情報整理 初稿作成 登場人物が全員AI エージェント化して、レビューをする レビュー内容を元に初稿修正
9. デザイン スポーツ キミガタリ-物語制作プラットフォーム MCPサーバー使って簡単にその他MCPクライアントと連携可能。 Gemini StorybookのMCPサー バー対応に期待
10. キミガタリとLangfuseの連携
11. キミガタリとLangfuseの連携
12. Next.js AI SDK クライアント Mastra キミガタリとLangfuseの連携 クライアントに組み込みMastra とAI SDKを採用 AIエージェント・ワークフロー はMastraを採用してる。
13. AI SDK Mastra キミガタリとLangfuseの連携 2025年春から人気急上昇した TypeScriptスタックのAI エージェントフレームワーク Next.jsに直接統合も可能・Mastra Cloudへ簡単にデプロイ Vercel社が提供するTypeScript用のAIツールキット 複数のモデル提供プロバイダーに対応 マルチモーダル・RagChatなどシンプルなユースケースに対応 voltagent・Mastraのインフラにもなってる
14. キミガタリとLangfuseの連携 AI SDK 組み込みMastra Mastra API Server Mastraインスタントにtelemetryの送信先をLangfuseを設定するだけで完了 LangfuseExporter TRACES_ENDPOINT両対応
15. AI SDK 組み込みMastra キミガタリとLangfuseの連携 Mastra API Server AI SDKと組み込みMastraのLangfuseへのトレース送信 AI SDK Mastra
16. AI SDK 組み込みMastra キミガタリとLangfuseの連携 Mastra APIServer Next.jsのinstrumentation.tsにLangfuseへ送信設定 Next.jsにおいて一度だけ実行される、監視・計測を設 定するためのファイル。 nodejs環境とedge環境の両方で呼び出される LangfuseExporterはnodejs環境のみに対応しているた め、nodejs環境のブロック内で動的にインポートしな いと、エラーが発生したり無効化されたりする
17. AI SDK 組み込みMastra Mastra APIServer キミガタリとLangfuseの連携 これでキミガタリの全てのトレースをLangfuseに送信することができた
18. サマリ出力品質の改善
19. 「XXX」の続きを書 いてみよう これまでの話はこう で、大体こんな感じ になりました なるほど、それを参 考にしますね Nova Lite サマリ出力品質の改善 エピソードの続編を作る際に、これまでの話で何が起きたのかを 効率的に後続の執筆エージェントに渡すことが非常に重要です。 to be continued
20. 主人公:25歳 異邦人: 勇者 主人公:10歳 貴族の息子 ニューゲーム＋ 主人公:10歳 貴族の息子 異世界転生した主人公が勇者として魔王を倒すも、ニューゲーム+の存在を知り、抜け出せない現実にうんざり する。今度は貴族のボン坊として気楽に過ごそうとするが、2年後に勇者が戦死し、魔王軍の侵攻で10歳時に死に 戻ってしまう。そこで真エンドの存在に気づいた主人公は、再び勇者の道を歩むことを決意する。 サマリ出力品質の改善 魔王を倒す 勇者死亡 主人公:12歳死亡 魔王軍進行 ２年 死に戻り 再スタート
21. 主人公:25歳 異邦人: 勇者 主人公:10歳 貴族の息子 ニューゲーム＋ 主人公:10歳 貴族の息子 勇者死亡 主人公:12歳死亡 魔王軍進行 ２年 異世界転生した主人公が勇者として魔王を倒すも、ニューゲーム+の存在を知り、抜け出せない現実にうんざり する。今度は貴族のボン坊として気楽に過ごそうとするが、2年後に勇者が戦死し、魔王軍の侵攻で10歳時に死に 戻ってしまう。そこで真エンドの存在に気づいた主人公は、再び勇者の道を歩むことを決意する。 サマリ出力品質の改善 魔王を倒す 死に戻り 1.転生前の記憶(現代人) 2.1周した時の記憶(25歳勇者) 3.ニューゲーム時の差分記憶(死に戻りまで) 再スタート
22. 人の感覚でやっても、効率が悪い 賢いモデル使っても要件に満たす とは限らない Nova LiteからOpus 4.1に変更すれば確かに解決 するが、コストパフォーマンスが悪すぎる。 input-token: 4054, output-token: 903 Nova Lite 9s $0.00045996(約0.069円） Opus4.1 56s $0.144045(21円) サマリ出力品質の改善
23. Custom Evaluator ジャンル別の入力 (ループ物、通常時系列物、多視点物) サマリエージェント 事前に定義された評価テンプ レートに沿って評価をする ＊2025年6月4日以降のlangfuseセルフホスティング版での利用可能 サマリ出力品質の改善 LangfuseのLLM as a JudgeのCustom Evaluator使えば楽に評価をできる 修正案 サマリ出力
24. 評価テンプレートを定義して、入 力テータを受け取り箇所を {{varle}}で囲む スコア推論プロンプト スコア範囲プロンプト定義 サマリ出力品質の改善 Coustom Evaluatorの定義、LLM-as-a-JudgeのEvaluator Libraryから作れる Coustom Evaluator追加
25. プレビューで対象のトレースを 確認できるのが便利 評価対象の絞り込みも可能 サマリ出力品質の改善 先作ったEvaluator LibraryをRunning Evaluatorsにセットアップ 評価対象になる割合 も設定できる
26. サマリ出力品質の改善 入力データのマッピングはJsonPathで指定でき、結果もプレビューで確認可能
27. 設定完了後、Custom Evaluatorがアクティブ状態になり ターゲットのトレースが転送されるたびに評価を実行する Nova Lite 9s 約0.069円 Claude Haiku 3.5 11s 約0.9円 サマリ出力品質の改善 いい感じのサマリを作れるようになった
28. おまけ:Mastraのスコアラー
29. エージェント・ワークフローの 定義にスコアラーを追加できる ビルドインスコアラー以外に カスタムスコアラーも定義で き、複数持たせることもできる Mastraのスコアラー 2025年08月06日以降最新のmastra/core・mastra/evalsで使用可能。
30. カスタムスコアラーを設定する場合、 評価結果に対して分析項目を複数定義でき、それを元により詳細なスコア推論ができる。 Mastraのスコアラー 分析ステップでは、評価のコアロジック を実行し、スコアリングに役立つ情報を 収集します
31. 評価理由ステップでは定義したスキーマ 使って評価結果をカスタマイズできる 分析ステップで定義したスキーマに沿ってより具体的な理由を出力 Mastraのスコアラー
32. カスタムスコアラーは単体でも呼び出せる 評価結果をユーザーに共有したい時には便利! Mastraのスコアラー Mastraインスタントにストレージを追加してる場合mastra_scorersテーブル保存される
33. ご清聴ありがとうございました