LangfuseとClickHouse で進化するLLMOps

Transcript

1. ガオ株式会社 遠⽮ 侑⾳ ~トレースを価値に変える LLM評価エージェントの開発 ~ ServerlessDays Tokyo 2025/09/20 LangfuseとClickHouse で進化する LLMOps
2. 2 自己紹介
3. 3 遠矢 侑音（Toya Yuto） ガオ株式会社　エンジニア Langfuseを活用した生成AIエージェントの開発や運 用のサポートを行なってます 
 

4. 4 エージェント改善の課題
5. 5 トレースの必要性
6. 6 可視化の課題とLangfuse
7. 7 Langfuseとは • エージェントの挙動をグラフ形式で 可視化が可能 • コストとレイテンシの可視化も可能 • プロンプトの管理が可能 • LLM as a JudgeをUIで設定可能 • セルフホスト可能
 
 　LLMアプリ開発~運用までをサポート 　するOSSのLLMOpsプラットフォーム
8. 8 Langfuseのインフラ構成 
 • エージェントの挙動のトレースや LLM as a Judgeの
 スコアはClickhouseに格納
 • サーバレスで作成も可能
 ◦ Clickhouse CloudのAWSやGoogle Cloudでのデプロイによる、セット アップと運用の
 負担軽減
 
 構成図

9. 9 Clickhouseとは • オープンソースのカラム指向データベース • データ圧縮率が高い • クエリパフォーマンスが他データベースと比べて高い • エージェントでDBを参照する際に、従量制課金ではない ◦ クエリごとの課金を考える必要性がない ClickHouseの高速性が、エージェントによる DBのリアルタイム分析を可能にし、優れ たユーザー体験と高いコストパフォーマンスを両立します。
10. 10 評価の重要性
11. 11 エージェントの評価の課題
12. 12 評価エージェントのメリット
13. 13 エージェントの役割
14. 14 利用した技術・ツール
15. 15 レポート結果 また、このようなエージェントを作ることでレポートの疑問点も適宜 対話していき、分析を行うことができる
16. 16 BIツールでの分析との比較
17. 17 このアプローチにより、LLMOpsにおける評価は単なるスコアリングから、 具体的な改善アクションに直結する 「意味のある活動へ」 進化します 継続的な改善サイクルを回すため強力なエンジンになる LLMOpsにおける評価（Eval）の進化
18. 18 最後に
19. We’re hiring! https://www.gao-ai.com/contact
20. ご清聴ありがとうございました 20 (C) GAO, Inc.