Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agen...
Search
Junya Miyake
April 16, 2025
Technology
1
470
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agent Observability with Langfuse!
2025-4-16に開催された ML OpsコミュニティのAI AgentOps LT大会でお話しした内容です。
https://mlops.connpass.com/event/347046/
Junya Miyake
April 16, 2025
Tweet
Share
More Decks by Junya Miyake
See All by Junya Miyake
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
680
完全に理解した!生成AI自社プロダクトのアジャイル開発の進め方!/ Fully understood! Agile tips for developing our generative AI product!(AOAI Dev Day)
jnymyk
5
2.5k
AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します!/Azure RAG knowledge share
jnymyk
25
9.2k
GitHub Actions & オートスケールするSelf-hosted runnerで実現する KAGのみんなのCI/CD
jnymyk
5
1.5k
KDDIのTech blogを爆速レスポンスでつくったよ
jnymyk
3
240
Other Decks in Technology
See All in Technology
MCPで変わる Amebaデザインシステム「Spindle」の開発
spindle
PRO
2
2.1k
7月のガバクラ利用料が高かったので調べてみた
techniczna
3
810
Grafana MCPサーバーによるAIエージェント経由でのGrafanaダッシュボード動的生成
hamadakoji
1
1k
見てわかるテスト駆動開発
recruitengineers
PRO
6
2.4k
『FailNet~やらかし共有SNS~』エレベーターピッチ
yokomachi
1
190
モダンフロントエンド 開発研修
recruitengineers
PRO
9
6.1k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
30k
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
260
ヒューリスティック評価を用いたゲームQA実践事例
gree_tech
PRO
0
430
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
3
1.8k
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
320
Webアクセシビリティ入門
recruitengineers
PRO
3
1.5k
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Unsuck your backbone
ammeep
671
58k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
How to Ace a Technical Interview
jacobian
279
23k
RailsConf 2023
tenderlove
30
1.2k
KATA
mclloyd
32
14k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
11
1.1k
Transcript
AI AgentOps LT大会!!! LT#6 LangfuseでAIエージェントの 可観測性を高めよう! 2025.04.16 KDDIアジャイル開発センター株式会社(KAG) MJ (三宅
潤也 @jnymyk)
1 KDDI Agile Development Center Corporation 結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
2 KDDI Agile Development Center Corporation 自己紹介 • 三宅 潤也
Miyake Junya(@jnymyk) • MJ(えむじぇー)という芸人ネームで最近活動し 始めました!まずはXとSlackから ◦ コミュニティで三宅かぶり(ZENアーキテクツ三宅さん)、今日もトップバッターの @zawakinさんも三宅さん・・・ ◦ 社内でJunya Miyakeの字面かぶり(JunXX MiyaXXまで同じ)による誤爆メンショ ン多数・・・ • KDDIアジャイル開発センター(KAG)のスクラムマスター/エンジニア • チーム開発, クラウド(Azure/AWS), CI/CD, 生成AI/LLMアプリ開発が好 きです New!!!
3 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
複雑なマルチステップでの失敗要因を特定するため ◦ Traceで各ステップの入力・出力・LLM呼び出しを可視化 ◦ バグ・ハルシネーションを素早く特定
4 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
精度とコストのトレードオフのバランスを取るため ◦ リアルタイムでコストやレイテンシを見える化 ◦ 高コストな呼び出しを抑制しながら精度を検証
5 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseとは?
◦ 生成AI(LLM)アプリケーション向けのOSS監視・ 分析プラットフォーム ◦ Self hosting or Cloudを選択可能。 • 複数人でクローズドな環境で利用するならSelf hosting • Self hostingは構築・継続メンテが大変なので、プラット フォームエンジニアリングチームで共通基盤にできると ベスト
6 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseで出来ること
◦ トレース ◦ コスト追跡 ◦ LLMアプリケーションのパフォーマンス監視 ◦ プロンプトの管理 ◦ ユーザーフィードバックの収集と分析
7 KDDI Agile Development Center Corporation デモ • LangGraphで簡易的なQA AIエージェントを実装
• 問い合わせに対して複数のロールのエージェントが対応して目的を達成する までの過程をLangfuseで見える化
8 KDDI Agile Development Center Corporation デモ
9 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 社内問い合わせ業務の生成AIによる業務効率化 ◦
営業・SEからサービス企画部門へのサービス仕様・販売施策・契約手続等 の社内問い合わせ業務で生成AIを活用 ◦ 社内ドキュメントでRAGするAIチャット →正しい検索先を見てるか? →社内ドキュメント更新時のAI回答の継続的な精度評価
10 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 全社員向けの生成AIチャットへのDeep Research機能の組み込み
◦ Web検索, 社内文書を取り込んだベクトルDBへの検索 ◦ 単に検索結果の一部をコンテキストとして渡すのではなく、必 要な情報が揃ってレポートできるまで何度も検索を繰り返す →何回検索を繰り返して回答すると納得感のあるレポートを生成 できるか?を見極め →検索の繰り返し回数 vs コストのバランス
11 KDDI Agile Development Center Corporation [再掲]結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る AI/MLやアジャイル開発に想いのあるエンジニア、スクラム マスター、デザイナー、プロダクトオーナー(PdM/PjM)を募 集中です! みなさん、ぜひ一緒に働きましょう!!!
採用関連note 採用サイト