Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agen...
Search
Junya Miyake
April 16, 2025
Technology
1
420
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agent Observability with Langfuse!
2025-4-16に開催された ML OpsコミュニティのAI AgentOps LT大会でお話しした内容です。
https://mlops.connpass.com/event/347046/
Junya Miyake
April 16, 2025
Tweet
Share
More Decks by Junya Miyake
See All by Junya Miyake
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
230
完全に理解した!生成AI自社プロダクトのアジャイル開発の進め方!/ Fully understood! Agile tips for developing our generative AI product!(AOAI Dev Day)
jnymyk
5
2.5k
AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します!/Azure RAG knowledge share
jnymyk
25
9.1k
GitHub Actions & オートスケールするSelf-hosted runnerで実現する KAGのみんなのCI/CD
jnymyk
4
1.4k
KDDIのTech blogを爆速レスポンスでつくったよ
jnymyk
2
190
Other Decks in Technology
See All in Technology
機械学習を「社会実装」するということ 2025年夏版 / Social Implementation of Machine Learning July 2025 Version
moepy_stats
1
570
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
2
390
The Madness of Multiple Gemini CLIs Developing Simultaneously with Jujutsu
gunta
1
2.5k
AI工学特論: MLOps・継続的評価
asei
10
1.5k
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
100
20250719_JAWS_kobe
takuyay0ne
1
160
スプリントレビューを効果的にするために
miholovesq
9
1.6k
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
6
260
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
6
1k
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
360
20150719_Amazon Nova Canvas Virtual try-onアプリ 作成裏話
riz3f7
0
130
本当にわかりやすいAIエージェント入門
segavvy
10
5.9k
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
YesSQL, Process and Tooling at Scale
rocio
173
14k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Site-Speed That Sticks
csswizardry
10
720
Mobile First: as difficult as doing things right
swwweet
223
9.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Making Projects Easy
brettharned
116
6.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
AI AgentOps LT大会!!! LT#6 LangfuseでAIエージェントの 可観測性を高めよう! 2025.04.16 KDDIアジャイル開発センター株式会社(KAG) MJ (三宅
潤也 @jnymyk)
1 KDDI Agile Development Center Corporation 結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
2 KDDI Agile Development Center Corporation 自己紹介 • 三宅 潤也
Miyake Junya(@jnymyk) • MJ(えむじぇー)という芸人ネームで最近活動し 始めました!まずはXとSlackから ◦ コミュニティで三宅かぶり(ZENアーキテクツ三宅さん)、今日もトップバッターの @zawakinさんも三宅さん・・・ ◦ 社内でJunya Miyakeの字面かぶり(JunXX MiyaXXまで同じ)による誤爆メンショ ン多数・・・ • KDDIアジャイル開発センター(KAG)のスクラムマスター/エンジニア • チーム開発, クラウド(Azure/AWS), CI/CD, 生成AI/LLMアプリ開発が好 きです New!!!
3 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
複雑なマルチステップでの失敗要因を特定するため ◦ Traceで各ステップの入力・出力・LLM呼び出しを可視化 ◦ バグ・ハルシネーションを素早く特定
4 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
精度とコストのトレードオフのバランスを取るため ◦ リアルタイムでコストやレイテンシを見える化 ◦ 高コストな呼び出しを抑制しながら精度を検証
5 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseとは?
◦ 生成AI(LLM)アプリケーション向けのOSS監視・ 分析プラットフォーム ◦ Self hosting or Cloudを選択可能。 • 複数人でクローズドな環境で利用するならSelf hosting • Self hostingは構築・継続メンテが大変なので、プラット フォームエンジニアリングチームで共通基盤にできると ベスト
6 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseで出来ること
◦ トレース ◦ コスト追跡 ◦ LLMアプリケーションのパフォーマンス監視 ◦ プロンプトの管理 ◦ ユーザーフィードバックの収集と分析
7 KDDI Agile Development Center Corporation デモ • LangGraphで簡易的なQA AIエージェントを実装
• 問い合わせに対して複数のロールのエージェントが対応して目的を達成する までの過程をLangfuseで見える化
8 KDDI Agile Development Center Corporation デモ
9 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 社内問い合わせ業務の生成AIによる業務効率化 ◦
営業・SEからサービス企画部門へのサービス仕様・販売施策・契約手続等 の社内問い合わせ業務で生成AIを活用 ◦ 社内ドキュメントでRAGするAIチャット →正しい検索先を見てるか? →社内ドキュメント更新時のAI回答の継続的な精度評価
10 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 全社員向けの生成AIチャットへのDeep Research機能の組み込み
◦ Web検索, 社内文書を取り込んだベクトルDBへの検索 ◦ 単に検索結果の一部をコンテキストとして渡すのではなく、必 要な情報が揃ってレポートできるまで何度も検索を繰り返す →何回検索を繰り返して回答すると納得感のあるレポートを生成 できるか?を見極め →検索の繰り返し回数 vs コストのバランス
11 KDDI Agile Development Center Corporation [再掲]結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る AI/MLやアジャイル開発に想いのあるエンジニア、スクラム マスター、デザイナー、プロダクトオーナー(PdM/PjM)を募 集中です! みなさん、ぜひ一緒に働きましょう!!!
採用関連note 採用サイト