Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agen...
Search
Junya Miyake
April 16, 2025
Technology
1
480
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agent Observability with Langfuse!
2025-4-16に開催された ML OpsコミュニティのAI AgentOps LT大会でお話しした内容です。
https://mlops.connpass.com/event/347046/
Junya Miyake
April 16, 2025
Tweet
Share
More Decks by Junya Miyake
See All by Junya Miyake
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
690
完全に理解した!生成AI自社プロダクトのアジャイル開発の進め方!/ Fully understood! Agile tips for developing our generative AI product!(AOAI Dev Day)
jnymyk
5
2.5k
AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します!/Azure RAG knowledge share
jnymyk
25
9.2k
GitHub Actions & オートスケールするSelf-hosted runnerで実現する KAGのみんなのCI/CD
jnymyk
5
1.5k
KDDIのTech blogを爆速レスポンスでつくったよ
jnymyk
3
240
Other Decks in Technology
See All in Technology
roppongirb_20250911
igaiga
1
240
Android Audio: Beyond Winning On It
atsushieno
0
2.4k
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
110
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
pei0804
1
190
まずはマネコンでちゃちゃっと作ってから、それをCDKにしてみよか。
yamada_r
2
120
Apache Spark もくもく会
taka_aki
0
130
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
560
メルカリIBISの紹介
0gm
0
120
Snowflake Intelligence × Document AIで“使いにくいデータ”を“使えるデータ”に
kevinrobot34
1
120
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
390
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1.1k
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
490
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Balancing Empowerment & Direction
lara
3
620
Being A Developer After 40
akosma
90
590k
Faster Mobile Websites
deanohume
309
31k
Six Lessons from altMBA
skipperchong
28
4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Docker and Python
trallard
46
3.6k
Producing Creativity
orderedlist
PRO
347
40k
Transcript
AI AgentOps LT大会!!! LT#6 LangfuseでAIエージェントの 可観測性を高めよう! 2025.04.16 KDDIアジャイル開発センター株式会社(KAG) MJ (三宅
潤也 @jnymyk)
1 KDDI Agile Development Center Corporation 結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
2 KDDI Agile Development Center Corporation 自己紹介 • 三宅 潤也
Miyake Junya(@jnymyk) • MJ(えむじぇー)という芸人ネームで最近活動し 始めました!まずはXとSlackから ◦ コミュニティで三宅かぶり(ZENアーキテクツ三宅さん)、今日もトップバッターの @zawakinさんも三宅さん・・・ ◦ 社内でJunya Miyakeの字面かぶり(JunXX MiyaXXまで同じ)による誤爆メンショ ン多数・・・ • KDDIアジャイル開発センター(KAG)のスクラムマスター/エンジニア • チーム開発, クラウド(Azure/AWS), CI/CD, 生成AI/LLMアプリ開発が好 きです New!!!
3 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
複雑なマルチステップでの失敗要因を特定するため ◦ Traceで各ステップの入力・出力・LLM呼び出しを可視化 ◦ バグ・ハルシネーションを素早く特定
4 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ? •
精度とコストのトレードオフのバランスを取るため ◦ リアルタイムでコストやレイテンシを見える化 ◦ 高コストな呼び出しを抑制しながら精度を検証
5 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseとは?
◦ 生成AI(LLM)アプリケーション向けのOSS監視・ 分析プラットフォーム ◦ Self hosting or Cloudを選択可能。 • 複数人でクローズドな環境で利用するならSelf hosting • Self hostingは構築・継続メンテが大変なので、プラット フォームエンジニアリングチームで共通基盤にできると ベスト
6 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは? • Langfuseで出来ること
◦ トレース ◦ コスト追跡 ◦ LLMアプリケーションのパフォーマンス監視 ◦ プロンプトの管理 ◦ ユーザーフィードバックの収集と分析
7 KDDI Agile Development Center Corporation デモ • LangGraphで簡易的なQA AIエージェントを実装
• 問い合わせに対して複数のロールのエージェントが対応して目的を達成する までの過程をLangfuseで見える化
8 KDDI Agile Development Center Corporation デモ
9 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 社内問い合わせ業務の生成AIによる業務効率化 ◦
営業・SEからサービス企画部門へのサービス仕様・販売施策・契約手続等 の社内問い合わせ業務で生成AIを活用 ◦ 社内ドキュメントでRAGするAIチャット →正しい検索先を見てるか? →社内ドキュメント更新時のAI回答の継続的な精度評価
10 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 全社員向けの生成AIチャットへのDeep Research機能の組み込み
◦ Web検索, 社内文書を取り込んだベクトルDBへの検索 ◦ 単に検索結果の一部をコンテキストとして渡すのではなく、必 要な情報が揃ってレポートできるまで何度も検索を繰り返す →何回検索を繰り返して回答すると納得感のあるレポートを生成 できるか?を見極め →検索の繰り返し回数 vs コストのバランス
11 KDDI Agile Development Center Corporation [再掲]結論 • LangfuseでAIエージェントを見える化しよう (可観測性を高
めよう!) • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う! ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK! • AIがどのような情報を受け取って、どんな処理をしているのか? 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。(AIでも人でもこれは一緒) ◦ AIエージェントの開発・運用を持続可能な活動にしよう
Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る AI/MLやアジャイル開発に想いのあるエンジニア、スクラム マスター、デザイナー、プロダクトオーナー(PdM/PjM)を募 集中です! みなさん、ぜひ一緒に働きましょう!!!
採用関連note 採用サイト