Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
Search
chimuichimu
December 19, 2024
1.6k
3
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
chimuichimu
December 19, 2024
Transcript
10 slides
© 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
自己紹介 © 2024 Wantedly, Inc. 名前: Ichimura Chiaki 仕事: データサイエンティスト@ウォンテッドリー
興味: 推薦システム、機械学習、犬 @chimuichimu1
目次 © 2024 Wantedly, Inc. • PydanticAI とは? • Logfire
とは? • PydanticAI × Logfire 連携
PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク
以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存(現在は OpenAI, Anthropic, Gemini,,, などが使用可能) • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点(2024/12/19)ではβ版 https://ai.pydantic.dev/
Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python
アプリケーションのテレメトリデータ(ログ、メトリクス、トレース)を収集、可視化 することが可能 https://pydantic.dev/logfire
PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
PydanticAI × Logfire のメリット(1/2) © 2024 Wantedly, Inc. 容易に連携することが可能 •
PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
PydanticAI × Logfire のメリット(2/2) © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 •
アプリ内の LLM モデルに関わる情報(入出力、消費トークン数、レスポンスな ど)だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による
LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に
LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う
More Decks by chimuichimu
See All by chimuichimu
書籍紹介:アジャイルなチームをつくる ふりかえりガイドブック
chimuichimu
0
170
朝 Kaggle のすすめ
chimuichimu
3
740
atmaCup#19 2nd Place Solution
chimuichimu
2
520
Wantedly Visit における相互推薦システムの活用事例
chimuichimu
1
430
データ駆動で実現する、人と企業のマッチング
chimuichimu
0
200
ウォンテッドリーの推薦システム開発を支える評価とデプロイの仕組み
chimuichimu
1
2.1k
進化計算ライブラリ DEAP の紹介
chimuichimu
2
410
Spotify Web API を使った分析で新しいお気に入りアーティストを発見する
chimuichimu
3
390
非競プロ勢によるUSPTOコンペ参加記
chimuichimu
2
3k
Featured
See All Featured
Prompt Engineering for Job Search
mfonobong
0
600
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
910
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
The Mindset for Success: Future Career Progression
greggifford
PRO
0
570
Git: the NoSQL Database
bkeepers
PRO
433
67k
Highjacked: Video Game Concept Design
rkendrick25
PRO
2
590
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
How to train your dragon (web standard)
notwaldorf
96
6.9k
We Are The Robots
honzajavorek
0
460
The browser strikes back
jonoalderson
0
2k