Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
Search
chimuichimu
December 19, 2024
3
1.1k
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
chimuichimu
December 19, 2024
Tweet
Share
More Decks by chimuichimu
See All by chimuichimu
朝 Kaggle のすすめ
chimuichimu
3
520
atmaCup#19 2nd Place Solution
chimuichimu
3
310
Wantedly Visit における相互推薦システムの活用事例
chimuichimu
1
270
データ駆動で実現する、人と企業のマッチング
chimuichimu
0
110
ウォンテッドリーの推薦システム開発を支える評価とデプロイの仕組み
chimuichimu
1
740
進化計算ライブラリ DEAP の紹介
chimuichimu
2
170
Spotify Web API を使った分析で新しいお気に入りアーティストを発見する
chimuichimu
3
220
非競プロ勢によるUSPTOコンペ参加記
chimuichimu
2
1.7k
ウォンテッドリーのプロダクト開発における Python の開発・運用環境
chimuichimu
4
1.4k
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Documentation Writing (for coders)
carmenintech
72
4.9k
Designing for humans not robots
tammielis
253
25k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Visualization
eitanlees
146
16k
Six Lessons from altMBA
skipperchong
28
3.9k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
How GitHub (no longer) Works
holman
314
140k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
© 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
自己紹介 © 2024 Wantedly, Inc. 名前: Ichimura Chiaki 仕事: データサイエンティスト@ウォンテッドリー
興味: 推薦システム、機械学習、犬 @chimuichimu1
目次 © 2024 Wantedly, Inc. • PydanticAI とは? • Logfire
とは? • PydanticAI × Logfire 連携
PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク
以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存(現在は OpenAI, Anthropic, Gemini,,, などが使用可能) • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点(2024/12/19)ではβ版 https://ai.pydantic.dev/
Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python
アプリケーションのテレメトリデータ(ログ、メトリクス、トレース)を収集、可視化 することが可能 https://pydantic.dev/logfire
PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
PydanticAI × Logfire のメリット(1/2) © 2024 Wantedly, Inc. 容易に連携することが可能 •
PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
PydanticAI × Logfire のメリット(2/2) © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 •
アプリ内の LLM モデルに関わる情報(入出力、消費トークン数、レスポンスな ど)だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による
LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に
LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う