Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
Search
chimuichimu
December 19, 2024
3
1.2k
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
chimuichimu
December 19, 2024
Tweet
Share
More Decks by chimuichimu
See All by chimuichimu
書籍紹介:アジャイルなチームをつくる ふりかえりガイドブック
chimuichimu
0
24
朝 Kaggle のすすめ
chimuichimu
3
610
atmaCup#19 2nd Place Solution
chimuichimu
3
360
Wantedly Visit における相互推薦システムの活用事例
chimuichimu
1
300
データ駆動で実現する、人と企業のマッチング
chimuichimu
0
130
ウォンテッドリーの推薦システム開発を支える評価とデプロイの仕組み
chimuichimu
1
790
進化計算ライブラリ DEAP の紹介
chimuichimu
2
220
Spotify Web API を使った分析で新しいお気に入りアーティストを発見する
chimuichimu
3
260
非競プロ勢によるUSPTOコンペ参加記
chimuichimu
2
2k
Featured
See All Featured
Building an army of robots
kneath
306
46k
Six Lessons from altMBA
skipperchong
28
4k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
GraphQLとの向き合い方2022年版
quramy
49
14k
Navigating Team Friction
lara
189
15k
Transcript
© 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
自己紹介 © 2024 Wantedly, Inc. 名前: Ichimura Chiaki 仕事: データサイエンティスト@ウォンテッドリー
興味: 推薦システム、機械学習、犬 @chimuichimu1
目次 © 2024 Wantedly, Inc. • PydanticAI とは? • Logfire
とは? • PydanticAI × Logfire 連携
PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク
以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存(現在は OpenAI, Anthropic, Gemini,,, などが使用可能) • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点(2024/12/19)ではβ版 https://ai.pydantic.dev/
Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python
アプリケーションのテレメトリデータ(ログ、メトリクス、トレース)を収集、可視化 することが可能 https://pydantic.dev/logfire
PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
PydanticAI × Logfire のメリット(1/2) © 2024 Wantedly, Inc. 容易に連携することが可能 •
PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
PydanticAI × Logfire のメリット(2/2) © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 •
アプリ内の LLM モデルに関わる情報(入出力、消費トークン数、レスポンスな ど)だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による
LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に
LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う