Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
Search
chimuichimu
December 19, 2024
3
1.1k
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
chimuichimu
December 19, 2024
Tweet
Share
More Decks by chimuichimu
See All by chimuichimu
朝 Kaggle のすすめ
chimuichimu
3
580
atmaCup#19 2nd Place Solution
chimuichimu
3
330
Wantedly Visit における相互推薦システムの活用事例
chimuichimu
1
280
データ駆動で実現する、人と企業のマッチング
chimuichimu
0
120
ウォンテッドリーの推薦システム開発を支える評価とデプロイの仕組み
chimuichimu
1
760
進化計算ライブラリ DEAP の紹介
chimuichimu
2
180
Spotify Web API を使った分析で新しいお気に入りアーティストを発見する
chimuichimu
3
220
非競プロ勢によるUSPTOコンペ参加記
chimuichimu
2
1.8k
ウォンテッドリーのプロダクト開発における Python の開発・運用環境
chimuichimu
4
1.4k
Featured
See All Featured
Unsuck your backbone
ammeep
671
58k
Automating Front-end Workflow
addyosmani
1370
200k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Facilitating Awesome Meetings
lara
54
6.5k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
What's in a price? How to price your products and services
michaelherold
246
12k
Adopting Sorbet at Scale
ufuk
77
9.5k
Visualization
eitanlees
146
16k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Transcript
© 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
自己紹介 © 2024 Wantedly, Inc. 名前: Ichimura Chiaki 仕事: データサイエンティスト@ウォンテッドリー
興味: 推薦システム、機械学習、犬 @chimuichimu1
目次 © 2024 Wantedly, Inc. • PydanticAI とは? • Logfire
とは? • PydanticAI × Logfire 連携
PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク
以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存(現在は OpenAI, Anthropic, Gemini,,, などが使用可能) • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点(2024/12/19)ではβ版 https://ai.pydantic.dev/
Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python
アプリケーションのテレメトリデータ(ログ、メトリクス、トレース)を収集、可視化 することが可能 https://pydantic.dev/logfire
PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
PydanticAI × Logfire のメリット(1/2) © 2024 Wantedly, Inc. 容易に連携することが可能 •
PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
PydanticAI × Logfire のメリット(2/2) © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 •
アプリ内の LLM モデルに関わる情報(入出力、消費トークン数、レスポンスな ど)だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による
LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に
LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う