Slide 46
Slide 46 text
46
© PKSHA Technology Inc.
LiteLLMによるモデル交換性の担保 Datadog LLM Observability
● トレース
○ ⼊⼒/出⼒トークン数、レイテンシをト
レースごとに詳細に可視化
● RPM
○ LLMリクエストのオーバーヘッド内訳を
可視化。
● マルチベンダー対応の抽象化
○ AWS Bedrock, Azure OpenAI等の
I/O差異を吸収し、統⼀APIを提
供。
● 責務分離と開発スピード向上
○ Before: モデル変更のたびにコード
修正
○ After: envの変更のみで新設定の検
証が可能
ソフトウェアエンジニア&アルゴリズムエンジニア
その他協働を⽀えた技術スタック