Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LiteLLMことはじめ01:
Search
Takamasa Tsukui
January 29, 2026
Technology
47
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LiteLLMことはじめ01:
Takamasa Tsukui
January 29, 2026
Transcript
8 slides
LiteLLMことはじめ01: SDKとProxyの違いを理解し、実装コストを削減する
導入: LLM APIの乱立問題 (SDK Hell) 1 現状の課題 → "SDK Hell"(SDK地獄)により開発速度が低下
▪ SDKの断片化: OpenAI, Anthropic, Vertex AIなど、プロバ イダーごとにインターフェースが異なる。 ▪ スイッチングコスト: モデルを切り替える度にコードの書 き換えが発生。 ▪ 管理の複雑化: 複数のAPIキー、エラーハンドリングの実 装が分散。
LiteLLMとは? (解決策) 2 ユニバーサルアダプター 一言で表すと: 「100以上のLLMをOpenAIフォーマットで統一して呼べるI/F」 ▪ 統一規格: 入出力はすべてOpenAI互換。 ▪
多対応: Azure, Bedrock, Vertex AI, HuggingFaceなど主要 プロバイダーを網羅。 ▪ 軽量: 依存関係が少なく、既存プロジェクトに導入しやす い。 https://www.litellm.ai/ より
主要機能 1: 統一インターフェース (SDK) 3 コードの標準化 completion()関数一つで完結。モデル名の変更だけでプロバイ ダーを切り替え可能。 ▪ OpenAI形式の引数
(messages, model) ▪ OpenAI形式のレスポンスオブジェクト ▪ 環境変数でAPIキーを管理
主要機能 2: 信頼性の向上 (Reliability) 本番運用に不可欠な「落ちない仕組み」をSDKレベルで提供。 4 Fallbacks メインモデル(例: GPT-4)がダ ウンまたはレート制限にかかった
際、自動的にバックアップ(例: GPT-3.5, Claude)へ切り替え。 Retries 一時的なネットワークエラーや APIタイムアウト時に、設定した 回数だけ自動再試行を実施。 Load Balancing 複数のAPIキーやデプロイメント 間でリクエストを分散させ、ス ループットを最大化。
主要機能 3: LiteLLM Proxy Server 5 SDKから「Gateway」へ コードへの埋め込みではなく、独立したサーバーとして立ち上 げ、全てのLLMリクエストを一元管理。 ▪
一元管理: チーム全体のLLMアクセス窓口を統一。 ▪ 認証機能: 独自のVirtual Keysを発行・管理。 ▪ 予算管理: プロジェクト/ユーザー毎の予算上限設定。
可観測性 (Observability) 6 ブラックボックス化を防ぐ LLMアプリの入出力を可視化し、コストと品質をモニタリン グ。 ▪ 簡単連携: config.yamlに追記するだけで、Langfuse, Datadog,
Slackなどへログ送信。 ▪ コスト分析: 誰が、どのモデルを、どれくらい使ったかを 追跡。 ▪ デバッグ: 失敗したリクエストの詳細ログを確認可能。
Q & A ご清聴ありがとうございました。
More Decks by Takamasa Tsukui
See All by Takamasa Tsukui
数億imp/日 の行動ログ基盤へ Firehose動的パーティショニングを導入したお話
kkkdev
0
1.3k
DMMトラッキングの品質改善に向けての取り組み
kkkdev
0
900
DMMトラッキングの未来に向けての取り組み
kkkdev
0
250
Other Decks in Technology
See All in Technology
Webメール開発を大幅に変えたJMAPというゲームチェンジャー
tascript
1
200
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.6k
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
180
PHPで家庭用ゲーム機の専用コントローラーをMIDIデバイスとして扱ってみる
wind111
0
200
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
520
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
300
OWASP AI Agentic Top10に準拠するクラウドネイティブなガードレールの実践(CNDW 2026)
keitah
1
450
セキュリティチームは どのコンテナイメージの脆弱性対応を優先すべきか 〜CISA新指針とSCCで作る脆弱性トリアージ〜
swdtkuy
0
330
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
270
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
2
300
IVRy における AI 時代のデータプロダクトと事業開発
ivry_presentationmaterials
0
110
Featured
See All Featured
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
2
860
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
680
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Everyday Curiosity
cassininazir
0
420
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.4k
Building a Scalable Design System with Sketch
lauravandoore
464
34k
Crafting Experiences
bethany
1
460
ラッコキーワード サービス紹介資料
rakko
5
6M
30 Presentation Tips
portentint
PRO
1
480
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
970