Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LiteLLM Proxyの紹介
Search
ryuichi1208
April 24, 2025
100
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LiteLLM Proxyの紹介
ryuichi1208
April 24, 2025
Transcript
8 slides
LiteLLM Proxyの紹介 渡部⿓⼀ AIハッカソン 1
複数LLMでアプリケーションを作りたい!
⼤変じゃないですか?
認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
None
More Decks by ryuichi1208
See All by ryuichi1208
なぜそう壊れるのか「障害を切り分ける技術」を書きました
ryuichi1208
2
370
そのasync、止まってない? ”鉄板”イベントループ ブロッキング処理検出術
ryuichi1208
1
2.3k
AIでサービス運用はどう変わるのか
ryuichi1208
0
230
入門 再発防止策
ryuichi1208
17
8.1k
SREの組織構造と実践.
ryuichi1208
0
340
信頼性・システムの観測・障害対応
ryuichi1208
1
530
障害対応からの学びと体制づくり
ryuichi1208
0
1.2k
金曜日デプロイ、するかしないか.pdf
ryuichi1208
1
510
会話で作る信頼性
ryuichi1208
0
220
Featured
See All Featured
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
390
Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline
techseoconnect
PRO
0
490
Technical Leadership for Architectural Decision Making
baasie
4
650
Speed Design
sergeychernyshev
33
2.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.6k
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
1
670
Crafting Experiences
bethany
1
450
Optimising Largest Contentful Paint
csswizardry
37
4k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
Test your architecture with Archunit
thirion
2
2.5k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
320
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.8k