Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LiteLLM Proxyの紹介

Avatar for ryuichi1208 ryuichi1208
April 24, 2025
7
1

LiteLLM Proxyの紹介

Avatar for ryuichi1208

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208
そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術
Avatar for ryuichi1208 ryuichi1208
1
270
AIでサービス運用はどう変わるのか
Avatar for ryuichi1208 ryuichi1208
0
180
入門 再発防止策
Avatar for ryuichi1208 ryuichi1208
17
7.6k
金曜日デプロイ、するかしないか.pdf
Avatar for ryuichi1208 ryuichi1208
1
79
会話で作る信頼性
Avatar for ryuichi1208 ryuichi1208
0
190
シグナル(Unix)と仲良くなる
Avatar for ryuichi1208 ryuichi1208
1
61
AI前提のサービス運用について再考する
Avatar for ryuichi1208 ryuichi1208
6
1.5k
A Shallow Dive into the World of TCP
Avatar for ryuichi1208 ryuichi1208
1
690
入門リトライ
Avatar for ryuichi1208 ryuichi1208
20
8.5k

Featured

See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
Avatar for panda_program panda_program
123
22k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
254
22k
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
850
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
61
10k
[SF Ruby Conf 2025] Rails X
Avatar for Vladimir Dementyev palkan
2
1.3k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
96
14k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
Avatar for Mine Cetinkaya-Rundel minecr
1
350
brightonSEO & MeasureFest 2025 - Christian Goodrich - Winning strategies for Black Friday CRO & PPC
Avatar for Christian Goodrich cargoodrich
3
780
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
260
Navigating Weather and Climate Data
Avatar for Ryan Abernathey rabernat
0
490
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
1
1.1k
A Modern Web Designer's Workflow
Avatar for Chris Coyier chriscoyier
698
190k

Transcript

  1. LiteLLM Proxyの紹介 1

  2. 複数LLMでアプリケーションを作りたい！

  3. ⼤変じゃないですか？

  4. 認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...

  5. None
  6. None

  7. アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •

    統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
  8. None