LiteLLM Proxyの紹介

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208

そのasync、止まってない？ ”鉄板”イベントループブロッキング処理検出術

1

1.1k

AIでサービス運用はどう変わるのか

0

190

入門再発防止策

17

7.7k

金曜日デプロイ、するかしないか.pdf

1

86

会話で作る信頼性

0

200

シグナル(Unix)と仲良くなる

1

65

AI前提のサービス運用について再考する

6

1.5k

A Shallow Dive into the World of TCP

1

690

入門リトライ

20

8.5k

Featured

See All Featured

How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT

PRO

2

3.8k

A Modern Web Designer's Workflow

698

190k

How To Stay Up To Date on Web Technology

790

250k

The Success of Rails: Ensuring Growth for the Next 100 Years

47

8.3k

Navigating Team Friction

192

16k

Claude Code のすすめ

67

230k

Dealing with People You Can't Stand - Big Design 2015

367

27k

AI: The stuff that nobody shows you

PRO

9

980

How to make the Groovebox

2

2.4k

Measuring Dark Social's Impact On Conversion and Attribution

2

270

Save Time (by Creating Custom Rails Generators)

PRO

32

4.7k

Building an army of robots

306

46k

Transcript

LiteLLM Proxyの紹介 1
複数LLMでアプリケーションを作りたい！
⼤変じゃないですか？
認証、監視、モデルごとにクライアント、リトライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック先にリクエスト • レイテンシーの監視、コストの監視
None