LiteLLM Proxyの紹介

April 24, 2025

95

LiteLLM Proxyの紹介

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208

そのasync、止まってない？ ”鉄板”イベントループブロッキング処理検出術

1

2.3k

AIでサービス運用はどう変わるのか

0

210

入門再発防止策

17

7.9k

SREの組織構造と実践.

0

320

信頼性・システムの観測・障害対応

1

10

障害対応からの学びと体制づくり

0

1.2k

金曜日デプロイ、するかしないか.pdf

1

490

会話で作る信頼性

0

200

シグナル(Unix)と仲良くなる

1

210

Featured

See All Featured

10 Git Anti Patterns You Should be Aware of

PRO

659

62k

JavaScript: Past, Present, and Future - NDC Porto 2020

52

6.1k

The untapped power of vector embeddings

2

1.9k

Writing Fast Ruby

630

63k

1

400

The Hidden Cost of Media on the Web [PixelPalooza 2025]

2

530

PRO

5

54k

How Software Deployment tools have changed in the past 20 years

2

35k

Evolving SEO for Evolving Search Engines

0

330

Joys of Absence: A Defence of Solitary Play

1

550

Build your cross-platform service in a week with App Engine

234

19k

Neural Spatial Audio Processing for Sound Field Analysis and Control

0

570

Transcript

LiteLLM Proxyの紹介渡部⿓⼀ AIハッカソン 1
複数LLMでアプリケーションを作りたい！
⼤変じゃないですか？
認証、監視、モデルごとにクライアント、リトライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック先にリクエスト • レイテンシーの監視、コストの監視
None