LiteLLM Proxyの紹介

April 24, 2025

34

LiteLLM Proxyの紹介

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208

そのasync、止まってない？ ”鉄板”イベントループブロッキング処理検出術

1

2.2k

AIでサービス運用はどう変わるのか

0

210

入門再発防止策

17

7.8k

障害対応からの学びと体制づくり

0

1.2k

金曜日デプロイ、するかしないか.pdf

1

490

会話で作る信頼性

0

200

シグナル(Unix)と仲良くなる

1

210

AI前提のサービス運用について再考する

6

1.5k

A Shallow Dive into the World of TCP

1

700

Featured

See All Featured

PRO

31

6.3k

The B2B funnel & how to create a winning content strategy

PRO

1

550

Designing for Performance

611

70k

Mobile First: as difficult as doing things right

225

10k

Art, The Web, and Tiny UX

304

22k

RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub

141

35k

The Art of Delivering Value - GDevCon NA Keynote

16

2.2k

We Have a Design System, Now What?

55

8.4k

Unlocking the hidden potential of vector embeddings in international SEO

0

970

Jess Joyce - The Pitfalls of Following Frameworks

PRO

1

430

Joys of Absence: A Defence of Solitary Play

1

530

How to make the Groovebox

2

2.5k

Transcript

LiteLLM Proxyの紹介渡部⿓⼀ AIハッカソン 1
複数LLMでアプリケーションを作りたい！
⼤変じゃないですか？
認証、監視、モデルごとにクライアント、リトライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック先にリクエスト • レイテンシーの監視、コストの監視
None