Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

LiteLLM Proxyの紹介

Avatar for ryuichi1208 ryuichi1208
April 24, 2025
34
1

LiteLLM Proxyの紹介

Avatar for ryuichi1208

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208
そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術
Avatar for ryuichi1208 ryuichi1208
1
2.2k
AIでサービス運用はどう変わるのか
Avatar for ryuichi1208 ryuichi1208
0
210
入門 再発防止策
Avatar for ryuichi1208 ryuichi1208
17
7.8k
障害対応からの学びと体制づくり
Avatar for ryuichi1208 ryuichi1208
0
1.2k
金曜日デプロイ、するかしないか.pdf
Avatar for ryuichi1208 ryuichi1208
1
490
会話で作る信頼性
Avatar for ryuichi1208 ryuichi1208
0
200
シグナル(Unix)と仲良くなる
Avatar for ryuichi1208 ryuichi1208
1
210
AI前提のサービス運用について再考する
Avatar for ryuichi1208 ryuichi1208
6
1.5k
A Shallow Dive into the World of TCP
Avatar for ryuichi1208 ryuichi1208
1
700

Featured

See All Featured
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
66
8.6k
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
Avatar for Umar Saidu Auna auna
0
310
Design and Strategy: How to Deal with People Who Don’t "Get" Design
Avatar for Morgane Peng morganepeng
133
20k
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
Avatar for Christian Goodrich cargoodrich
3
860
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.8k
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
560
Technical Leadership for Architectural Decision Making
Avatar for Kenny Baas-Schwegler baasie
3
590
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
230
23k
SEO in 2025: How to Prepare for the Future of Search
Avatar for Michael King ipullrank
3
3.9k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.9k
YesSQL, Process and Tooling at Scale
Avatar for Rocio Delgado rocio
174
15k
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
61
10k

Transcript

  1. LiteLLM Proxyの紹介 渡部⿓⼀ AIハッカソン 1

  2. 複数LLMでアプリケーションを作りたい！

  3. ⼤変じゃないですか？

  4. 認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...

  5. None
  6. None

  7. アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •

    統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
  8. None