llm-d に入門してみた / Try out llm-d

Transcript

1. #yuruai llm-d に入門してみた 2026/11/02 ゆるAI勉強会 #2
2. Who am I. Name: こたつ&&みかん Account: @kota2and3kan Company: Name: Scalar, Inc. Product: - ScalarDB (Distributed Transaction Manager) - ScalarDL (Byzantine Fault Detection Middleware) Job: [Technical Support, Infra Engineer] Like: DB: [PostgreSQL, CockroachDB] Bouldering: 5Q Dislike: Real Cockroach
3. 今回の検証に利用したマニフェスト https://github.com/kota2and3kan/llm-on-k8s-samples/tre e/main/llm-d-with-vllm-sim
4. llm-d とは？
5. llm-d とは https://github.com/llm-d llm-d is a Kubernetes-native high-performance distributed LLM inference framework
6. llm-d とは https://github.com/llm-d Kubernetes 上になんかいい感じの LLM 基盤を作るフレームワーク
7. llm-d とは どうやら「単体の製品」ではなく 「フレームワーク」らしい 🤔
8. llm-d とは https://github.com/llm-d/llm-d/blob/main/docs/assets/images/llm-d-arch.svg
9. よくわからんけど
10. なんかいろいろあるっぽい
11. ということで
12. 試してみました
13. Demo 環境概要 Kubernetes (kind) curl (Client) agentgateway (Proxy) llm-d EPP llm-d Router vLLM Simulator vLLM Simulator vLLM Simulator Inference Pool
14. 構成要素 1: Kubernetes (Platform) Kubernetes (kind)
15. 構成要素 2: vLLM Simulator (軽い / ランダム応答) Kubernetes (kind) vLLM Simulator vLLM Simulator vLLM Simulator
16. 構成要素 3: agentgateway (いわゆる LB) Kubernetes (kind) agentgateway (Proxy) vLLM Simulator vLLM Simulator vLLM Simulator
17. 構成要素 4: EPP (EenpointPicker) Kubernetes (kind) agentgateway (Proxy) vLLM Simulator vLLM Simulator llm-d EPP vLLM Simulator
18. 構成要素 5: llm-d Router (Request 送信先を決める) Kubernetes (kind) agentgateway (Proxy) llm-d EPP llm-d Router vLLM Simulator vLLM Simulator vLLM Simulator
19. 構成要素 6: Inference Pool (vLLM を束ねる) Kubernetes (kind) agentgateway (Proxy) llm-d EPP llm-d Router vLLM Simulator vLLM Simulator vLLM Simulator Inference Pool
20. 構成要素 7: curl (Client) Kubernetes (kind) curl (Client) agentgateway (Proxy) llm-d EPP llm-d Router vLLM Simulator vLLM Simulator vLLM Simulator Inference Pool
21. Demo 環境概要 (再掲) Kubernetes (kind) curl (Client) agentgateway (Proxy) llm-d EPP llm-d Router vLLM Simulator vLLM Simulator vLLM Simulator Inference Pool
22. Demo https://github.com/kota2and3kan/llm-on-k8s-samples/tre e/main/llm-d-with-vllm-sim
23. まとめ
24. まとめ • ローカル環境の Kubernetes (kind) 上に LLM 基盤っぽいも のを作れた。 • vLLM Simulator は、事前に設定されたランダムな文章を返す だけであり、推論の部分の検証はできないが、とても軽いの で、インフラ周りの検証には良さそう。 • 壊しても怒られない <- 大事 • Let’s enjoy!
25. Thank you!