LLM 基盤と kagent v0 を全部 k8s に入れてみた / Deploy both LLM and kagent v0 in k8s

Transcript

1. 大事 #ochacafe LLM 基盤と kagent v0 を 全部 k8s に入れてみた 2026/11/11 Oracle Cloud Hangout Cafe Season 12 #2
2. Who am I. Name: こたつ&&みかん Account: @kota2and3kan Company: Name: Scalar, Inc. Product: - ScalarDB (Distributed Transaction Manager) - ScalarDL (Byzantine Fault Detection Middleware) Job: [Technical Support, Infra Engineer] Like: DB: [PostgreSQL, CockroachDB] Bouldering: 5Q Dislike: Real Cockroach
3. 今回の検証に利用したマニフェスト https://github.com/kota2and3kan/llm-on-k8s-samples/tre e/main/kserve-with-vllm-smollm2-135m
4. いきなりですが
5. なんと
6. 昨日
7. kagent v1.0.0 がリリース されました！！！🎉 https://kagent.dev/blog/kagent-v1-0-release
8. v0 と v1 ではアーキテクチャが 変わっているらしい...
9. が
10. 流石に今日の Demo を v1 に 変更するのは厳しい...😇
11. ので
12. 今日の内容は kagent v0 で お届けします！！！🙇
13. さて
14. 気を取り直して
15. 今日の OCHaCafe のテーマは
17. なんかおもしろそう
18. ちょっと試してみようかな
19. と思ったんですが...
20. API 課金で使える AI サービス (LLM) が手元にない...
21. 課金するか...？
22. そういえば...
23. 前回の OCHaCafe は...
24. https://ochacafe.connpass.com/event/405438/
25. なるほど
26. LLM 基盤も一緒にデプロイすれば 無課金でいける！！！
27. ということで
28. やってみました (GPU がない環境で)
29. 先に結論
30. 重い...
31. お金があるなら GPU か API に 課金した方が良い気がする...
32. でも、動きはする！
33. ということで
34. 作った環境がこちらです
35. Demo 環境概要 Kubernetes (kind) kagent agentgateway (k8s Gateway) llm-d EPP llm-d Router vLLM SmolLM2-135M Inference Pool KServe
36. 構成要素 1: Kubernetes (Platform) Kubernetes (kind)
37. 構成要素 2: agentgateway (k8s Gateway) Kubernetes (kind) agentgateway (k8s Gateway)
38. 構成要素 3: KServe (LLM Platform) Kubernetes (kind) agentgateway (k8s Gateway) KServe
39. 構成要素 4: EPP (EenpointPicker) Kubernetes (kind) agentgateway (k8s Gateway) llm-d EPP KServe
40. 構成要素 5: llm-d Router (今回は意味ないが...) Kubernetes (kind) agentgateway (k8s Gateway) llm-d EPP llm-d Router KServe
41. 構成要素 6: vLLM / SmolLM2-135M (軽い) Kubernetes (kind) agentgateway (k8s Gateway) llm-d EPP llm-d Router vLLM SmolLM2-135M KServe
42. 構成要素 7: Inference Pool (今回は意味ないが...) Kubernetes (kind) agentgateway (k8s Gateway) llm-d EPP llm-d Router vLLM SmolLM2-135M Inference Pool KServe
43. 構成要素 8: kagent (Client) Kubernetes (kind) kagent agentgateway (k8s Gateway) llm-d EPP llm-d Router vLLM SmolLM2-135M Inference Pool KServe
44. Demo 環境概要 (再掲) Kubernetes (kind) kagent agentgateway (k8s Gateway) llm-d EPP llm-d Router vLLM SmolLM2-135M Inference Pool KServe
45. Demo https://github.com/kota2and3kan/llm-on-k8s-samples/tre e/main/kserve-with-vllm-smollm2-135m
46. まとめ
47. まとめ • ローカル環境の Kubernetes (kind) 上に LLM 基盤と kagent をデプロイできた。 • SmolLM2-135M は精度が低くほぼ会話にならないが、一応 kagent を動かすことができた。 • 壊しても怒られない & 想定外の課金も発生しない <- 大事 • 重い... GPU が欲しい... (or お金がほしい) • Let’s enjoy!
48. Thank you!