https://speakerdeck.com/akn08 2026-09-08 00:52:27 -0400 こちらは2026年8月27日開催のKubernetes Novice Tokyo #41セッション枠にて発表した内容になります。 本セッションでは、vLLMをKServeでKubernetes上にデプロイし、Qwen3.8-27B-FP8をAPIとして提供し、実推論までを検証した過程を紹介します。 さらに、複数PodでLLMを提供する場面を想定し、llm-dによるルーティング構成と、その動作も確認しました。 LLM Servingでは、Podごとの待ち行列やKV Cacheの状態によって、同じリクエストでも処理速度が変わります。通常のServiceは接続先を選べても、LLM内部の状態までは判断できません。llm-dは、Queue・KV Cache・Prefix Cacheなどの状態を基に推論先を選びます。本セッションでは、vLLM・KServe・llm-dの役割分担と、LLM Servingを次の段階へ進める考え方を紹介します。 こちらは2026年8月27日開催のKubernetes Novice Tokyo #41セッション枠にて発表した内容になります。 本セッションでは、vLLMをKServeでKubernetes上にデプロイし、Qwen3.8-27B-FP8をAPIとして提供し、実推論までを検証した過程を紹介します。 さらに、複数PodでLLMを提供する場面を想定し、llm-dによるルーティング構成と、その動作も確認しました。 LLM Servingでは、Podごとの待ち行列やKV Cacheの状態によって、同じリクエストでも処理速度が変わります。通常のServiceは接続先を選べても、LLM内部の状態までは判断できません。llm-dは、Queue・KV Cache・Prefix Cacheなどの状態を基に推論先を選びます。本セッションでは、vLLM・KServe・llm-dの役割分担と、LLM Servingを次の段階へ進める考え方を紹介します。 Tue, 08 Sep 2026 00:00:00 -0400 https://speakerdeck.com/akn08/kserve-de-hajimeru-llm-serving-vllm-kara-llm-d-made https://speakerdeck.com/akn08/kserve-de-hajimeru-llm-serving-vllm-kara-llm-d-made