Marco Wagner https://speakerdeck.com/pacman1988 2026-10-15 03:09:22 -0400 Ollama im Keller, vLLM im Serverraum – lokale KI im Unternehmen Wie betreibt ein Unternehmen Open-Weights-Modelle auf eigener Hardware und bietet sie über eine OpenAI-kompatible API an? Der Vortrag zeigt den Weg von Ollama und LM Studio für lokales Entwickeln bis zu vLLM als zentralem Serving-Dienst für viele Nutzer. Themen: Open Weights und Modellnamen, Dense vs. MoE, Quantisierung (FP8/FP4), Continuous Batching, Benchmarks auf dem NVIDIA DGX Spark (GB10, 128 GB Unified Memory) sowie der Betrieb mit Hugging Face, Docker und den wichtigsten vLLM-Startparametern. https://www.linkedin.com/in/marco-wagner-551562b2 Wie betreibt ein Unternehmen Open-Weights-Modelle auf eigener Hardware und bietet sie über eine OpenAI-kompatible API an? Der Vortrag zeigt den Weg von Ollama und LM Studio für lokales Entwickeln bis zu vLLM als zentralem Serving-Dienst für viele Nutzer. Themen: Open Weights und Modellnamen, Dense vs. MoE, Quantisierung (FP8/FP4), Continuous Batching, Benchmarks auf dem NVIDIA DGX Spark (GB10, 128 GB Unified Memory) sowie der Betrieb mit Hugging Face, Docker und den wichtigsten vLLM-Startparametern. https://www.linkedin.com/in/marco-wagner-551562b2 Thu, 15 Oct 2026 00:00:00 -0400 https://speakerdeck.com/pacman1988/ollama-im-keller-vllm-im-serverraum-lokale-ki-im-unternehmen https://speakerdeck.com/pacman1988/ollama-im-keller-vllm-im-serverraum-lokale-ki-im-unternehmen