LLM en entreprise

Transcript

1. Déployer un LLM en entreprise : entre simplicité et complexité, rêve ou réalité ?
2. Programme Contexte Ollama vLLM
3. Pourquoi les entreprises veulent- elles déployer un LLM en interne ?
8. Vos entreprises utilisent des LLM ?
12. Mythes vs Réalités du déploiement des LLM
13. "Déployer un LLM est aussi simple que d’appeler une API OpenAI" "C’est trop complexe, seules les Big Tech peuvent le faire"
14. Ça dépend.
15. Deux approches
16. Ollama
17. Un “moteur” ultra simple pour exécuter des LLM en local.
18. Confidentiel et sécurisé par nature.
19. Installation simple, nombreux modèles à disposition $> ollama run deepseek-r1:14b
20. Des outils OpenSource pour une expérience “ChatGPT Like” https://github.com/open-webui/open-webui
22. Un RAG* en local ? $> docker run -p 8000:8000 ragapp/ragapp * retrieval augmented generation, génération augmentée de récupération + =Chatbot spécialisé
24. Un GitHub Copilot en local ? * retrieval augmented generation, génération augmentée de récupération +
26. vLLM
27. Un “moteur” d’inférence conçu pour maximiser les performances des LLM sur GPU.
28. Pourquoi vLLM plutôt qu’Ollama ? ✅ Haute performance : Débit élevé grâce à PagedAttention (plusieurs requêtes en parallèle). ✅ Support multi-GPU : Permet de déployer de grands modèles (70B+). ✅ Compatibilité API OpenAI : Facile à intégrer avec des applications existantes.
31. C’est bon pour les GPUs Aujourd’hui, à 15h00
34. Alors ? Et vous ?
35. Yoan Bernabeu Youtubeur & Freelance Lead Dev Backend chez Farmidable x SeineYonne https://go.yoandev.co