Construire un LLM — Game of Life

Une exploration visuelle et simplifiée des concepts des modèles de langage : tokens, probabilités, génération, entraînement et préférences, à travers un Game of Life. Ce projet pédagogique ne constitue pas un véritable LLM. Les démonstrations interactives ne sont pas exécutables dans le PDF.

Présentation interactive canonique : https://slides.darkwood.com/slides/llm-game-of-life

Transcript

1. Slide 1 · 1/1 · représentation statique LLM Game of Life Construire un LLM Inspiré des concepts réels des LLM, ce projet propose une version visuelle et simplifiée basée sur un Game of Life. This 2-hour Stanford lecture breaks down how models like ChatGPT and Claude are actually built, clearer than what many people in top AI roles ever get exposed to. Save this and set aside two hours today. It might end up being the most valuable thing you learn all week. pic.twitter.com/5u97uZCWxd — Allen Braden (@allen_explains) April 16, 2026 01 | introduction Version interactive : https://slides.darkwood.com/slides/llm-game-of-life @matyo91
2. LLM en 30 secondes Un LLM prédit la suite. Probabilité Séquence Tokens Il choisit ce qui semble le Il avance étape par étape. Les mots sont découpés plus probable. en petits morceaux. 02 | llm @matyo91
3. Récap Les grandes idées à retenir. Tokens 03 | concepts → Probabilités → Génération → Training @matyo91
4. Training Un modèle apprend avec plusieurs signaux. Pretraining Fine-tuning RLHF Explorer beaucoup de données. Se rapprocher d'une cible. Préférer une réponse à une autre. 04 | training @matyo91
5. Transition Et si on rendait tout ça visible ? Mots → Pixels → Animation Au lieu de générer du texte, on génère une grille qui bouge. 05 | transition @matyo91
6. Projet Un LLM… mais avec des pixels. Game of Life 06 | overview Programmes Algorithme lambda génétique Frames streamées @matyo91
7. Mapping Le vocabulaire LLM devient visuel. Token Modèle 07 | mapping Cellule Programme Génération Training Frame Évolution @matyo91
8. Unsupervised Sans cible: on cherche du mouvement intéressant. Exploration Score Évolution Des programmes sont testés au hasard. Mouvement, entropie, durée de vie. Les meilleurs survivent et mutent. 08 | unsupervised @matyo91
9. Supervised Avec une cible: reproduire un motif. Glider 09 | supervised Block Beacon → Programme gagnant @matyo91
10. Préférences Version simplifiée de RLHF: comparer deux sorties. Animation A vs Animation B → On garde la meilleure Ce n'est pas un vrai RLHF. C'est l'idée, rendue visible. 10 | rlhf @matyo91
11. Streaming Chaque chunk devient une frame. NDJSON 11 | streaming → SSE → Canvas → Animation @matyo91
12. Slide 12 · 1/1 · représentation statique Live Demo Live demonstration of training and generation Démonstration externe : LLM Game of Life run viewer (consulter la version interactive). 12 | demo Version interactive : https://slides.darkwood.com/slides/llm-game-of-life @matyo91
13. Conclusion Ce projet n'est pas un LLM… mais un outil pour les comprendre. Les tokens deviennent visibles. Le training devient observable. La génération devient une animation. 13 | conclusion @matyo91