Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Cache-moi si tu peux : patterns et pièges du ca...

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →

Cache-moi si tu peux : patterns et pièges du cache en production

"On va mettre un cache, ça ira plus vite." Cette phrase a déjà coûté des nuits blanches à bien des équipes.

Le cache est souvent introduit comme une "optimisation" rapide à mettre en place. En réalité, il transforme profondément le comportement d'un système : cohérence éventuelle, données obsolètes, effets de bord distribués... et bugs impossibles à reproduire. Aujourd'hui, ces mêmes défis réapparaissent dans les architectures intégrant des LLMs, avec l'émergence de modèles comme le semantic caching.

Partons ensemble pour un voyage pragmatique dans le monde du cache :

- ce qu'est réellement un cache (et ce qu'il n'est pas),
- les principaux patterns de caching et leurs compromis,
- les anti-patterns classiques qui transforment une application rapide en cauchemar opérationnel,
- un arbre de décision pour choisir la bonne stratégie.

Cette session vous donnera les outils pour construire des systèmes rapides et prévisibles, et vous aidera à ne plus jamais considérer le cache comme un simple détail d'implémentation.

Sébastien LECACHEUR

November 19, 2026

Transcript

68 slides
  1. Cache -moi si tu peux : patterns et pièges du

    cache en production Sébastien Lecacheur 🏢 Matmut 19/11/26 ⌚ 16h30 📍 Codeurs en Seine 🚪 Salle C @slecache.com .bsky.social #CODEURS2026 #cache
  2. “On va juste mettre un cache , ça ira plus

    vite .” @slecache.com .bsky.social #CODEURS2026 #cache
  3. “There are only two hard things in computer science: cache

    invalidation and naming things .” — Phil Karlton @slecache.com .bsky.social #CODEURS2026 #cache
  4. Anomalies seulement en production • 💥 Symptômes ◦ • 🏞

    Contexte ◦ ◦ • Bug aléatoire en recette ou production Application OK en dev et intégration Tests automatiques au vert 🔎 Analyse ◦ ◦ Cas 1 : Cache pas activé en développement -> bug lié au cache Cas 2 : Cache local avec une seule instance en dev et plusieurs en recette -> caches désynchronisés @slecache.com .bsky.social #CODEURS2026 #cache v?
  5. Un plantage à retardement • 💥 Symptômes ◦ • 🏞

    Contexte ◦ ◦ ◦ • Erreurs 500 en production Migration d’une app et templating PHP 5 vers PHP 7 Développement OK Mise en production OK 🔎 Analyse ◦ ◦ Le cache des templates compilés invalidé juste avant l’incident Bug non détecté en développement -> impossible de compiler certains templates @slecache.com .bsky.social #CODEURS2026 #cache
  6. Redémarrage impossible • 💥 Symptômes ◦ ◦ • 🏞 Contexte

    ◦ ◦ • Application qui n’arrive pas à redémarrer Redémarrage en boucle des instances Données invalides dans le cache Pas de procédure d’invalidation 🔎 Analyse ◦ ◦ ◦ ◦ Cache local et distribué -> redémarrage massif pour invalider Volume de données trop long à charger au démarrage quand le cache est vide Source de données sous pression et lente Démarrage qui plante ou tombe en timeout @slecache.com .bsky.social #CODEURS2026 #cache
  7. Désindexation des moteurs de recherche • • • 💥 Symptômes

    ◦ Pages déréférencées ◦ ◦ ◦ Gros catalogue produit en ligne Du cache à tous les niveaux Temps de chargement <100 ms si cache sinon ~2-3 s voire +10 s ◦ ◦ ◦ Caches invalidés après chaque mise à jour du catalogue Premiers chargements lents Si chargement initié par un indexeur, alors timeout et donc pénalisation voire désindexation 🏞 Contexte 🔎 Analyse “Ca plante en recette. — C’est normal. Attends que le cache chauffe…” @slecache.com .bsky.social #CODEURS2026 #cache
  8. Fuite de données personnelles • • • 💥 Symptômes ◦

    Tous les utilisateurs ont le même nom ◦ ◦ Site web avec du cache du HTML pré-généré Cache seulement pour les fragments partageables ◦ ◦ Evolution pour ajouter une donnée personnelle dans un composant “cachable” Tout le monde avait le nom du premier utilisateur à charger une page 🏞 Contexte 🔎 Analyse @slecache.com .bsky.social #CODEURS2026 #cache
  9. Définition Un cache est un composant matériel ou logiciel qui

    stocke temporairement des données , afin d'accélérer les accès futurs à ces mêmes données. — Wikipedia https://en.wikipedia.org/wiki/Cache_(computing) @slecache.com .bsky.social #CODEURS2026 #cache
  10. Pourquoi ? • Il sert à éviter des calculs ou

    lectures répétées depuis une source plus lente. • Il améliore la rapidité d'accès grâce à la conservation locale des informations fréquemment utilisées. • Il implique des compromis sur la taille, la cohérence et la gestion de l'obsolescence des données. https://en.wikipedia.org/wiki/Cache_(computing) @slecache.com .bsky.social #CODEURS2026 #cache
  11. 3 raisons principales d’utiliser un cache 1. Temps de réponse

    ⏱ 2. Coût des traitements 💸🍃 3. Capacité de traitement ⚙ @slecache.com .bsky.social #CODEURS2026 #cache
  12. Du cache partout ! 1) En mémoire de la DB

    -> éviter les accès disques et calculs 2) Distant entre l'app et la DB 3) En mémoire sur l'appli -> éviter les connexions et requêtes DB -> éviter les appels réseaux en backend 4) Sur un CDN -> réduire le temps de réponse utilisateur et éviter de solliciter les backends 5) Dans le navigateur -> éviter les appels réseaux en frontend @slecache.com .bsky.social #CODEURS2026 #cache
  13. Accès à la donnée • Clé dans une base clé/valeur

    ◦ ◦ ◦ • Identifiant technique/fonctionnel Construit par l’application Exemples ▪ cache.set('user-1234',user) ▪ cache.get('user-1234') ▪ cache.get('all-currencies') Requête via un proxy ◦ ◦ ◦ Client ou serveur Exemples ▪ proxy.query('SELECT * FROM users WHERE id=1234') ▪ proxy.request('https://api.example.org/v1/users/1234') 💡 scope de la requête pour éviter les appels doublons @slecache.com .bsky.social #CODEURS2026 #cache
  14. Métriques & indicateurs • • • Cache miss : absente

    du cache Cache hit : présente dans le cache Temps de réponse du cache => Cache Hit Ratio (CHR) hits / (hits + misses) @slecache.com .bsky.social #CODEURS2026 #cache
  15. Les compromis Choisissez-en deux, jamais trois ! Exemples • •

    • stocks -> P+F devises -> P+S solde bancaire -> F+S @slecache.com .bsky.social #CODEURS2026 #cache
  16. Les 3 questions clés • Que se passe-t-il si le

    cache est vide ? ◦ ◦ • Que se passe-t-il si le cache est faux ? ◦ ◦ ◦ • cache-miss -> latence plus élevée fallback stale data ou cache poisoning bug tolérance à l’obsolescence ou invalidation Qui est responsable de l'invalidation ◦ ◦ ◦ ? qui, quand et comment ? stratégie : TTL, événement ou manuelle principale source des problèmes en production @slecache.com .bsky.social #CODEURS2026 #cache
  17. Local vs distant Modèle Avantages Local (in-memory) • • Très

    rapide Très simple • • • • • Consommation mémoire Incohérence Capacité limitée Taux de hit réduit Volatile Local (réseau) • • • Peu de latence Incohérence réduite (Semi-)Persistant • Nouvel élément dans l’infrastructure Distant • • • • Meilleur taux de hit Cohérence Scalable (Semi-)Persistant • • Plus lent Infrastructure plus complexe @slecache.com .bsky.social Inconvénients #CODEURS2026 #cache
  18. Caractéristiques des patterns Quand ? Comment ? • A la

    lecture (read) • A l’écriture (write) • Pré-chargement (prefetching) • A intervalles réguliers • Par l’application (aside) • Par le cache (inline) • Par un processus dédié @slecache.com .bsky.social X #CODEURS2026 #cache
  19. Cache aside ⚠ Double peine si le cache est en

    panne. 💡Application en service même quand stockage en panne @slecache.com .bsky.social #CODEURS2026 #cache
  20. Comparatif des patterns Attributs Avantages Inconvénients Read Consomme que le

    nécessaire Cache miss lent Obsolescence de la donnée Write Pas de cache miss Cohérence des données Chargement initial pas évident Charge toutes les données Prefetching Pas de cache miss Cohérence des données Charge toutes les données Aside Universel Découplé Plus de contrôle Complexité dans l’application Inline L’application reste simple Disponibilité Couplage avec une solution tiers @slecache.com .bsky.social #CODEURS2026 #cache
  21. Invalidation vs Éviction “Tout limiter dans le temps et l’espace.”

    Invalidation Eviction Motivation Cohérence Capacité Déclencheur Modification de donnée TTL, contrainte mémoire Initiateur Application, métier Système, infrastructure Résultat Donnée retirée car périmée Donnée retirée pour faire de la place @slecache.com .bsky.social #CODEURS2026 #cache
  22. Contre-mesures • • • • • Random jitter sur le

    TTL -> aléatoire Request coalescing (Single flight) -> file d’attente Stale While Revalidate (SWR) -> données obsolètes Circuit breaker -> protection de la source Warm-up -> préchargement @slecache.com .bsky.social #CODEURS2026 #cache
  23. Les anti-patterns • • • • • Un cache devant

    tout ◦ ◦ ◦ complexité inutile incohérences surcoût de maintenance ◦ données obsolètes trop vite ou trop lentement et donc incohérences ◦ ◦ ◦ incohérences invalidations imprévues fuites de données ◦ ◦ surcharge de la source d'origine ralentissements ou pannes ◦ problèmes non détectés : cache non utilisé, taux de hit/miss anormal, saturation mémoire Même TTL partout (par facilité ou habitude) Cache partagé entre services non coordonnés Cache sans stratégie de warm-up (thundering herd ou dogpile) Pas de monitoring du cache @slecache.com .bsky.social #CODEURS2026 #cache
  24. La nature des données Critère Haute priorité Basse priorité Critiques

    ? Données sensibles (paiement, santé, sécurité) Données non sensibles (stats, listes) Souvent modifiées ? Changent en continu Stables dans le temps Partagées entre services ? Plusieurs services/instances Une seule source (instance) Acceptables si obsolètes ? Non, cohérence requise Oui, staleness tolérable @slecache.com .bsky.social #CODEURS2026 #cache
  25. Exemples Scénario Caractéristiques Recommandation Durée de vie Pattern Données de

    référence Non critiques, rarement changées, partagées, obsolescence acceptable Cache local Long (15min-1h+) Cache-aside Données utilisateur critiques Critiques, modifiées souvent, pas partagées Pas de cache N/A Accès direct Configuration / metadata Non critiques, jamais changées, partagées Cache distribué Très long Read-through Stock / inventaire Critiques, modifiées très souvent, partagées Cache distribué + invalidation événementielle Court (5-30s) Write-through Résultats de recherche Non critiques, modifications rares, partagées Cache local + TTL Moyen (5-15min) Cache-aside @slecache.com .bsky.social #CODEURS2026 #cache
  26. Exemples Scénario Caractéristiques Recommandation Durée de vie Pattern Données de

    référence Non critiques, rarement changées, partagées, obsolescence acceptable Cache local Long (15min-1h+) Cache-aside Données utilisateur critiques Critiques, modifiées souvent, pas partagées Pas de cache N/A Accès direct Configuration / metadata En cas de doute : pas de cache d'abord, puis ajouterCache si nécessaire. Non critiques, jamais changées, distribué Très long partagées Read-through Stock / inventaire Critiques, modifiées très souvent, partagées Cache distribué + invalidation événementielle Court (5-30s) Write-through Résultats de recherche Non critiques, modifications rares, partagées Cache local + TTL Moyen (5-15min) Cache-aside @slecache.com .bsky.social #CODEURS2026 #cache
  27. Bonnes pratiques • • • • • • • •

    • • Définir un timeout (court) Fallback quand le cache tombe Versionner les clés pour les montées de version Pas d'informations personnellement identifiables (PII) Définir un scope : préfixe et des droits d’accès sur les clés Métriques et monitoring Random jitter (cf. thundering herd ou dogpile) Documenter (ADR + inventaire des cas d’usage) Tests avec cache désactivé et activé , vide et chargé Chaos engineering sur le cache @slecache.com .bsky.social #CODEURS2026 #cache
  28. Quand la clé n'existe plus : le cache à l'ère

    des LLMs Les LLMs (et les embeddings) rendent le cache traditionnel fragile. @slecache.com .bsky.social #CODEURS2026 #cache
  29. Le problème • • • Requête 1 : "Quel est

    le salaire moyen ?" Requête 2 : "Quel est le salaire moyen?" Requête 3 : "À combien s'élève le salaire moyen ?" => Clés/requêtes différentes → Cache miss → Triple calcul/appel API Impact économique : Coûts API triplés, latence augmentée. @slecache.com .bsky.social #CODEURS2026 #cache
  30. L’idée : le semantic caching Cacher non pas par la

    clé exacte , mais par la similarité du sens (sémantique) : 1. 2. 3. 4. Utiliser les embeddings (vecteurs de représentation sémantique) Comparer les requêtes par similitude vectorielle (cosine similarity) plutôt que par égalité exacte Stocker le résultat associé au vecteur Nouvelle requête similaire ? Servir le résultat du cache. @slecache.com .bsky.social #CODEURS2026 #cache
  31. Points clés • • • • Cache HIT : ~X

    ms (embedding + recherche HNSW + cache lookup) Cache MISS : ~X s (embedding + recherche HNSW + appel LLM + stockages) UUID comme lien : jointure Vector DB et Cache Pas de duplication : le vecteur de la requête courante ne se stocke QUE si c'est un MISS. @slecache.com .bsky.social #CODEURS2026 #cache
  32. Cas d’usage principal : chatbot interne Requête utilisateur A: "Comment

    changer son mot de passe ?" → Embedding + Semantic search → ✗ Not found → Appel API LLM → Résultat stocké en cache Requête utilisateur B: "Je veux changer mon password." → Embedding + Vérifier similarité (cosine similarity > 0.85) → ✓ Match! → Retourner le cache @slecache.com .bsky.social #CODEURS2026 #cache
  33. Cas d’usage secondaires • • • LLM API calls directes

    : Cacher les réponses de Claude/ChatGPT quand la requête est équivalente Recherche d'articles similaires : Éviter ré-indexer des documents quasi-identiques Recommandations : Cacher les suggestions pour des requêtes proches @slecache.com .bsky.social #CODEURS2026 #cache
  34. Défis & pièges • • • • • Qualité de

    l'embedding : Mauvais embeddings → mauvaise similarité → cache inefficace Seuil de similarité (0,85-0,95) : Trop haut (rigidité), trop bas (cache invalide) Coût des embeddings : Générer et comparer des embeddings a aussi son coût Hallucination cachée : Une mauvaise réponse reste en cache plus longtemps Gestion de l'invalidation : TTL ou événement ? Plus complexe qu'avant Règle d'or : Semantic cache est utile seulement si le coût des embeddings < coût des appels LLM . @slecache.com .bsky.social #CODEURS2026 #cache
  35. Bonnes pratiques pour le semantic caching • • • •

    • Mesurer la similarité réelle : Logger tous les matchs/misses Tester votre seuil : Vérifier le seuil sur des requêtes de production réelles Approche hybride : Exact match d'abord, semantic cache en seconde passe Génération périodique : Re-générer embeddings pour tenir compte de l'évolution du modèle Monitoring : Hit ratio, latence, temps de génération des embeddings @slecache.com .bsky.social #CODEURS2026 #cache
  36. “On va juste mettre un cache , ça ira plus

    vite .” @slecache.com .bsky.social #CODEURS2026 #cache
  37. Avant de l'ajouter, posez-vous 3 questions • • • Que

    se passe-t-il si le cache est vide ? → Définissez votre fallback. Que se passe-t-il si le cache est faux ? → Définissez votre tolérance à l'obsolescence. Qui invalide ? → Désignez un responsable. Dès maintenant ! @slecache.com .bsky.social #CODEURS2026 #cache
  38. Le cache Bien utilisé, c'est votre meilleur allié . Mal

    utilisé, c'est une bombe à retardement silencieuse. @slecache.com .bsky.social #CODEURS2026 #cache
  39. En cas de doute : pas de cache d'abord .

    Ajoutez-le quand vous savez pourquoi vous en avez besoin. @slecache.com .bsky.social #CODEURS2026 #cache
  40. Et si vous ne pouvez pas répondre aux 3 questions

    ? Vous n'êtes pas encore prêt à cacher . @slecache.com .bsky.social #CODEURS2026 #cache
  41. Aller plus loin • Thèmes non abordés 📝 ◦ ◦

    ◦ • Outils 🧰 ◦ • Sharding Cache poisoning LRU, LFU, FIFO sentences-transformers + all-MiniLM-L6-v2 Ressources (bibliographiques) 🌐 ◦ ◦ Offline cookbook : https://jakearchibald.com/2014/offline-cookbook/ A Hitchhiker’s Guide to Caching Patterns : https://hazelcast.com/blog/a-hitchhikers-guide-to-caching-patterns/ @slecache.com .bsky.social #CODEURS2026 #cache
  42. Ressources • • • Google font : Architects Daughter JetBrains

    Mono Font Flaticons: black hand drawn @slecache.com .bsky.social #CODEURS2026 #cache

More Decks by Sébastien LECACHEUR

Other Decks in Programming