@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Systèmes distribués, pour le meilleur et pour le pire Sébastien Lecacheur 🏢 Odigo 📅 21/11/24 ⌚ 10h50 📍 Codeurs En Seine 🚪 Salle C

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Ma première application

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Une application de nos jours

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems 💙 Les systèmes distribués 💔

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Qu’est-ce qu’un système distribué ? A collection of independent computers that appear to its users as one computer — Andrew Tanenbaum (CS865 – Distributed Software Development) http://csis.pace.edu/~marchese/CS865/Lectures/Chap1/Chapter1a.htm

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Pourquoi ?

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Raisons principales ● Performance ○ capacité de traitement ○ latence selon la localisation ● Scalabilité horizontale (serveur++) > verticale (CPU++ RAM++) ○ nombre d’utilisateurs ○ nombre de requêtes ○ volume de données ● Fiabilité ○ temps d’indisponibilité ○ durabilité des données

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Raisons secondaires ● Les coûts ○ petits serveurs < gros serveurs 💸 ● Organisation des équipes ○ cycles de vie différents ○ technologies différentes ● Modularité & flexibilité ○ chaque sous-partie peut être changée ● Entrepôts partagés

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Les bénéfices

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Avantages directs ● Répartition de charge & élasticité ● Haute disponibilité

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Avantages indirects ● Évolutivité ● Innovation

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Les difficultés

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Reliability vs Resiliency Fiabilité (reliability) “capacité à éviter les échecs” Tolérance aux pannes (resiliency) “capacité à résister aux échecs”

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Les 8 fausses idées sur les systèmes distribués 1. Le réseau est fiable ❌ 2. La latence est nulle ❌ 3. La bande passante est infinie ❌ 4. Le réseau est sécurisé ❌ 5. La topologie ne change pas ❌ 6. Il y a un seul administrateur ❌ 7. Le coût de transport est nul ❌ 8. Le réseau est homogène ❌ — L. Peter Deutsch , 1994 https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Application simple 💡 Pourquoi pas SQLite ? 💡 Connexions persistantes 💡 Pool de connexions

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Répartition de charge ⚠ Stateless, sticky session ou affinité ⚠ Healthchecks live/ready

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Le réseau a un coût

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Qui a dit le “cache” ? There are only two hard things in computer science: cache invalidation and naming things . — Phil Karlton

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Le réseau a un coût Cache local Cache distant ⨯ Incohérence ⨯ Latence réseau 💡 Cache mémoire de la DB ⚠ Random jitter

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Cache HTTP ● Serveur ○ Server Side Rendering -> cache total ou partiel ○ CDN local ou à 2 niveau ● Client ○ Cache-Control / Expires -> évite les requêtes ○ ETag -> réduit le volume de données

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Le réseau n’est pas fiable

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Tout peut tomber en panne « Everything Fails All the Time. » — Werner Vogels , CTO, Amazon

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Communication synchrone > Timeout 💡 Tout limiter dans le temps et l’espace

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Communication synchrone > Retry ⚠ Idempotence

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Communication synchrone > Exponential Backoff 💡 Mode dégradé

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Communication synchrone > Circuit Breaker

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Communication asynchrone

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Stockage des données

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Base de données par service

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Réplicas de lecture 💡 Facile sur les apps en lecture seule 💡 Un réplica peut prendre le relais du principal ⚠ performance vs durabilité

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Distribution de la donnée ● Sharding ● Consistent hashing 💡 Choisir la bonne clé pour une distribution uniforme ⚠ Pas de requête multi-partitions

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Cohérence des données

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Outbox pattern ⚠ Idempotence

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Transactions ACID

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Two-Phase Commit

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems SAGA / Long Running Actions ⚠ Compenser le service en erreur ⚠ Réessayer ⚠ Idempotence

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Modifications concurrentes ● HTTP Headers ○ Last-Modified + If-Unmodified-Since ○ ETag + If-Match ● Compare And Swap (CAS) ● Delta

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Le serveur de temps ● Messages de log ● Données horodatées ● Signatures d’authentification ● Validité de certificats ● Négociation TLS 💡 Utiliser un seul fuseau horaire 🥇 Configurer NTP !!

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Monitoring & observabilité ● Logs centralisés ● Topologie des composants et du réseaux -> déclaration découverte ● Traces distribuées, métriques et logs -> OpenTelemetry (OTel)

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Activité des clients ● Quota, rate limiting ● Message queue ● Isolation des tenants

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Activité des clients internes ! ● Quota, rate limiting ● Message queue ● Isolation des tenants

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Aller plus loin ● Thèmes non abordés ○ Tests & mocks ○ SLI, SLO & SLA ● Ressources (bibliographiques) ○ Livres 📚 ■ Patterns of Distributed Systems ■ Distributed Systems (4th edition) ○ Sites 🌐 ■ https://martinfowler.com/articles/patterns-of-distributed-systems/ ■ https://github.com/donnemartin/system-design-primer ■ https://medium.com/israeli-tech-radar/design-patterns-and-principles-that-support-larg e-scale-systems-f3c9adf89ad

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Ce qu’il faut retenir Le cache 💔 Le réseau 👿 Un terrain de jeux 🎉 Une panne inévitable 💥 Une conception complexe 🤯 Est-ce vraiment nécessaire ? 🤔

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Conclusion Distributed systems are never "up" ; they exist in a constant state of partially degraded service. Accept failure, design for resiliency, protect and shrink the critical path. — Charity Majors , CEO, Honeycomb https://opensource.com/article/17/7/state-systems-administration

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Merci

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Questions & réponses

@slecache .bsky.social #Codeurs2024 #architecture #DistributedSystems Ressources ● Google font : Architects Daughter ● Flaticons: black hand drawn