SQLite en production ? Et si vous réévaluiez vos options ?

Transcript

1. SQLite en production ? Et si vous réévaluiez vos options ?
2. Salutations
3. Bien le bonjour Guillaume Loulier aka Guikingone Développeur chez SensioLabs Apprécie surtout PHP et Rust, parfois Go A hésité à faire ce talk, l’a fini dans le train
4. Sommaire 01 - Flemmardise et lenteurs 02 - SQLite ? 03 - Vers la production et au-delà 04 - Et demain ? 01
5. “ Tout ce que nous entendons est une opinion et non un fait. Tout ce que nous voyons est une perspective et non la vérité.” Moment philosophie Marc Aurèle
6. Flemmardise et lenteurs
7. Schématisons Base de données Cache Application Worker Infrastructure Réseau
8. Climbing the ladder Infrastructure Application Worker Worker Base de données Cache Réseau Application
9. Nage synchronisée Infrastructure Application Worker Base de données Cache Réseau Application Worker Base de données Cache
10. Servermore ? Infrastructure Application Worker Réseau Base de données Cache Base de données Cache Application Worker Application Worker Application Worker
11. Oui mais tu veux en venir où ?
12. Soyons transparents Qui se soucie des règles d’Edgar F. Codd ? Au fond, une BDD n’est qu’un empilement de couches Quid des ressources ? De l’infrastructure ? La mise en réseau ? Sharding ? Plait-il ?
13. Servermore ? Infrastructure Réseau Application Worker DB Cache Application Worker DB Cache Application Worker DB Cache
14. SQLite ?
15. Rappel historique Projet lancé en août 2000 par Richard Hipp Conçu pour résoudre un problème logiciel introduit par IBM Concurrent de fopen et non d’Oracle / MySQL / etc (Ré)inventer la roue pour la rendre plus résiliente
16. La rolls-royce des DB ? Environ ~150K ligne de code (> 600K pour PostgreSQL, ~2M pour MySQL) Résistant à la charge (> 10 mds lecture / J) Besoin d’un cache ? D’un filesystem ? Portable entre architecture (32 / 64 bits)
17. Clair, simple, précis SQLite stocke les données via 5 types (Null, Integer, Real, Text, Blob) SQLite se veut flexible mais supporte les tables strictes (> 2021)
18. Vendez-moi ce stylo Avantages Inconvénients Rapide, léger, “serverless par conception” Complexe à mettre à l’échelle Supporte la majorité des specs SQL Quelques manquements / biais Aucun appel réseau Notion de cluster / réplication inexistante Très peu de dépendances système Extensibilité “complexe” (API en C) Peut gérer jusqu’à 281 terabytes Résilience “relative” Aucune configuration requise Liée à son langage / processus d’usage
19. Vers la production et au-delà
20. “ ACID ? Pourquoi s’en soucier ? J’ai un SRE”
21. Corrompre sans s’étaler SQLite stocke via un format de “page” de 4kb, chaque page contenant un B-Tree SQLite utilise une journalisation et / ou une approche WAL Mécanisme de lock natif pour éviter les conflits Une action a lieu ou n’a pas lieu
22. symfony_demo.sqlite symfony_demo.sqlite-journal Page I Page II Page III Headers N° de page Page III (copie) Checksum
23. “Moi, j’ai entendu dire que SQLite, c’était peu adapté aux environnement concurrentiels [...]” Dev, 16e siècle
24. L’attaque des logs Journalisation ? Non, Write Ahead Log Ecrire, vérifier, synchroniser, renvoyer Plus efficient en écriture / discutable en lecture Facilement récupérable en backup
25. La saison des salaisons symfony_demo.sqlite Page I Page II Page III Page III (modifiée) symfony_demo.sqlite-wal Headers Taille de page salt checksum
26. “Oui mais si le serveur tombe, la DB tombe avec, tu n’as pas de solution à cette situation ? Si ?”
27. Hold my bucket SQLite ne gère pas la corruption ou le backup de façon automatisée Et si “S3” était une solution ? Synchroniser en asynchrone
28. Schématisons Page I Page II Page III Litestream symfony_demo.sqlite s3://bucket.host:port/sf.db litestream replicate symfony_demo.sqlite s3://bucket.host:port/sf.db Fichier wal
29. Soyons honnêtes Une disponibilité au-delà de 99.99% est contreproductive et coûteuse S3 se dit disponible 99.99999999999% du temps, pour quel usage ? Vous ne contrôlerez jamais le chat / chien de votre client Visez 99.99% et adaptez-vous
30. Et demain ?
31. Vers l’infini et peut-être au-delà SQLite n’est pas une “silver-bullet” SQLite ne résoudra pas vos problèmes de performances SQL De par son approche, SQLite reste relativement fermé Le web évolue, SQLite devra évoluer
32. “Mais in fine, je me sers de SQLite quand ?”
33. Concluons Soyez pragmatiques, si votre application marche, laissez-là en l’état Commencez petit et montez en taille au besoin Microservices ? Edge computing ? Serverless ? Doctrine est votre ami
34. Des questions ?