Redis

Redis

Transcript

1. Redis Comment ça marche
2. Sommaire Introduction à Redis Redis pour GTask Redis pour les logs
3. Redis “ Remote Dictionary Server “ ! Wikipedia: Redis is an open-source, networked, in-memory, key-value data store with optional durability.
4. Redis
5. Redis Key-Value store Une clé = une valeur Valeur = objet simple ou complexe Liste, Hash, objets triés , abonnement à un évènement, TTL, Top 100 … !SQL : pas d’index*, pas de procédures, pas de trigger … Redis is an open-source, networked, in-memory, key-value data store with optional durability.
6. "Key-Value store"
7. Redis Networked Architecture distribuée ( cluster ) Notion de master/slave Scalabilité ( ajout de slave ) Replication ( plusieurs copies des données ) Redondance ( lecture sur plusieurs slaves ) Redis is an open-source, networked, in-memory, key-value data store with optional durability.
8. "Networked" Replication Modèle Semi-Synchrone
9. Redis In memory données en mémoire très rapide en lecture/écriture si besoin, écriture sur disque toutes les x sec Redis is an open-source, networked, in-memory, key-value data store with optional durability.
10. "In memory"
11. Redis Concurrence (Single Thread) Supporte les transactions Configuration simple Supporte Windows (Azure) / Linux Language de Scripts Lua
12. Redis Quelques commandes : Set/Get/Delete Push/Pop Increment/Decrement/Count Quelques commandes COOL :-) Block pop PopAndPush (dans une autre liste) Pub/Sub
13. Redis Cas d'utilisation Queue de traitement Cache Données en mémoire
14. GTask
15. GTask Outils de gestion de tâches: génération de pdf ( document, revue de presse), email, sauvegarde HTML besoin de vitesse de traitement besoin de système de queue besoin de Load-Balancing besoin de scalabilité
16. GTask Redis (Master) Redis (Slave) PU-01 PU-02 PU-03 PU-04 WEB-01 WEB-02 Redis Elastic search Logs
17. GTask Client demande un document Pdf demande écrite dans Redis (Queue) 1 PU à l’écoute prend la tâche ( évènement ) Tâche exécuté par un "Worker" Réponse dans Redis et/ou Client
18. Redis - Script LUA Language de script pour étendre Redis Ajout de règles Business Ajout de traitement entre plusieurs listes Ajout d’outils de configuration
19. Redis - Script LUA Language simple et vastement utilisée dans l'industrie Code de script combine les commandes de LUA + les commandes de Redis Un script LUA dans Redis = 1 transaction Script reste dans la memoire de Redis et appelé par un ID ("hash")
20. Redis - Script LUA Utilisation pour gérer les appels à plusieurs structures de Redis dans une transaction optimiser le temps de requête-réponse entre serveur Redis et serveur/client utilisant Redis - la plupart de requêtes de GTask se passe dans un seul appel à Redis
21. Gestion de logs
22. Logs Besoins de recevoir des logs, de les traiter, de les stocker dans un endroit centralisés pour y accéder ou faire des rapports Besoin de vitesse Besoin de traiter un gros volume Besoin de scalabilité Besoin de Load-Balancing
23. Redis Logstash WEB-01 WEB-02 WS-01 PU-01 PU-02 ES-01 ES-02 Elastic search vm-plog-01 Redis
24. Log"stash" Redis : Queue de logs Logstash: outil de traitements de logs qui dans notre cas utilise Redis connecté à Redis en mode "BlockPop" Etalement du traitement des logs Possibilité de Load-balancing
25. Kibana