Transformer vos logs en insights avec ELK

Les logs sont une mine d’informations. Cependant, les transformer en métriques faciles à comprendre peut s'avérer une tâche ardue : chaque application a une structure de log différente, elles sont souvent décentralisées, les formats de timestamp sont divers et variés et les analyser nécessite souvent une expertise technique. Avec la stack ELK - ElasticSearch, Logstash et Kibana, je vous montrerai que faire parler vos logs n'est plus qu'un jeu d'enfant !

Transcript

1. Transformer vos logs en insights avec ELK par @leonardo_noleto
2. Moi :-) #DataScience #MachineLearning #Python #R #Java hello@leonardonoleto.com
3. Pourquoi s’intéresser aux logs ? Répondre à des questions business*
4. Pourquoi les logs ? Les logs sont au coeur de tous les systèmes
5. Pourquoi les logs ? • Une mine d’informations ◦ techniques : temps de réponse, vitalité du système, code erreurs, etc ◦ fonctionnelles : achats concrétisés, combien et durée,etc ◦ analytiques : présentation pub, clic ou pas, etc
6. Mais... • Chaque application a une structure différente • Horodatage avec différents formats • Décentralisées (ssh + grep ?) • Expertise pour les lire
7. Comment faire parler vos logs ?
8. OK
10. ELK Stack
11. Logstah • Multiples entrées/sorties • Collecte • Parse • Sauvegarde/Forward
12. Logstah http://logstash.net/docs/1.4.2/
13. ElasticSearch • Moteur de recherche • Schema Free/Schema-Less • Stockage en JSON • Distribué (scale up+out) • Real time data • Lucene
14. Kibana • Visualiser les logs (et données horodatées)
15. Architecture
16. Architecture Fichier, Syslog Logstash Elasticsearch Kibana
17. du live !
18. Architecture (en prod) Logstash Logstash Elastic Search Kibana redis, RabbitMQ, Kafka
19. Architecture (en prod) Elastic Search Kibana
20. Ce n'est qu'un début !
21. Au-delà de l’analytics... • Détection de pattern (Apriori, FP-Growth) • Fraude et intrusion • Détection des bugs et régressions • Analyse prédictives (Machine Learning) • Time-series outliers
22. Merci ! @leonardo_noleto
23. Pour aller plus loin... How To Install Elasticsearch, Logstash, and Kibana 4 on Ubuntu 14.04
24. Kibana 3, tu vas me manquer :(