Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Transformer vos logs en insights avec ELK

Transformer vos logs en insights avec ELK

Les logs sont une mine d’informations. Cependant, les transformer en métriques faciles à comprendre peut s'avérer une tâche ardue : chaque application a une structure de log différente, elles sont souvent décentralisées, les formats de timestamp sont divers et variés et les analyser nécessite souvent une expertise technique. Avec la stack ELK - ElasticSearch, Logstash et Kibana, je vous montrerai que faire parler vos logs n'est plus qu'un jeu d'enfant !

4b0496d835b7ddcc8b9fe03efbae5f7b?s=128

Leonardo Noleto

April 20, 2015
Tweet

More Decks by Leonardo Noleto

Other Decks in Programming

Transcript

  1. Transformer vos logs en insights avec ELK par @leonardo_noleto

  2. Moi :-) #DataScience #MachineLearning #Python #R #Java hello@leonardonoleto.com

  3. Pourquoi s’intéresser aux logs ? Répondre à des questions business*

  4. Pourquoi les logs ? Les logs sont au coeur de

    tous les systèmes
  5. Pourquoi les logs ? • Une mine d’informations ◦ techniques

    : temps de réponse, vitalité du système, code erreurs, etc ◦ fonctionnelles : achats concrétisés, combien et durée,etc ◦ analytiques : présentation pub, clic ou pas, etc
  6. Mais... • Chaque application a une structure différente • Horodatage

    avec différents formats • Décentralisées (ssh + grep ?) • Expertise pour les lire
  7. Comment faire parler vos logs ?

  8. OK

  9. None
  10. ELK Stack

  11. Logstah • Multiples entrées/sorties • Collecte • Parse • Sauvegarde/Forward

  12. Logstah http://logstash.net/docs/1.4.2/

  13. ElasticSearch • Moteur de recherche • Schema Free/Schema-Less • Stockage

    en JSON • Distribué (scale up+out) • Real time data • Lucene
  14. Kibana • Visualiser les logs (et données horodatées)

  15. Architecture

  16. Architecture Fichier, Syslog Logstash Elasticsearch Kibana

  17. du live !

  18. Architecture (en prod) Logstash Logstash Elastic Search Kibana redis, RabbitMQ,

    Kafka
  19. Architecture (en prod) Elastic Search Kibana

  20. Ce n'est qu'un début !

  21. Au-delà de l’analytics... • Détection de pattern (Apriori, FP-Growth) •

    Fraude et intrusion • Détection des bugs et régressions • Analyse prédictives (Machine Learning) • Time-series outliers
  22. Merci ! @leonardo_noleto

  23. Pour aller plus loin... How To Install Elasticsearch, Logstash, and

    Kibana 4 on Ubuntu 14.04
  24. Kibana 3, tu vas me manquer :(