Cafécom - Présentation de l’Elastic Stack

Transcript

1. C a f é c o m Présentation de l’ « Elastic Stack » PR-AX-19-23724 2 1 m a r s 2 0 1 9
2. SOMMAIRE La stack ELK Utilisation au sein d’axYus Démonstration Mise en place / Documentation Questions BORDEAUX • LIMOGES • PARIS 21/03/2019 | 2
3. LA STACK ELK LA SUITE LOGICIELLE ELASTICSEARCH, LOGSTASH, ET KIBANA Elasticsearch Moteur de recherche pour l'indexation et la recherche des données Logstash Outil informatique de type ETL permettant la collecte, l’analyse et le stockage de logs Kibana Outil de visualisation (Data visualization) Permet de créer des diagrammes en barre, en ligne, des nuages de points, des camemberts etc. Beats Plateforme qui accueille des agents réservés au transfert de données BORDEAUX • LIMOGES • PARIS 21/03/2019 | 3
4. UTILISATION AU SEIN D’AXYUS KIBANA, OUTIL DE VISUALISATION Kibana est un outil de visualisation qui permet de mettre en place différents « Dashboards » comprenant différents graphiques Par exemple, chez axYus, cet outil nous a permis d’obtenir le nombre de Mantis ouvertes ou résolues par jour, semaine, mois ou année Les possibilités sont infinies dès lors que l’on a un besoin, il suffit de le matérialiser via un graphique et Kibana fait le reste Chez axYus, 3 projets utilisent Kibana pour les reportings et ce n’est sûrement qu’un début ! Un tel outil peut être stratégique pour préparer un COPIL, en particulier des graphiques d’indicateurs mais également pour assister le chef de projet dans les décisions de pilotage (stock, alertes sur des délais de résolution, etc.) BORDEAUX • LIMOGES • PARIS 21/03/2019 | 4
5. UTILISATION AU SEIN D’AXYUS LOGSTASH, UN ETL QUI NOUS PERMET DE TRANSFÉRER DE LA DONNÉE À ELASTICSEARCH Logstash est destiné au traitement des données Il peut ingérer simultanément des données provenant d’une multitude de sources (journaux de log, applications web, datastores, AWS, …) Il transforme les données et les envoie vers Elasticsearch Chez axYus, Logstash nous a permis d’envoyer à Elasticsearch des données provenant de fichiers CSV générés par des requêtes SQL Suivant les projets, le fichier CSV généré contient des données Mantis ou Kanban mais, bien entendu, nous pourrions traiter n’importe quel type de données Mantis Kanban BORDEAUX • LIMOGES • PARIS Export CSV Transforme et envoie les données vers Elasticsearch 21/03/2019 | 5
6. UTILISATION AU SEIN D’AXYUS ELASTICSEARCH Elasticsearch est un serveur permettant l'indexation et la recherche des données. BORDEAUX • LIMOGES • PARIS • Fournit un moteur de recherche à travers une interface REST • Utilise Lucene : bibliothèque open source qui permet d'indexer et chercher du texte • Permet de centraliser le stockage des données et de rechercher de gros volumes de données quasiment en temps réel • S’adapte à la charge en créant des instances afin de continuer à exécuter des requêtes malgré une forte affluence 21/03/2019 | 6
7. UTILISATION AU SEIN D’AXYUS CHRONOLOGIE – DE L’EXPÉRIMENTATION À L’UTILISATION CONCRÈTE Mars 2017 Intégration du projet ZEFIR Décembre 2018 Réutilisation de la configuration issue de l’expérimentation Mise en place d’une nouvelle plateforme Extraction à partir du Mantis axYus Fourni les indicateurs présentés en COPIL Octobre 2016 1ère expérimentation Version à jour de la stack ELK Intégration du projet CTE (depuis une extraction du Kanban axYus) Juillet 2017 Janvier 2019 Intégration de la TMA MSF Logistique Migration de ZEFIR et MSFL sur la nouvelle plateforme Extraction des demandes MidiPyrénées / Centre Val-de-Loire à partir de Map Demande BORDEAUX • LIMOGES • PARIS 21/03/2019 | 7
8. MISE EN PLACE / DOCUMENTATION RENDEZ-VOUS DANS LA FORGE AXYUS Pour mieux comprendre le fonctionnement côté serveur Vous trouverez dans la forge axYus : • La documentation issue de l’installation de l’élastic stack sur le serveur orianna • Le mode opératoire pour intégrer un nouveau projet BORDEAUX • LIMOGES • PARIS 21/03/2019 | 8
9. QUESTIONS MERCI POUR VOTRE ATTENTION Avez-vous des questions ? Enter, the Elastic Stack BORDEAUX • LIMOGES • PARIS 21/03/2019 | 9