Elastic{ON} Tour 2018 Paris : Elasticsearch au coeur du projet Data Lake de Renault

Renault a démarré son projet de data lake en 2016 avec la création et la mise en place d'une plateforme centralisée permettant aux décisionnaires de mieux exploiter les données. Elasticsearch s'est positionné comme un élément essentiel à ce projet car il met à disposition de nombreux outils d’analyse de données.
Au cours de ce retour d’expérience, Kamélia montrera comme Renault a créé et mis en place une plateforme Elasticsearch pour leur data lake, ainsi que le nouveau projet Elastic Cloud Entreprise (ECE), actuellement en cours.

Kamélia Benchekroun | Responsable Data lake IT Squad | Renault

Transcript

1. 1 Kamélia Benchekroun 30/01/2018, Datalake IT Squad Lead Groupe Renault The Key Role of Elasticsearch in Renault’s Datalake Journey
2. 2 Renault Datalake Ecosystem Renault Datalake Ecosystem
3. 3 Renault Datalake Journey 1 2 3 4 5 Exploration Big Data Insights 2015 - 2016 Enabling Datalake Platform 2016 - 2017 Datalake Optimization 2017 Datalake Acceleration and Industrialisation 2018 Transforming Business Data Driven Organization
4. 4 Datalake Projects and Use cases Platform Metrics Data Sources Ingested in the Datalake Data Volume Stored in The Datalake 35 66 300TB
5. 5 Datalake Design Pattern
6. 6 Elasticsearch Integration Beats Log Files Metrics Wire Data your(beat) Datastore Social Web APIs Sensors Kafka Messaging Queue Hadoop Ecosystem Logstash Elasticsearch Kibana X-pack Cloud Environment Authentication Notification X-pack ES-Hadoop LDAP AD SSO Instances (X) NIFI Business Cluster Puits de Logs Cluster
7. 7 Elasticsearch Metrics Business Cluster 5 Data Nodes 90 Indices 6 TB Indices Size 8 connected Applications Main Use cases Incidentology Marketing Intelligence 360° Business KPI Operational Monitoring
8. 8 Deployment in Renault Context Requires a strong Collaboration between IS and IT Elastic Consulting to define the Optimal Geometry with IS Prometheus Deployment to complete Marvel Metrics Custom Oauth Realm to support AWS Applications Identify limitations of one business shared Cluster
9. 9 Next Steps : Elastic Cloud Enterprise Agility, As A Service Offer, Costs rationalization Reduce Time To Market and Get more Autonomy Better Control Elasticsearch Upgrades Credible SLA and Charge Back Model