De 0 à 3 (et +) milliards de documents: retour d'expérience avec Elasticsearch

Elasticsearch est la brique centrale au coeur de la solution d'analyse de log temps réel de Belogik. Je vous propose un retour d'expérience sur notre utilisation d'un cluster Elasticsearch qui gère plusieurs milliards de documents. Nous verrons ensemble les bests practices en terme de configuration et d'optimisation des performances sur un cluster qui connait une croissance forte.

Transcript

1. De 0 à 3 (et +) milliards de documents: retour d'expérience avec ElasticSearch { "meetup" : "ElasticsearchFR #3", "date" : "lundi 16 septembre 2013", }
2. { “speaker“ : “Ghislain SEGUY“ } $curl http://localhost:9200/ElasticsearchFR/meetup/3/speaker/GhislainSEGUY { "name" : "Ghislain SEGUY", "jobs" : [ { "société" : "Nexen Services", "activité" : "CTO", "durée" : 7 }, { "société" : "Alterway Hosting", "activité" : "CTO", "durée" : 4 }, { "société" : "Belogik", "activité" : "COO", "durée" : 2 } ], "blog" : "http://www.belogik.com/blog/", "twitter" : [ "@ghislainseguy", "@belogikcom" ], "email" : "ghislain.seguy@belogik.com", "ecosystème" : "Open Source" }
3. 2 3En milliards nombre de documents Indexés dans le cluster Nombre de cœur par nœud ES 7,5Quantité de RAM par nœud ES 100En millions nombre de documents indexés par jours 12Nombre de nœud dans le cluster ES 200En Go espace disque utilisé sur chaque noeud 10 000+ Nombre d'index dans le cluster 25 000+ Nombre de shard dans le cluster { “Chiffres“ : “Plate-forme Belogik“ }
4. { “Indexing Mode“ : “Bulk“ }
5. { “Shard“ : “divide & rule“ }
6. { “Shard“ : “divide & rule“ } 1 index / 1 shard (600Mo) 1 index / 2 shards (300Mo) 1 index / 4 shards (150 Mo) 1 index / 8 shards (75Mo) 0 0,25 0,5 0,75 1 1,25 1,5 1,75 2 2,25 2,5 2,75 3 Temps de réponse (en seconde par millions de résultats)
7. { “File Descriptors“ : “Think big“ }
8. { “Optimization“ : “yes“ }
9. { “Sharding config“ : “Inheritance“ }
10. { “Shutdown“ : “all“ }
11. { “Questions“ : “On“ }