Pachyderm - le Big Data de l'ère Docker

Introduction à Pachyderm - Big Data basé sur GIT et Docker

Transcript

1. Pachyderm, le Big Data à l’ère de Docker Enguerran DELAHAIE – Meet Up SQLI 22/06/2016 enguerran_44
2. Comment serait une infrastructure d’analyse de données si on le construisait “from scratch” aujourdhui?
3. Dates clés d’Hadoop Doug Cutting, initiateur du projet Hadoop, désormais chez Cloudera
4. Date clés Pachyderm,Docker & Git) Premier post sur le blog Pachyderm.io Janvier 2015 V0.5 Mars 2015 et V1.0 le 5 Mai 2016 2008 : LXC 2013 Mars : Première version en Open Source Avril 2005 : Première version de GIT, en remplacement de BitKeeper. (en capitalisant sur les leçons apprises à l’usage de BK) Joe Doliner (RethinkDb, Airbnb) Joseph Zwicker (RethinkDb, Airbnb)
5. Qu’est ce que Pachyderm Big Data + Containers Docker ►Versionning pour les données stockées ►Stockage sur des systèmes de stockage Objet (S3,GCS, Ceph)… ►Containers pour le traitement de données ►Batch ET Streaming Pachyderm File System Pachyderm Pipeline System
6. Qu’est ce que Pachyderm – le scope
7. Le manifeste de la Data Science par Pachyderm Points essentiels d’un outil de Datascience selon Pachyderm sont : ►Reproductibilité -Des données -De l’exécution ►Traçabilité des données ►Collaboration ►Incrémentation ►Autonomie ►Agnostique de l’Infrastructure
8. Gouvernance de l’écosystème HADOOP Créé par Doug Cutting, Projet sous la bannière d’Apache – avec de nombreux projets associés Supporté par de nombreuses sociétés, développant de nombreux outils satellites Pachyderm : 1 société qui a le lead sur le projet. Lié à l’écosystème
9. Pachyderm File System ►Système de fichier distribué Commit Based ►En Copy On Write (Paradigme important de Docker, et de Spark) ►Stockage de base de Pachyderm ►Versionning des données = Un GIT pour de Volumineux jeux de données
10. Pachyderm File System
11. Pachyderm File System
12. Pachyderm Pipeline System ►Utilise l’écosystème Docker ►Agnostique d’un language ►Synergie avec le FS en Copy-on-Write (PFS) ►Resilient ►Job pipeline enregistré dans un Direct Acyclic Graph (même structure que Git ) it’s just a container! you can use any language or libraries you want !
13. Gestion du cluster ►Hadoop YARN – Planification des travaux et gestion des ressources des nœuds Zookeeper – Synchronisation de la configuration ►Pachyderm “batteries included, but removable.” outil de gestion de cluster : Kubernetes, Format de containerisation Docker Etcd(CoreOs)à Gestion de la configuration Kubernetes & Etcd de Coreos pour les tâches dévolues à Yarn & Zookeeper sur Hadoop
14. Gestion du cluster
15. Cas d’usage : Data Lake source: Martin Fowler: Data Lakes
16. Cas d’usage Time Machine pour bases de données de production ETL “containerisé”
17. Cas d’usage Pipeline automatisé de Machine Learning
18. Prérequis à l’installation & Plateformes Go >= 1.6 FUSE (optionel) >= 2.8.2 (pour monter PFS en local) Kubectl (kubernetes CLI) >= 1.2.2 Pachyderm Repository pachctl and pach-deploy Pachyderm peut être executé sur toute plateforme que Kubernetes supporte. Par exemple : ►Local, ►Google Cloud Platform ►AWS it’s just a container, you can use any language or libraries you want.
19. Merci! Des questions?