Explorez vos données avec Apache Zeppelin

Courte présentation d'Apache Zeppelin faite le 10/05/2016 aux Human Talks de Nantes

Transcript

1. Explorez vos données avec Bruno Bonnin
2. Who am I ? Architecte logiciel / Développeur JS @_bruno_b_ https://github.com/bbonnin
3. Apache Zeppelin, c’est… A web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more. The one interface for all your big data needs. “ ”
4. Concepts de base • Web-based • Support de multiples langages pour de multiples backends • Interactif • Formulaires dynamiques • Avec de la visualisation (support de plusieurs types de graphiques) • Pour partager • Facile à étendre JDBC
5. Un peu d’histoire • Origine: NFLabs (http://www.nflabs.com/) • Plusieurs essais de faire un env. pour l’analyse de données depuis 2012 • Au départ, produit commercial • Puis, décision de le proposer à la communauté Apache en 2014 • Projet « incubator » depuis décembre 2014 • Version 0.6.0 en cours de dév.
6. JVM Architecture Zeppelin Server Hive Interpreter Spark Interpreter JDBC Interpreter Your Interpreter … Thrift HTTP Web sockets JVM JVM JVM JVM
7. User Interface Paragraphe Interpréteur utilisé (sql, spark, sh, md, jdbc, …) Texte à interpréter Résultat Toolbar du paragraphe (start, …)
8. JVM Côté serveur Zeppelin Server SparkSQL Interpreter JVM Texte à interpréter: SELECT * FROM bank Résultat (format « table »: texte avec tabulations) Texte à interpréter: SELECT * FROM bank Lancement JVM 1 2 3 4 Traitement de la requête 5 Résultat envoyé au browser qui interprète le format 6 age education balance 25 primary 1500 35 unknown 300000
9. Visualisation Accès à des visualisations suivant le type du résultat (ici, table, donc possibilité d’avoir des graphiques) Sélection des champs et des valeurs Affichage du graphique
10. Démo
11. Autres fonctions • Scheduler • Partage • Paragraphe dans iframe • API pour ajout d’interpréteurs • A venir: • Sécurité (shiro) • Export CSV • Nouvelle UI public class MyInterpreter extends Interpreter { public InterpreterResult interpret(…) {…} public void open() {…} public void close() {…} }
12. Pour aller plus loin • Site officiel: https://zeppelin.incubator.apache.org/ • Docs: https://zeppelin.incubator.apache.org/docs/latest/ • Exemples: https://www.zeppelinhub.com/viewer • Code source: https://github.com/apache/incubator-zeppelin
13. Merci !