BI and Big Data: practical experience

Future Of Data Meetup
https://www.meetup.com/fr-FR/futureofdata-paris/events/237469193/

Transcript

1. BI and Big Data: practical experience Future Of Data
2. Mathias Kluba Architecte Technique Data Management SGCIB
5. ODBC Driver compatibility ? Hive QL specificity ? Kerberos ? Low Latency ? Indexes ?
7. Spark SQL - Pas d’intégration Ranger - Pas réussi à l’intégrer à Knox - Compatibilité Kerberos+Tableau impossible Phoenix - Compatible Microstrategy - Pas d’impersonation/authentification sur le Query Server - Pas de support des HBase Namespaces* *en 4.7.0 avec HDP 2.5, support depuis la 4.8.0 Solr - Compatible Microstrategy mais pas Tableau Hawq - Protocol/SQL de PostgreSQL… mais pas tout à fait Drill - Peut-être la bonne solution, pas assez de tests…
9. https://github.com/airbnb/superset https://github.com/Quantiply/grafana-plugins/tree/master/features/druid
10. - Pas de SQL!! Utilisable uniquement avec les IHMs Web - Pas de sécurité !!! Difficile de faire du Multi-tenant - Uniquement time-series - Certaines fonctions d’agrégations difficile à implémenter - Performance du « orienté colonne » ! - Scalabilité - Utilise HDFS pour le stockage historique - Ingestion temps réel depuis Kafka
12. - L’IHM… c’est un bon début… - Bug sur l’authentification LDAP - Bug sur la gestion des Namespaces HBase - Configuration du Cube parfois complexe - Tableau fonctionne bien, pas Microstrategy - Driver ODBC uniquement Windows - Pas trop multi-tenant - Scalabilité, supporte de gros volume de cube - SQL!! Et API REST! - Facile à installer: utilise les composants de la stack Hadoop
14. Staging Data Sources EL Datawarehouse ETL ETL DataMarts
15. Staging Data Sources EL Datawarehouse ETL ETL DataMarts Big Data – BI Offloading
16. - SSAS Tabular Models: limité à la RAM - Temps de chargement de Hadoop vers le cube - Très bonnes performances avec l’orienté colonne in-memory - Technologie mature - Compatibilité Excel / PowerBI - Fonctions d’agrégations complexes - Modèle de visibilité puissant