Meetup BigData

Transcript

1. Présentation BigData Juin 2012
2. §  Qu’est-ce que le BigData ? §  Définitions §  À quoi sert le BigData ? §  Probléma)ques  techniques   §  Probléma)ques  mé)ers   §  Comment réaliser un projet BigData ? §  Hadoop §  Autres solutions Agenda 2
3. 3 Qu’est-­‐ce  que  le  BigData?  
4. Définition Wikipedia (plutôt floue): Définition 4 Big data (« grosses données » ou grande quantité de données) est une expression anglophone utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données.
5. Big Data 5 Big  Data  ==  Gros  Volume  de  données     Mais  gros  volume  stocké  ?...     …ou  gros    volume  à  traiter  ?   BIG  DATA  
6. Big Data 6 Traitement   Flux   Traitements   Batch   VS   Analyser  des  Teras  de   fichiers  stockés   quelque  part   Analyser  des  Teras  de   données  par  jours  en   provenance  d’un  flux    
7. BI ? 7 Datawarehouse   ETL   ETL   ETL   Datamart   OLAP   Solu)on  de  BI:  
8. BI ? 8 Datawarehouse   ETL   ETL   ETL   Datamart   OLAP   Solu)on  de  BI:   TransformaPon  des  données   dans  un  format  figé   Donc  perte  de  données  à  la  fin…  
9. BI ? 9 Datawarehouse   ETL   ETL   ETL   Datamart   OLAP   Solu)on  de  BI:   Schéma  rigide,  données  structurés   Difficile  à  modifier  (pas  très  agile)   Problèmes  liés  à  la  scalabilité  verPcale  
10. BI ? 10 Datawarehouse   ETL   ETL   ETL   Datamart   OLAP   Solu)on  de  BI:   ReconstrucPon  des     cubes  /  Datamart  non  incrémentale   Problèmes  liés  à  la  scalabilité  verPcale    
11. BI ? 11 Datawarehouse   ETL   ETL   ETL   Datamart   OLAP   Solu)on  de  BI:   Bonnes  soluPons  de  visualisaPon   ExploraPon  à  l’aide  de  langages   standards:  SQL  /  MDX  
12. Analyses  prédicPves   Tableau  de  bord   Traitements « à la demande » 12 Solu)on  de  Big  Data:   Noeud   Noeud   Noeud   Transformer   Filtrer   Calculer   Agréger  
13. Cycle itératif d’analyse 13 Calculs  /   AgrégaPons   Insights  /   AnalyPcs       ExtracPon   Filtre  /   Ne^oyage   0 5 RéagrégaPons       Solu)on  de  Big  Data:  
14. Type de données 14 DataWarehouse   ODS   CRM   ERP   CMS   Email,  Chat   Réseaux  sociaux   d’Entreprise   Fournisseurs  de  données   B2B   Réseaux  sociaux   Web   Open  Data   structurées   non  structurées   Interne   Externe  
15. 80  %  des  besoins  actuels   15 structurées   non  structurées   Interne   Externe   DataWarehouse   ODS   CRM   ERP   CMS   Email,  Chat   Réseaux  sociaux   d’Entreprise   Fournisseurs  de  données   B2B   Réseaux  sociaux   Web   Open  Data  
16. L’avenir 16 structurées   non  structurées   Interne   Externe   DataWarehouse   ODS   CRM   ERP   CMS   Email,  Chat   Réseaux  sociaux   d’Entreprise   Fournisseurs  de  données   B2B   Réseaux  sociaux   Web   Open  Data  
17. Analyses  prédicPves   (machine  learning)   StaPsPques   Analyses complexes 17 Solu)on  de  Big  Data:   DATA   Analyse  sémanPque  
18. Big Data 18 BIG  DATA   BI   VS   §  On  connaît  la  quesPon  à   l’avance   §  On  architecture  la   soluPon  en  foncPon  de   ces  quesPons   §  Schéma  rigide   §  Pas  très  incrémental/agile   §  Traitements  staPsPques   §  On  ne  connaît  pas  la   quesPon  à  l’avance   §  On  stocke  tout!  On  peut  en   avoir  besoin  demain…   §  Pas  de  schéma!   §  Démarche  incrémentale/ agile,  exploratoire   §  Traitements  complexes!  
19. 19 Définition BIG  DATA   Velocity   Variety   Volume  
20. 20 Définition BIG  DATA   Velocity   Variety   Volume   Complexity  
21. A quoi sert le BigData ? 21 §  Réduire  les  coûts   §  Augmenter  la  capacité  des   volumes  à  traiter   §  Améliorer  les  performances   ProblémaPque  technique   §  Obtenir  de  la  valeur  des  données   inexploitées   §  An)ciper  l’avenir     (analyse  prédic)ve)   ProblémaPque  méPer  
22. A quoi sert le BigData ? 22 §  Réduire  les  coûts   §  Augmenter  la  capacité  des   volumes  à  traiter   §  Améliorer  les  performances   ProblémaPque  technique   SOLUTION:   Technologies  NoSQL  
23. A quoi sert le BigData ? 23 §  Obtenir  de  la  valeur  des  données   inexploitées   §  An)ciper  l’avenir     (analyse  prédic)ve)   ProblémaPque  méPer   SOLUTION:   BIG  DATA  
24. Comment implémenter une solution BigData ? 24
25. Solutions BigData 25 Données d’entrée Traitement Données de sortie Dashboard Reporting Navigation 001011011 011001110 101100011
26. Solutions BigData 26 Données d’entrée (DB, fichiers, flux, etc.) Collecteurs Mon  SI   Mon  architecture  BigData   Data Navigation Reporting Export OLAP RDBMS Data Navigation / Dashboard / Reporting Traitements distribués 001011011 011001110 101100011 Données à analyser Stockage distribué Données de sortie Stockage distribué
27. Solutions BigData 27 Données à analyser Stockage distribué Données d’entrée (DB, fichiers, flux, etc.) Collecteurs Mon  SI   Mon  architecture  BigData   Données de sortie Stockage distribué Data Navigation Reporting Export OLAP RDBMS Data Navigation / Dashboard / Reporting Traitements distribués 001011011 011001110 101100011 HDFS GlusterFS Mongo Cassandra Gigaspaces Hadoop MapReduce (+ Pig, Hive, Cascalog) ActivePivot Gridgain Gigaspaces HBase Mongo Cassandra ActivePivot QlikView, Tableau, SpotFire,  Pentaho Jasper,   ActivePivot Custom… SpotFire,  Jasper, Birt, Pentaho, Sqoop Flume Talend Custom Sqoop Talend Custom SpotFire, QlikView, Pentaho Excel, ActivePivot
28. 28 Exemples  d’architectures  
29. Exemple d’architecture: Analyse des logs 29 Web  Dashboard  
30. Exemple d’architecture: Marketing ciblé 30 Tim: Bon anniversaire @Paul! 40ans aujourd’hui, ça se fête! John: J’adore le nouvel album de @justinbieber, c’est de la bombe! Steve: Et voilà, mon Android est mort… je veux un iPhone MAINTENANT! Cathy: Au revoir Paris… je déménage à Toulouse la semaine prochaine!
31. Exemple d’architecture: BigData temps-réel
32. 32 Questions ?
33. §  Contactez  nous   §  www.fastconnect.fr   §  blog.fastconnect.fr   §  sales@fastconnect.fr