Atelier Datalab - volet technique

Stockage, analyse, visualisation de données et machine learning

Transcript

1. DATALAB l ’atelier Laurent Paoletti @providenz TVT - 29 septembre 2014
2. DATA BIG DATA DATASCIENCE définitions
3. VOLUME VÉLOCITÉ VARIÉTÉ COMPLEXITÉ critères
4. DONNÉES STRUCTURÉES SEMI-STRUCTURÉES NON STRUCTURÉES typologie
5. TEXTE HORODATEES GÉOGRAPHIQUES SCIENCE - FINANCE LOGS GRAPHE IMAGE/SON/VIDEO typologie
6. OPENDATA SERVICES - API ORGANIQUE CROWDSOURCING OBJETS CONNECTÉS ACHAT SCRAPING - EXTRACTION sources
7. sources - api
8. HOME SERVEUR(S) CLOUD CUSTOM ! GPU FPGA plateformes -infrastructure
9. FICHIERS excel csv hdf5 plateformes -persistance
10. DB RELATIONELLES ! MYSQL POSTGRESQL SQLSERVER, ORACLE plateformes -persistance
11. SIG:POSTGIS plateformes -persistance
12. GRAPHES: NEO4J plateformes -persistance
13. RECHERCHE : ELASTICSEARCH plateformes -persistance
14. HADOOP SPARK HBASE plateformes -persistance
15. MAP-REDUCE plateformes -persistance
16. EXTRACTION NETTOYAGE ETL analyse - préparation
17. FILTRAGE TRANSFORMATION STATISTIQUES analyse
18. R SQL PYTHON OPENREFINE analyse - outils
19. « capacité qu’on donne à une machine d’ingérer des données à apprendre et de s’enrichir grâce à son expérience » machine learning
20. machine learning ANTI-SPAM RECOMMANDATIONS SCORING OPTIMISATION DE PRIX IDENTIFICATION
21. TRAINING DATA machine learning 101
22. machine learning 101
23. machine learning 101 setosa
24. machine learning 101
25. machine learning 101 DATASET MODELE DATA PREDICTION apprentissage humain
26. « For a long time, we thought that Tamoxifen was roughly 80% effective for breast cancer patients. But now we know much more: we know that it’s 100% effective in 70% to 80% of the patients, and ineffective in the rest. » ! machine learning 101
27. machine learning regression classification !
28. machine learning - outils R JAVA PYTHON SAAS ! !
29. visualisation http://flowingdata.com/page/2/
30. http://www.brightpointinc.com/interactive/political_influence/index.html?source=d3js WEB visualisation
31. http://www.brightpointinc.com/interactive/political_influence/index.html?source=d3js visualisation
32. EXCEL - GNUPLOT PYTHON - MATPLOTLIB WEB - D3.JS ! ! visualisation - outils
33. Général: http://www.oreilly.com/data/ Pandas: http://pandas.pydata.org/ R: http://www.r-project.org/ Python: https://www.python.org/ Machine learning: http://scikit-learn.org/ Openrefine: http://openrefine.org/ Postgis: http://postgis.net/ Elasticsearch: http://www.elasticsearch.org/ Hadoop: http://hadoop.apache.org/ Spark: https://spark.apache.org/ Hbase: http://hbase.apache.org/ D3: http://d3js.org/ Bigml: https://bigml.com/ Prediction API: https://cloud.google.com/prediction/?hl=fr ressources
34. merci Laurent Paoletti @providenz TVT - 29 septembre 2014