Data NoBlaBla: Data Munging avec Spark - Partie II

Dans l’atelier précédent, nous avons vu comment Spark fait partie intégrante dans le kit de ménage du data scientist moderne. Les bases de Spark et son API (PySpark) ont été abordées. Nous avons vu que le concept de RDDs est assez flexible et puissant pour travailler la donnée de tout type à l’aide d’une multitude de transformations et d’actions proposées.

Mais, nous savons bien que pour commencer à faire une analyse exploratoire et utiliser les méthodes de machine learning il faut d’abord structurer correctement sa donnée. C’est ce que nous aborderons dans cette deuxième partie de l’atelier. Voici le programme :

• Charger et enregistrer des données volumineuses au format CSV sans souffrance

• Utiliser l’API DataFrame pour faire une analyse exploratoire simple

• Analyser la donnée via SQL avec SparkSQL (et oui, le bon et vieux SQL a toujours la côte)

• Utiliser les tableaux croisés dynamique

• Utiliser Parquet, un format de stockage performant et structuré de plus en plus utilisé en entreprise

Pour suivre l'atelier, vous devez installer l'image docker ci-dessous:
docker pull noleto/pyspark-jupyter

Updated: Les TPs en format Jupyter Notebook sont disponibles ici: https://goo.gl/CA3MYX

Plus d'info: http://www.meetup.com/Tlse-Data-Science/events/228475400/

Transcript

1. Data Munging avec Spark Partie II Leonardo Noleto @leonardo_noleto Data NoBlaBla Jeudi 11 Février et Samedi 13 Février 2016 Les TPs corrigés sont disponibles ici : https://goo.gl/CA3MYX
2. Merci à notre sponsor
3. Data Scientist chez OVH @leonardo_noleto TOULOUSE DATA SCIENCE
4. Dans l'épisode précédent...
5. Récap’ • Spark : framework généraliste traitement distribué • Driver, Executor • API PySpark (Python) • Transformations (Lazy) ◦ map, flatMap, filter, reduceByKey, groupByKey • Actions ◦ count, collect, take, top, takeOrdered, reduce,
7. Représentation de données • RDDs • Data Frame en R ou Python Pandas • Table (base de données relationnelles)
8. Problème : Régulation des vélos en libre service
9. Données • Nombre de location des vélos par heure : ◦ data/bike_sharing/usage_hourly.csv • Données météo (température, vent, humididité) : ◦ data/bike_sharing/weather.csv Image docker: docker pull noleto/pyspark-jupyter
11. Parquet • Auto- descriptif (schéma, structure, statistiques inclus dans le fichier) • Format colonnes (optimisation de requêtes) • Compressé (stockage performant, minimise E/S) • Indépendant du langage ou framework d’analyse Source: https://drill.apache.org/docs/parquet-format/
12. Parquet: approche colonne vs. ligne Exemple: voici une table à stocker Stockage basé sur ligne : Stockage basé sur colonne :
13. Mission: Créer une heatmap permettant de comprendre l’usage de vélos par jour de la semaine et heure
14. Lignes Colonnes Example Heatmap
16. Pour aller plus loin... • Apache Spark: RDD, DataFrame or Dataset? → http://goo.gl/BFGrwl • Pivoting Data in SparkSQL → http://goo.gl/qtMrgn • From Pandas to Apache Spark’s DataFrame → https://goo.gl/6iyyXd
17. “If all you have is a hammer, everything looks like a nail”
18. A venir • Partie III - Usage avancé et Natural Language Processing : résoudre un problème de Record Linkage
19. Merci ! > questions .where (questions.contenu.isNotNull()) .show(5)
20. Driver, Executors Driver SparkContext Executors
21. Resilient Distributed Dataset (RDD) 1, 2, 3, 4, 5, 6, …………………………………………………………………996, 997, 998, 999, 1000 Partitions Collection d’éléments Collection d’éléments distribuée Important : cette collection est immuable