DEVOXX 2017 - BIG BINOUZE - De la récolte à la production

Mathias Kluba @mathiaskluba
Alexis Slawny @slawnya

Transcript

1. #DevoxxFR BIG BINOUZE De la récolte à la production Mathias Kluba @mathiaskluba Alexis Slawny @slawnya 1
2. #DevoxxFR Table des matières PREABULES : Mondanités CHAPITRE 1 : « N'attendez pas d'avoir soif pour tirer l'eau du puits. » CHAPITRE 2 : « Monsieur ? Comment ça marche ? » CHAPITRE 3 : Montrons l’exemple CHAPITRE 4 : Fouillons sous le capot!!! BOUQUET FINAL : Codons
3. #DevoxxFR Préambule 3
4. #DevoxxFR 4
5. #DevoxxFR Le Big Data chez GBIS Utilisateurs actifs DataSources Data Lake pour tout GBIS B2B Data Centers Petabytes de disques Serveurs Projets actifs 30 1 3.3 35 Projets en production 80 2 100 15
6. #DevoxxFR Gros consommateur d’OpenSource OPENSOURCE
7. #DevoxxFR On est qui au fait ? Alexis Slawny #onepunchboy #js_manager@sg #bigpapa @slawnya Mathias Kluba #jaime_les_chats #bigdata_architect@sg #java_lover @mathiaskluba
8. #DevoxxFR 8 « N'attendez pas d'avoir soif pour tirer l'eau du puits. » * Chapitre 1 * Proverbe chinois ; Dictionnaire des proverbes de la Chine (1980)
9. #DevoxxFR Twitter m’a tuer 9
10. #DevoxxFR Surveillance… 10
11. #DevoxxFR E-Marketing 11
12. #DevoxxFR Médical, Aéronautique, etc. 12
13. #DevoxxFR 13 « Monsieur ? Comment ça marche ? » Chapitre 2
14. #DevoxxFR A la base il y a…
15. #DevoxxFR Puis survint le réseau
16. #DevoxxFR Scalabilité verticale
17. #DevoxxFR Scalabilité horizontale classique
18. #DevoxxFR Hyper-convergence
19. #DevoxxFR Weight Watcher
20. #DevoxxFR En résumé • • •
21. #DevoxxFR 21 Montrons l’exemple Chapitre 3
22. #DevoxxFR C’est l’histoire de mecs
23. #DevoxxFR Qui savent compter jusqu’à 4
24. #DevoxxFR Et savent faire une division
25. #DevoxxFR Mais sans Big Data …
26. #DevoxxFR … c’est la cata !
27. #DevoxxFR Heureusement il y a Hadoop
28. #DevoxxFR Tout le monde est là ?
29. #DevoxxFR 29 Fouillons sous le capot!!! Chapitre 4
30. #DevoxxFR Parlons Chinois
31. #DevoxxFR Hadoop : à tes souhaits
32. #DevoxxFR List<String> jsonList = readJsonFile("/my/file.json"); jsonList.stream() // convertir une ligne de JSON en une ligne de tableau de bière .map(line -> getJsonArray(line, "$.BEERS")) // mise à plat de la liste de tableaux de bières .flatMap(beers -> Arrays.asList(beers).stream()) // convertir chaque bière en un couple (bière, 1) .map(beer -> new Pair<String, Integer>(beer, 1)) // parcourir le résultat et l’afficher! .forEach(kv -> { System.out.println(kv.fst + " : " + kv.snd); }); Dark de triomphe : 1 Guinness : 1 Ginger twist : 1 Guinness : 1 32
33. #DevoxxFR Dark de triomphe : [ 1 ] Guinness : [ 1, 1 ] Ginger twist : [ 1 ] List<Pair<String, List<Integer>>> groupByKey; groupByKey.stream() // pour chaque clé .forEach(keyValues -> { // applique une "réduction" de toutes les valeurs Integer sum = keyValues.snd.stream() .reduce((v1, v2) -> v1 + v2).get(); // affiche la clé et le résultat de la réduction (cad la somme) System.out.println(keyValues.fst + " : " + sum); }); Dark de triomphe : 1 Guinness : 2 Ginger twist : 1 33
34. #DevoxxFR // si on veut paralléliser sur plusieurs CPU core jsonList.stream().parallel().map(...) // ...et comment distribuer sur plusieurs machines ? 34
35. #DevoxxFR JOHN SPARK
36. #DevoxxFR Le NOSQL : Quelle relation ?
37. #DevoxxFR 37 try { "Vous êtes prêt?" } finally { "Pratiquons ensemble!!" } Bouquet final
38. #DevoxxFR Réalisé avec de vrais effets spéciaux
39. #DevoxxFR Réalisé avec de vrais effets spéciaux
40. #DevoxxFR C’est l’heure du dessert !!!
41. #DevoxxFR Discutons au stand!
42. #DevoxxFR Liens https://jaceklaskowski.gitbooks.io/mastering-apache-spark/ https://databricks.com/training http://kaggle.com/ https://cloud.google.com/bigquery/public-data/
43. #DevoxxFR Big Thanks 43