Hadoop - Taming the Elephant (With a Whale)

Big Data ist in der heutigen Zeit ein weit verbreitetes Thema. Im Umgang mit großen Datenmengen kommen verschiedene Tools zum Einsatz, wie zum Beispiel Hadoop.

Wer als Entwickler in das Thema Hadoop einsteigen möchte und gerade kein voll aufgesetztes Rechen-Cluster zur Hand hat, ist hier genau richtig.

Wir beginnen mit einer kurzen Einführung in Hadoop und einer Komponentenübersicht des Hadoop-Universums. Wir werden Hadoop ganz ohne Installationsexzesse lokal in Docker ausführen.

Im Anschluss daran werden wir Daten aus dem Darknet analysieren, um zu verstehen, welche Vorteile Hadoop mit sich bringt.

Am Ende des Talks kennen die Zuhörerinnen und Zuhörer die wichtigsten Begriffe und Tools aus dem Hadoop-Universum und freuen sich darauf, Hadoop zu Hause in Docker auszuprobieren (und vielleicht auch darauf, ein Hadoop-Cluster für ihr Unternehmen aufzusetzen).

Für die ersten Schritte zu Hause wird ein öffentliches Demo-Projekt auf GitHub zur Verfügung gestellt.

Transcript

1. Hadoop -
 Taming the Elephant (With a Whale) 2019-01-24
 Java User Group, Hamburg
2. Unsere Reise 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
3. Wer bin ich? www.innoq.com Lisa Maria Moritz lisa.moritz@innoq.com Teapot4181 Consultant seit September 2018 0 3
4. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
5. Wie alles begann… 1 5
6. Mehr als nur ein Elefant! Hadoop HDFS YARN Pig Hive Mahout HBase Cluster MapReduce Ozone Common DataNode NameNode Mapper Reducer Combiner 1 6
7. Den Wal zur Hilfe nehmen Cluster X sequenceiq/hadoop-docker:2.7.0 1 7
8. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
9. Ziel - Kapitel 2 2 9
10. Ein paar Docker-Befehle 2 10 docker exec -it <container-id> /bin/bash docker container stop <container-id> docker container start <container-id> Bash in laufenden Container Container stoppen Container starten docker ps Zeige alle laufenden Container
11. Image starten 2 11 BITTE BEACHTEN Es ist nicht üblich, Hadoop in Docker zu starten! docker run -it \ -p 50070:50070 \ -p 8088:8088 \ -p 50075:50075 \ sequenceiq/hadoop-docker:2.7.0 \ /etc/bootstrap.sh -bash Image in interaktivem Modus starten Web-UI port weiterleiten Name & Version des Docker-Images Kommando ausführen Port zum Ergebnis-Download weiterleiten Port zum Job-Tracking weiterleiten
12. /etc/bootstrap.sh? 2 12 • In sequenceiq Docker-Image enthaltenes Skript • Relevant zu wissen: • Startet Services • Hat zwei Argument-Optionen: • -d : Detached, im Background • -bash: Bash nach Start öffnen
13. Hat alles geklappt? 1 / 3 2 13 $HADOOP_PREFIX/share/hadoop/mapreduce hadoop-mapreduce-examples-2.7.0.jar bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.0.jar grep input output 'dfs[a-z.]+' Ordner mit u.a. Beispielen MapReduce-Beispiel (Java) Ausführen eines MapReduce-Jobs
14. Hat alles geklappt? 2 / 3 2 14 bin/hdfs dfs -cat output/*
15. Hat alles geklappt? 3 / 3 2 15
16. Hadoop läuft in Docker
17. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
18. Ziel - Kapitel 3 3 18 MapReduce-Job
 (Java) 3 1 2
19. MapReduce? 3 19 MapReduce Mapper Reducer Combiner
20. MapReduce: Beispiel 3 20 ID Tierart Name 1 Hund Berta 2 Katze Miezi 3 Katze Nyan 4 Hund Napoleon …
21. Mapper 3 21 Mapper Data Data- Chunk Data- Chunk Data- Chunk + +
22. 1 Hund Berta Mapper: Beispiel 3 22 Mapper + ABCD_1 + Hund ABCD_1
23. Reducer 3 23 Reducer Data Data- Chunk Data- Chunk Data- Chunk + +
24. Reducer: Beispiel 3 24 + + Hund ABCD_1, ABCD_4, … + Hund 42 Reducer
25. Combiner 3 25 BITTE BEACHTEN Ein Combiner kann den Reducer nicht ersetzen • Optional • Netzwerklast reduzieren • Den Output des Mappers kombinieren und kombinierte Daten zum Reducer schicken • Oftmals kann der Reducer als Combiner eingesetzt werden
26. Wir brauchen Daten! 3 26 • Kaggle:
 Dark Net Marketplace Data (Agora 2014-2015) • 30.98 MB • CSV-Datei Original Daten: https:/ /www.kaggle.com/philipjames11/dark-net-marketplace-drug-data-agora-20142015 Leicht adaptiert: https:/ /github.com/Teapot-418/hadoop-taming-the-elephant/blob/master/darknet-data.csv
27. HDFS
28. Daten ins HDFS 3 28 docker cp darknet-data.csv \ ab0978def5ae:/tmp/ Daten in Container kopieren $HADOOP_PREFIX/bin/hdfs dfs \ -put /tmp/darknet-data.csv \ /user/root/input/darknet Daten ins HDFS
29. CLI - Check 3 29 /usr/local/hadoop/bin/hdfs dfs -ls /user/root/input
30. Web UI - Check 3 30
31. Maven Dependencies 3 31 hadoop-common hadoop-mapreduce-client- core
32. Was wollen wir? 3 32 Katgeorie Drugs/Cannabis/Weed Drugs/Ecstasy/Pills Services/Other … Hauptkategorie Anzahl Drugs 418 Services 42 …
33. Mapper erstellen 3 33 Mapper< [input-key], [input-value], [output-key], [output-value] > Extend Hadoop’s Mapper public void map( [input-key] key, [input-value] value, Context context ) “map” überschreiben
34. public class MainCategoryMapper extends Mapper<LongWritable, Text, Text, LongWritable> { @Override public void map(LongWritable key, Text value, Context context) throws […] { String line = value.toString(); String[] lineData = line.split(","); String[] categories = lineData[1].split("/"); if(categories.length > 0) { context.write(new Text(categories[0]), key); } } } Mapper erstellen 3 34 BITTE BEACHTEN Hadoop verwendet spezielle Variablentypen. Output erzeugen
35. Reducer erstellen 3 35 Reducer< [input-key], [input-value], [output-key], [output-value] > Extend Hadoop’s Reducer public void reduce( [input-key] key, Iterable<[input-value]> values, Context context ) “reduce” überschreiben
36. public class CategoryCountReducer extends Reducer<Text, LongWritable, Text, IntWritable> { @Override public void reduce(Text key, Iterable<LongWritable> values, Context context) throws […] { int count = 0; for (LongWritable value : values) { count++; } context.write(key, new IntWritable(count)); } } Reducer erstellen 3 36 Output erzeugen
37. F E D C B A Einstiegspunkt 3 37 A Job erzeugen B Ort von Input und Output spezifizieren C Mapper und Reducer definieren D Mapper-Output definieren (Key und Value) E Reducer-Output definieren
 (Key und Value) F Job starten und auf Fertigstellung warten
38. Job starten 3 38 mvn clean package docker cp darknet-mapreduce.jar\ ab0978def5ae:/tmp/darknet-mapreduce.jar Executable Jar bauen In Container kopieren jar liegt in /target $HADOOP_PREFIX/bin/hadoop \ jar /tmp/darknet-mapreduce.jar Ausführen
39. Job starten 3 39 […] INFO mapreduce.Job: The url to track the job: http://ab0978def5ae:8088/ proxy/application_1547046677403_0012/ […] INFO mapreduce.Job: Running job: job_1547046677403_0012 […] INFO mapreduce.Job: Job job_1547046677403_0012 running in uber mode : false […] INFO mapreduce.Job: map 0% reduce 0% […] INFO mapreduce.Job: map 100% reduce 0% […] INFO mapreduce.Job: map 100% reduce 100% […] INFO mapreduce.Job: Job job_1547046677403_0012 completed successfully
40. CLI - Check 3 40 $HADOOP_PREFIX/bin/hdfs dfs -cat output/darknet/main- category-count/* Hauptkategorie Anzahl Chemicals 1 Counterfeits 202 Drug paraphernalia 2 Drugs 11834 …
41. Web UI - Check 3 41
42. Aus dem HDFS löschen 3 42 $HADOOP_PREFIX/bin/hdfs dfs -rm -r <folder-name>
43. Werdet kreativ • Versucht doch mal: • Die Länder in die versendet wird zu zählen • Den maximalen Preis jeder Hauptkategorie aufzulisten • … 3 43
44. Erster MapReduce-Job
45. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
46. Ziel - Kapitel 4 4 46 cURL ⚭
47. HttpFS? 4 47 Hadoop HDFS over HTTP
48. Docker-Container linken 4 48 docker run \ -it \ --link 7680676ced68:hadoop \ —name curl_container \ ubuntu:latest Container linken Im interaktiven Modus starten
49. Durch’s HDFS navigieren 4 49 http://hadoop:50070/webhdfs/v1/user Basis URL curl -i -L \ “http://hadoop:50070/webhdfs/v1/user/ root/output/?op=LISTSTATUS" Ordner browsen curl -i -L \ “http://hadoop:50070/webhdfs/v1/user/ root/output/darknet/category-count/ part-00000?op=OPEN” Dateien öffnen
50. Durch’s HDFS navigieren 4 50 Ordner browsen Dateien öffnen
51. Idee 4 51 Drugs Others
52. Daten über HttpFS
53. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
54. Ziel - Kapitel 5 5 54 MapReduce-Job
 (NICHT Java) 3 1 2
55. Hadoop Streaming API 5 55 stdin stdout Reducer erhält Keys geordnet
56. Beispiel - Einleitung 5 56 Kategorie Drugs/Cannabis/Weed Drugs/Ecstasy/Pills Services/Other … Kategorie Anzahl Drugs/Cannabis/Weed 418 Drugs/Ecstasy/Pills 42 …
57. Mapper 5 57 #!/usr/bin/env python import sys id = 0 for line in sys.stdin: val = line.strip() data = val.split(',') category = data[1] print(category + '\t' + str(id)) id = id + 1 Output an Reducer aushändigen stdin Zeile für Zeile verarbeiten
58. Reducer 5 58 previous_key = None count = 0 for line in sys.stdin: (key, val) = line.strip().split('\t') if previous_key is None: previous_key = key if key == previous_key: count = count + 1 else: print(key + '\t' + str(count)) count = 1 previous_key = key Key und Value der Zeile Letzter? Ergebnis ausgeben Key merken
59. Ab in den Container 5 59 docker cp mapper.py ab0978def5ae:/tmp/ Mapper in den Container docker cp reducer.py ab0978def5ae:/tmp/ Reducer in den Container chmod +x mapper.py chmod +x reducer.py Ausführbar machen
60. Ausführen - Basis 5 60 $HADOOP_PREFIX/bin/hadoop jar \ $HADOOP_PREFIX/share/hadoop/tools/lib/hadoop-streaming-2.7.0.jar
61. Ausführen - Argumente 5 61 -files /tmp/mapper.py,/tmp/reducer.py \ -input input/darknet \ -output output/darknet/category-count \ -mapper /tmp/mapper.py \ -reducer /tmp/reducer.py Dateien auf Cluster verteilen Input Reducer setzen Mapper setzen Output
62. CLI - Check 5 62 $HADOOP_PREFIX/bin/hdfs dfs -cat output/darknet/ category-count/*
63. Web UI - Check 5 63
64. MapReduce ohne Java
65. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
66. Benamsung 6 66 “The name my kid gave a stuffed yellow elephant. Short, relatively easy to spell and pronounce, meaningless, and not used elsewhere: those are my naming criteria. Kids are good at generating such. Googol is a kid’s term.” (Doug Cutting) Excerpt From: Tom White. “Hadoop: The Definitive Guide”.
67. Hadoop’s Kern 6 67 Hadoop Common YARN HDFS MapReduce Ozone
68. HDFS 6 68
69. YARN 6 69 HDFS and HBase YARN MapReduce Processing Frameworks Spark Tez Pig Hive Crunch APPLICATION COMPUTE STORE
70. Erwähnte Tools 6 70
71. Ein bisschen Theorie
72. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
73. @ Home • Mehr Informationen über Hadoop • http://hadoop.apache.org • Tom White - “Hadoop - The Definitive Guide” (4th) • Alex Holmes - “Hadoop In Practice” (2nd)
 • Mehr Informationen über diesen Vortrag • www.teapot418.de • https://github.com/Teapot-418/hadoop-taming-the-elephant 7 73
74. 8 7 5 4 3 2 Laufen lassen 1 0 Wer bin ich? So beginnt es Mit Daten arbeiten HTTP Java-Hasser? Try It @ Home Das Ende 6 Hadoop Universe
75. Warum überhaupt? 8 75 MEIN ZIEL Eis brechen und kurze Einführung geben
76. Und nun? 8 76
77. www.innoq.com innoQ Deutschland GmbH Krischerstr. 100 40789 Monheim am Rhein Germany +49 2173 3366-0 Ohlauer Str. 43 10999 Berlin Germany +49 2173 3366-0 Ludwigstr. 180E 63067 Offenbach Germany +49 2173 3366-0 Kreuzstr. 16 80331 München Germany +49 2173 3366-0 innoQ Schweiz GmbH Gewerbestr. 11 CH-6330 Cham Switzerland +41 41 743 0116 Vielen Dank! Lisa Maria Moritz lisa.moritz@innoq.com Teapot4181