Hadoop初心者が脱初心者したかった話

#CyberZ #Hadoop #SkillWednesday

Transcript

1. Hadoop ॳ৺ऀ͕୤ॳ৺ऀ͔ͨͬͨ͠࿩ SkillWednesday#20161221 খ໺ݩय़
2. ୭ খ໺ݩय़ BLB
   ೋ࿠
   *%நग़ج൫νʔϜ
   ΢ΠεΩʔɹ Ṍ͚ࣄ ϚΠϯΫϥϑτ
3. ͳͥ)BEPPQ
4. طଘΫϥελ͕Ϡό͍
   Ҡߦ͠ͳ͖Ό
5. ٕज़໨ඪʹྑͦ͞͏
   શવ͠Βͳ͍ྖҬͩ͠
6. ࠓ೔͸)BEPPQͷ࿩͸͠·ͤΜ
7. ΍ͬͨ͜ͱ ࣌ظॱ
8. ωοτهࣄΛಡΉ ຊΛಡΉ ͱΓ͋͑ͣ࡞ͬͯΈΔ ಈ͍͍ͯΔ΋ͷΛ৮Δ ϕςϥϯʹฉ͘
9. ωοτهࣄΛಡΉ ˒ˑˑ ຊΛಡΉ ˒ˑˑ ͱΓ͋͑ͣ࡞ͬͯΈΔ ˑˑˑ ಈ͍͍ͯΔ΋ͷΛ৮Δ ˒˒ˑ ϕςϥϯʹฉ͘ ˒˒˒ Φεεϝ౓
10. ωοτهࣄΛಡΉ
    ˒ˑˑ
11. ಛʹࢀߟʹͳͬͨهࣄ • YARNͷ঺հ • https://www.ibm.com/developerworks/jp/ analytics/library/bd-yarn-intro/ • Hadoop͸ͲͷΑ͏ʹಈ͘ͷ͔ • http://gihyo.jp/admin/serial/01/ how_hadoop_works
12. Ͳ͏ͩͬͨͷ • ·ͣ͸“Hadoop ೖ໳”ͳͲͰάάͬͯग़ͯདྷΔ SlideshareΛಡΜͰΈΔ • ຊ౰ʹ;ΜΘΓͱ͔͠Θ͔Βͳ͍ • ͻͱ·ͱ·Γͷࢿྉ͸͍͖ͳΓಡΉͷ͸ϋʔυϧ ͕ߴ͍ • ܲͱཛঢ়ଶ • ඇৗʹ͕͔͔࣌ؒΔ • ࠓͷཧղ౓ʹదͨ͠ࢿྉ͔͸ࣗ෼Ͱ൑அෆՄ
13. ຊΛಡΉ
    ˒ˑˑ
14. ಡΜͩຊ • HadoopΦϖϨʔγϣϯ
 -γεςϜӡ༻؅ཧΨΠυ
15. Ͳ͏ͩͬͨͷ • Ͳ͔͜ΒಡΊ͹͍͍ͷ… • ۀ຿ͳͲͰ৮Εͨ͜ͱͱ཭Ε͍͗ͯ͢Δ • “Ͳ͏خ͍͠”ͷ͔Πϝʔδ͕෇͔ͳ͍ • ਖ਼௚͋·Γ಺༰͍֮͑ͯͳ͍Ͱ͢
 …ͷͰ͜ͷ̍࡭͔͠ಡΊͳ͔ͬͨ
16. ͱΓ͋͑ͣ΍ͬͯΈΔ
    ˑˑˑ
17. ΍ͬͨ͜ͱ • QuickStarts for CDH 5.8 • shྲྀ͢ͱΫϥελ͕Ͱ͖Δ • ͍͖ͳΓCMυϯͬͯͳΔ • http://www.cloudera.com/ downloads/ quickstart_vms/5-8.html
18. Ͳ͏ͩͬͨͷ • Ϋϥελ͸ཱͬͨʂద౰ͳCSVΛೖΕͯHive Ͱୟ͍ͯΈͨʂ • …͔͜͜ΒԿΛ͢Ε͹͍͍ͷ͔ʁ • ͦ΋ͦ΋ଞσΟετϦϏϡʔγϣϯͳͲͱൺ ֱ͢ΔͨΊͷ෺ͬΆ͍ • ࣗ෼Ͱࢼߦࡨޡ͢Δ෦෼͕ͳ͍
19. ಈ͍͍ͯΔ΋ͷΛ৮Δ
    ˒˒ˑ
20. ΍ͬͨ͜ͱ • CosmoͷEMRͷઃఆΛ(ͨͿ Μ)શ෦ಡΜͩ • ࣗ෼ͳΓʹཧղ্ͨ͠Ͱಉ͡ ઃఆͰΫϥελ࡞੒ • …ͷલʹAWSͷࢿྉ΋ಡΈ ͭͭϓϨʔϯͳ΋ͷΛ࡞੒
21. Ͳ͏ͩͬͨͷ • AWSͷࢿྉΛಡΈͳ͕ΒཱͯͯΈΔ • EMRͷػೳ΍ࢥ૝͕;ΜΘΓ෼͔Δ • طଘͷઃఆΛಡΈͳ͕ΒཱͯΔ • ͳͥ͜ͷઃఆ͕͍Δͷ͔ɺάάΔɺҙਤ͕ ෼͔ΔˠεοΩϦ&๨Εͳ͍ • ࣗ෼ͷPJͰͷԠ༻͸·ͩԕͦ͏
22. ϕςϥϯʹฉ͘
    ˒˒˒
23. ΍ͬͨ͜ͱ • ಺༰ • ࣮ࡍʹ࡞ۀ͍ͯ͠Δͱ͖ʹෆ໌఺ • ೲಘ͍͔ͳ͍ࣄ • ۩ମతͳϢʔεέʔε͕ු͔͹ͳ͍ύλʔϯ • ํ๏ • slackͰ෦԰ཱͯ(#hadoop) • ͦͷ৔Ͱ࢕͏
24. Ͳ͏ͩͬͨͷ • “શମײ͔ͭΊͨͭ΋Γ…͚ͩͲ͕݀͋Δ”ͷ ݀Λ࠹͛Δ • ࣗ෼ͷཧղ౓/PJͷཁ͕݅͋Δఔ౓ڞ༗ࡁΈ
 ཧղ౓ʹ߹Θͤͨձ࿩(ΠϯλϥΫςΟϒ!)
25. ͱ͸ݴ͍ͭͭ΋ ·ͱΊͱײ૝
26. ωοτهࣄΛಡΉ ຊΛಡΉ ͱΓ͋͑ͣ࡞ͬͯΈΔ ಈ͍͍ͯΔ΋ͷΛ৮Δ ϕςϥϯʹฉ͘
27. Ͳͷεςοϓ΋ແବͰ͸ͳ͔ͬͨ
28. ࠷ॳ͸ҙຯෆ໌Ͱ΋ ͱΓ͋͑ͣಡΈ·͘Δ͔͠ͳ͍
29. ͋ʙɹ͸͍͸͍ ͳΔ΄ͲͶ ׬શʹཧղͨ͠ l z
30. ͷස౓͕ͩΜͩΜ্͕Δ͸ͣ ͩΜͩΜ஌ࣝϝογϡ͕େ͖͔ͭ͘ࡉ͔͘ͳͬͯ৽͍͠஌ࣝΛٵऩ͠΍͘͢ͳΔΑ͏ͳΠϝʔδ
31. Θ͔ͬͨ͜ͱ Hadoopʹ৮ͬͯΈͨײ૝
32. Զୡͷઓ͍͸ɺ ࠓ࢝·ͬͨ͹͔Γͩ…! l