1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day

Transcript

1. ೥݄೔
   ιϑτόϯΫגࣜձࣾ
   தཬߒ೭ ೔ݸҎ্ͷ
   )BEPPQΫϥελʔΛ
   ࢖͍ࣺͯΔํ๏ )BEPPQ
   
   4QBSL
   $POGFSFODF
   +BQBO
   
2. ࣗݾ঺հ
    தཬ
   ߒ೭
   φΧβτ
   ώϩϢΩ ॴଐ
   ιϑτόϯΫגࣜձࣾ
   גࣜձࣾ"HPPQ
   ϙδγϣϯ
   όοΫΤϯυνʔϜϦʔμʔ
   "84
   5FDIOJDBM
   .FJTUFS
3. 
    ͜ΜͳهࣄΛॻ͍͍ͯ·͢ IUUQTRJJUBDPNOBLB[BYJUFNTFEEGBB
4. Ґஔ৘ใऩू ղੳ ਓͷྲྀΕ
5. 
    .VTU
   ೔෼ͷϩάΛ໷ؒόον։࢝·Ͱʹ%8)ʹ౤ೖ
   8BOU
   %8)΁ͷ౤ೖ͸ૣ͚Ε͹ૣ͍΄Ͳϕλʔ ػೳ໘ ඇػೳ໘ ϩάͷϘϦϡʔϜ͸೔਺ԯ݅5#Φʔμʔ
   ࠓޙ΋ϩάྔ͕૿͑ଓ͚ΔͨΊεέʔϥϏϦςΟ͕ඞཁ
   ίετޮ཰ٴͼ҆ఆੑ͕ߴ͍͜ͱ &5-ॲཧͷཁ݅
6. 
    ϩάऩू
   γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOT
   PO
   &$ %FWFMPQFST
   %BUB
   "OBMZTUT &-# &$ ऩूɾ஝ੵ &5- ղੳ &$ &$ ':
   ΞʔΩςΫνϟʔ
7. 
    ϩάऩू
   γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOT
   PO
   &$ %FWFMPQFST
   %BUB
   "OBMZTUT &-# &$ ऩूɾ஝ੵ &5- ղੳ &$ &$ ':
   ΞʔΩςΫνϟʔ εέʔϥϏϦςΟ
   ͳͲʹ՝୊
8. 
    ࣌ؒ෼ͷϩάΛೖྗɺ1ZUIPO
   NVMUJQSPDFTTJOHͰ $16Λ࢖ͬͯ%8)ʹϩʔυՄೳͳܗࣜʹม׵
   ୆͋Δͷ͸ର৅ͷϩά͕एׯҟͳΔͨΊ ૿͑ଓ͚Δϩάʹରͯ͠
   &$ͷεέʔϧΞοϓͰରԠ ౰࣌ͷ&5-ॲཧͷ࣮૷
9. 
    DYMBSHF
   ೥ϦϦʔε
   W$16
   
   (J#
   .FN
   ֹ݄໿ສԁ DYMBSHF
   ೥Լ०ϦϦʔε
   W$16
   
   (J#
   .FN
   ֹ݄໿ສԁ εέʔϧΞοϓ
   ಄ଧͪϦεΫ ίϯϐϡʔςΟϯά࠷దԽΠϯελϯελΠϓ
10. 
       ࣌୆
    &5-ॲཧ    ࣌୆
    &5-ॲཧ ͋Δ࣌ؒͷॲཧ͕௕Ҿ͘ͱޙଓ͕٧·Δ &$ 4 ࣌୆
    &5-ॲཧ &5-ॲཧΠϝʔδ
11. 
     ϩάऩू
    γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOT
    PO
    &$ %FWFMPQFST
    %BUB
    "OBMZTUT &-# &$ ऩूɾ஝ੵ &5- ղੳ &$ &$ ':
    ΞʔΩςΫνϟʔ ՝୊ͷղܾʹணख
12. 
     ৽ΞʔΩςΫνϟʔߏ૝ εέʔϧΞ΢τϞσϧ 4QBSL
    PO
    &.3Λ࠾༻ ॲཧͷಠཱੑ ࣌ؒ෼ͷ&5-ॲཧΛ
    Ϋϥελʔ͕୲౰ ࢖͍ࣺͯՄೳͳ
    &.3όονॲཧج൫
13. 
     ϩάऩू
    γεςϜ 4 3FETIJGU +FOLJOT
    PO
    &$ %FWFMPQFST
    %BUB
    "OBMZTUT &5- ղੳ ऩूɾ஝ੵ ʜ ʜ 4QBSL
    PO
    &.3 )JWF
    PO
    &.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ৽ΞʔΩςΫνϟʔ (MVF
14. 
     ৽ΞʔΩςΫνϟʔͷϙΠϯτ  &.3ͷεςοϓػೳͷ׆༻  -BNCEBʹΑΔ&.3Ϋϥελʔͷ੍ޚ  ϑϧϚωʔδυ)JWFϝλετΞͷ׆༻  ΞυϗοΫ෼ੳ༻&.3Ϋϥελʔͷఏڙ
15. 
     &.3ͷεςοϓػೳͷ׆༻ 1 2 3 4 εςοϓ
    ೚ҙͷॲཧΛॱ൪ʹ࣮ߦ͢Δ࢓૊Έ
    શεςοϓ׬ྃޙʹΫϥελʔΛऴྃ͢Δ౳ͷ੍ޚ͕ ؆୯ʹߦ͑Δ
    ৚݅෼ذ΍܁Γฦ͕͠ͳ͍γϯϓϧͳόονॲཧϑϩʔ Ͱ͋Ε͹εςοϓػೳͰे෼ΧόʔՄೳ
16. 
     &5-ॲཧͷεςοϓ &.3 ຊ൪ࢿࡐ +BS 4IFMM ςετࢿࡐ 4IFMM +BS ੜϩά 1BSRVFU  &5-ॲཧ༻ͷࢿࡐΛ4͔Βμ΢ϯϩʔυ  TEJTUDQͰॲཧର৅ͷϩάΛू໿  TQBSLTVCNJUͰσʔλՃ޻ͱ1BSRVFUม׵Λ࣮ࢪ 1 2 3
17. 
     -BNCEBʹΑΔΫϥελʔ੍ޚ 1 2 3 4 &.3Ϋϥελʔىಈ༻ͷ-BNCEBؔ਺Λ࣮૷
    1ZUIPOͰ3VO+PC'MPXΛίʔϧ
    3VO+PC'MPX͸ύϥϝʔλʔ͕ඇৗʹଟ͍
    ઃఆϑΝΠϧϥΠϒϥϦ)0$0/Ͱ؅ཧ͠࠶ར༻ੑΛ޲্
    1MBZ
    'SBNFXPSLͳͲͰ༗໊ͳ-JHIUCFOE͕ࣾ։ൃ
    ϩάऩूγεςϜͳͲͰ1MBZ
    'SBNFXPSLΛ׆༻ͯ͠ ͓Γ)0$0/ʹ׳Ε͍ͯͨͷ͕࠾༻ཧ༝
18. 
     &5-༻Ϋϥελʔىಈϑϩʔ 1 2 3 4 Name = hourly-etl ReleaseLabel = emr-5.20.0 Steps = [ { spark-submit hourly-etl.jar ${YYYYMMDD}/${HH} } ... IPVSMZDPOG 
    IPVSMZDPOG )0$0/ύʔε
    3VO+PC'MPX࣮ߦ
19. 
     &5-ॲཧͷϦΧόϦʔ ੒ޭ ੒ޭ ࣦഊ ͕ҟৗऴྃ 1 2 3 4 ϦΧόϦ༻ ىಈ༻ Ϋϥελʔͷঢ়ଶΛ
    ఆظతʹνΣοΫ ىಈ༻-BNCEBΛ
    ݺͼग़͠ ࣦഊͨ࣌ؒ͠ͷ
    ΫϥελʔΛىಈ
20. 
     ϑϧϚωʔδυ)JWFϝλετΞ 1 2 3 4 "84
    (MVF
    %BUB
    $BUBMPH
    <&.3
     ରԠ> Ҏલ͸.Z42-
    PO
    3%4Λ)JWFϝλετΞͱͯ͠ར༻
    3%4͕410'ʹͳΒͳ͍Α͏ʹؾΛݣ͏ඞཁ͕͋ͬͨ
    ΫϥελʔΛେྔʹىಈ͢Δͱ઀ଓͰ͖ͳ͍
    FUD
    (MVF
    %BUB
    $BUBMPH͸ϑϧϚωʔδυ͔ͭಉ࣌઀ଓ਺੍ݶͳ͠
21. 
     ΞυϗοΫ෼ੳ༻Ϋϥελʔ ΤϯδχΞ΍ΞφϦετ͕
    ؆୯ʹ&.3ΫϥελʔΛىಈՄೳʹ 1 2 3 4
22. 
     Ϋϥελʔͷམͱ͠๨Ε๷ࢭ 1 2 3 4 I I I ؂ࢹ༻ Ϋϥελʔͷ
    Քಇ࣌ؒΛνΣοΫ 4MBDL௨஌ BEIPDDMVTUFS 
23. 
     ίετͷ࿩ ຖ࣌ͷ&5-ॲཧ͸ҎલΑΓ҆Ձʹ
    εϙοτΠϯελϯεΛੵۃతʹ׆༻͍ͯ͠ΔͨΊ 4શମͷίετ͸૿Ճ܏޲
    ΞυϗοΫ෼ੳ͕ؾܰʹͰ͖ΔͨΊ෼ੳ݁Ռͷσʔλ͕ 4ʹ஝ੵ͍͍ͯͬͯ͠Δ
    ෆཁͳσʔλΛఆظతʹ࡟আ͢ΔΑ͏ͳ࢓૊Έ͕ඞཁ
24. 
     ϩάऩू
    γεςϜ 4 3FETIJGU +FOLJOT
    PO
    &$ %FWFMPQFST
    %BUB
    "OBMZTUT &5- ղੳ ऩूɾ஝ੵ ʜ ʜ 4QBSL
    PO
    &.3 )JWF
    PO
    &.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ࠶ܝ
    ৽ΞʔΩςΫνϟʔ (MVF
25. THANK YOU! ANY QUESTIONS?