Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと

2015-03-29 第2回 “Learning Spark” 読書会 LT

Transcript

1. "NB[PO
   &.3
   Ͱͷόονॲཧ
   4QBSL
   ΞϓϦέʔγϣϯӡ༻Ͱ
   ؾΛ͚͍ͭͨ͜ͱ
   
   ୈճ
   l-FBSOJOH
   4QBSLz
   ಡॻձ
   -5
   !TPPOSBBI
   
2. "(&/%"
   •  "NB[PO
   &.3
   •  Πϯελϯεੑೳ
   WT
   ίετ
   •  +PC
   qPX
   Λ։࢝Ͱ͖ͳ͍৔߹ͷอݥ
   •  XFC
   6*
   ͷݟํ
   •  ·ͱΊ
   2
3. "NB[PO
   &.3
   &MBTUJD
   .BQ3FEVDF
   •  )BEPPQ
   ϑϨʔϜϫʔΫΛΫϥ΢υఏڙ
   •  )%'4
   Λར༻Մೳ
   •  4QBSL
   ΍
   1SFTUP
   ౳Λ࣮ߦՄೳ
   •  ॳظඅ༻Λ཈͑ͯ෼ࢄॲཧΛࢼͤΔ
   •  όονॲཧ޲͖ʁ
   
   3
4. Πϯελϯεੑೳ
   WT
   ίετ
   •  ҎԼͷཁૉΛߟྀܾͯ͠ఆ
   •  ඞཁͳϝϞϦྔ͸ʁ
   •  ϩʔΧϧͰͷ࣮ݧ΍
   4QBSL
   XFC
   6*
   ͔Βݟੵ
   •  ཁٻ͞ΕΔॲཧ࣌ؒ͸ʁ
   •  ϩʔΧϧͰͷ࣮ݧͰݟੵ
   •  ༧ࢉʹऩ·Δ͔ʁ
   •  εϙοτΠϯελϯεͷ৔߹͸࣌Ձ
   •  ೖࡳՁ֨ͷࢦఆ
   4
5. ΠϯελϯεՁ֨มಈ͸େ͖͍ʜ
   5
6. +PC
   qPX
   Λ։࢝Ͱ͖ͳ͍৔߹ͷอݥ
   •  +PC
   Λ։࢝Ͱ͖ͳ͍
   
   •  #PPUTUSBQ
   "DUJPO
   Ͱͷࣦഊ
   •  ೖࡳՁ͕֨࣌ՁΑΓ௿͍
   •  ΘΓͱى͜Δ
   •  &.3
   KPC
   qPX
   ϦΫΤετଆʹอݥͷॲཧΛ
   •  +PC
   qPX
   Λ؂ࢹ
   •  ࣦഊͨ͠ΒΠϯελϯελΠϓ΍ೖࡳՁ֨Λ
   ม͑ͯϦτϥΠ͢Δ࢓૊Έ
   6
7. 8FC
   6*
   •  ࣮ߦதͷϝτϦΫε͕ݟΕΔ
   •  εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ
   •  ֤
   3%%
   ͷ࢖༻ϝϞϦྔ
   •  ϊʔυ৘ใ
   •  Ϧιʔεௐ੔΍νϡʔχϯάͷͨΊʹ
   7
8. 8FC
   6*
   8
9. 8FC
   6*
   ͷݟํʢʣ
   9
10. 8FC
    6*
    ͷݟํʢʣ
    10
11. 8FC
    6*
    ͷݟํʢʣ
    11
12. 8FC
    6*
    ͷݟํʢʣ
    12
13. 8FC
    6*
    ͷݟํʢʣ
    13
14. ·ͱΊ
    •  ඞཁͳΠϯελϯεੑೳΛݟੵ΋ͬͯίετΛ
    ܭࢉ͠Α͏
    •  +PC
    qPX
    ͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ
    ӡ༻Λָʹ͠Α͏
    •  8FC
    6*
    ΛݟΑ͏
    14