ECSにおける バッチ運用について

Transcript

1. ECSʹ͓͚Δ όονӡ༻ʹ͍ͭͯ by hatappi JAWS-UGษڧձʲAWS Summit Tokyo 2017ʳ 1

2. ࣗݾ঺հ • ໊લ: ാத ༔࡞ • hatappi: hatappi1225: • ձࣾ:

   גࣜձࣾSpeee 2

3. 3

4. ΍Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰ૸Β͍ͤͨ • εΫϦϓτͷ࣮ߦॱ൪Λ؅ཧ్ͯ͠தͰམͪͯ΋མ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠ 4

5. ΍Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰ૸Β͍ͤͨ => ECS + Hako • εΫϦϓτͷ࣮ߦॱ൪Λ؅ཧ్ͯ͠தͰམͪͯ΋མ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠

   => Digdag 5

6. ࡞ͬͨ΋ͷ 6

7. ࡞ͬͨ΋ͷ 7 &$4 )BLP
   
   %JHEBHͰ࡞੒͢Δ
   ڧݻͳόονγεςϜͷ࡞੒

8. ࡞ͬͨ΋ͷ 8 &$4 )BLP
   
   %JHEBHͰ࡞੒͢Δ
   ڧݻͳόονγεςϜͷ࡞੒

9. ࡞ͬͨ΋ͷ 9 ڧݻͳ
   cc
   λεΫ͕མͪͯ΋
   ࠶࣮ߦ͢Ε͹Կ౓Ͱ΋ોΔ

10. ࡞ͬͨ΋ͷ 10

11. • Docker Imageͷ࡞੒͸HashiCorpͷPackerΛ࢖༻ • MItamaeͰϓϩϏδϣχϯά • Itamae͸ࣾ಺Ͱଟ͘࢖ΘΕ͓ͯΓMItamae͸Itamaeͷmruby൛ • ࡞੒ͨ͠Πϝʔδ͸ECRʹPush •

    AMIʹ͍ͭͯ΋Packer͔Β࡞੒͍ͯ͠Δ 11

12. • Jenkins͔ΒΩοΫͯ͠όον։࢝ • https://github.com/eagletmt/hako • YAMLͰهࡌ • DockerίϯςφΛσϓϩΠ͢ΔͨΊͷπʔϧ • RunTask

    APIΛΩοΫ͢Δhako oneshot 12

13. hako oneshot • RunTask APIΛ͍ͨͨͯϙʔϦϯά͠ͳ͕ΒऴྃΛ ·ͭ • Ϧιʔε͕଍Γͳ͍࣌͸AutoScalingάϧʔϓ͔Β εέʔϧΞ΢τ΋ͯ͘͠ΕΔ •

    λεΫఆٛͷ؅ཧ 13

14. • Digdag͸TreasureData੡ͷϫʔΫϑϩʔΤϯδϯ • ηογϣϯ৘ใΛDataVolumeʹୀආ͠λεΫ͕ࣦ ഊͯ͠ίϯςφ͕ഁغ͞Εͯ΋࠶౓ཱͯ௚ͨ࣌͠ʹ ଓ͖͔Β࣮ߦͰ͖Δ 14

15. • Digdag͔ΒύϥϨϧ࣮ߦͰhako oneshotͰඞཁͳ ਺͚ͩΠϯελϯεΛਵ࣌௥Ճͭͭ͠λεΫΛ࣮ߦ • ࠷େͰ60͘Β͍ͷλεΫ͕ฒྻͰ૸Δ • ֤λεΫͰࣗ෼͕ऴΘͬͨͷ͔ΛECSͷAPIΛͨͨ ͖ͭͭϙʔϦϯά͢ΔͷͰAPI੍ݶʹ͔͔Δ 15

16. • CloudWatch EventͰECSͷλεΫͷঢ়ଶมԽΛݕ ஌ͯ͠Lambdaؔ਺Λݺͼग़ͯ͠S3ʹ഑ஔ • Hako͸λεΫͷऴ͔ྃͨ͠Ͳ͏͔ΛECS APIͰ͸ ͳ͘S3ʹ͓͔ΕͨϑΝΠϧ͔ΒऔಘͰ͖ΔͷͰͦ ͪΒΛ࢖༻ 16

17. ·ͱΊ • ඞཁͳϩά͸CloudWatch΁ඞཁͳ͍΋ͷ͸ίϯς φͱͱ΋ʹഁغͰ͖Δ • DigdagʹΑͬͯεςʔτ؅ཧ͞ΕΔͷͰ0͔Β͔͠ ελʔτͰ͖ͳ͍ढറ͔Βͷղ์ • ͦΕͧΕ͕ίϯςφͰִ཭͞Ε͍ͯΔͷͰଞʹґଘ ͤͣඞཁ͕͋Ε͹ϦιʔεΛ௥ՃͰ͖Δ

    17