Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECSにおける バッチ運用について
Search
hatappi
June 02, 2017
Technology
4
1.3k
ECSにおける バッチ運用について
ECS + Hako + Digdagによるバッチ運用
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
hatappi
June 02, 2017
Tweet
Share
More Decks by hatappi
See All by hatappi
Cloudflare を活用して変わったメルカリの開発体験 / How Cloudflare Changed Mercari's Development Experience
hatappi
1
640
RubyではじめるGraphQL
hatappi
0
850
RubyでChainerつくってます!!
hatappi
2
1.4k
TDDな個人開発
hatappi
0
310
できるだけ楽して楽しくRails開発しよう
hatappi
2
330
EKSにRailsをのせた
hatappi
1
1.2k
RubyとApache Arrow
hatappi
0
2.4k
Red Chainerを なぜ作って今後どうするのか
hatappi
2
2.4k
Fargateで夢は見られるのか
hatappi
1
2.2k
Other Decks in Technology
See All in Technology
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
200
Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30
indigo13love
0
290
AI駆動開発 with MixLeap Study【大阪支部 #3】
lycorptech_jp
PRO
0
270
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
2
100
M365アカウント侵害時の初動対応
lhazy
7
5.1k
【2025 Japan AWS Jr. Champions Ignition】点から線、線から面へ〜僕たちが起こすコラボレーション・ムーブメント〜
amixedcolor
1
110
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.7k
会社もクラウドも違うけど 通じたコスト削減テクニック/Cost optimization strategies effective regardless of company or cloud provider
aeonpeople
2
380
興味の胞子を育て 業務と技術に広がる”きのこ力”
fumiyasac0921
0
300
Tiptapで実現する堅牢で柔軟なエディター開発
kirik
1
160
Recoil脱却の現状と挑戦
kirik
3
480
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
2
750
Featured
See All Featured
Embracing the Ebb and Flow
colly
86
4.8k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Done Done
chrislema
184
16k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
RailsConf 2023
tenderlove
30
1.2k
Building Adaptive Systems
keathley
43
2.7k
Raft: Consensus for Rubyists
vanstee
140
7k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
ECSʹ͓͚Δ όονӡ༻ʹ͍ͭͯ by hatappi JAWS-UGษڧձʲAWS Summit Tokyo 2017ʳ 1
ࣗݾհ • ໊લ: ാத ༔࡞ • hatappi: hatappi1225: • ձࣾ:
גࣜձࣾSpeee 2
3
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠ 4
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ => ECS + Hako • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠
=> Digdag 5
࡞ͬͨͷ 6
࡞ͬͨͷ 7 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 8 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 9 ڧݻͳ cc λεΫ͕མͪͯ ࠶࣮ߦ͢ΕԿͰોΔ
࡞ͬͨͷ 10
• Docker Imageͷ࡞HashiCorpͷPackerΛ༻ • MItamaeͰϓϩϏδϣχϯά • ItamaeࣾͰଟ͘ΘΕ͓ͯΓMItamaeItamaeͷmruby൛ • ࡞ͨ͠ΠϝʔδECRʹPush •
AMIʹ͍ͭͯPacker͔Β࡞͍ͯ͠Δ 11
• Jenkins͔ΒΩοΫͯ͠όον։࢝ • https://github.com/eagletmt/hako • YAMLͰهࡌ • DockerίϯςφΛσϓϩΠ͢ΔͨΊͷπʔϧ • RunTask
APIΛΩοΫ͢Δhako oneshot 12
hako oneshot • RunTask APIΛ͍ͨͨͯϙʔϦϯά͠ͳ͕ΒऴྃΛ ·ͭ • Ϧιʔε͕Γͳ͍࣌AutoScalingάϧʔϓ͔Β εέʔϧΞτͯ͘͠ΕΔ •
λεΫఆٛͷཧ 13
• DigdagTreasureDataͷϫʔΫϑϩʔΤϯδϯ • ηογϣϯใΛDataVolumeʹୀආ͠λεΫ͕ࣦ ഊͯ͠ίϯςφ͕ഁغ͞Εͯ࠶ཱͯͨ࣌͠ʹ ଓ͖͔Β࣮ߦͰ͖Δ 14
• Digdag͔ΒύϥϨϧ࣮ߦͰhako oneshotͰඞཁͳ ͚ͩΠϯελϯεΛਵ࣌Ճͭͭ͠λεΫΛ࣮ߦ • ࠷େͰ60͘Β͍ͷλεΫ͕ฒྻͰΔ • ֤λεΫͰ͕ࣗऴΘͬͨͷ͔ΛECSͷAPIΛͨͨ ͖ͭͭϙʔϦϯά͢ΔͷͰAPI੍ݶʹ͔͔Δ 15
• CloudWatch EventͰECSͷλεΫͷঢ়ଶมԽΛݕ ͯ͠LambdaؔΛݺͼग़ͯ͠S3ʹஔ • HakoλεΫͷऴ͔ྃͨ͠Ͳ͏͔ΛECS APIͰ ͳ͘S3ʹ͓͔ΕͨϑΝΠϧ͔ΒऔಘͰ͖ΔͷͰͦ ͪΒΛ༻ 16
·ͱΊ • ඞཁͳϩάCloudWatchඞཁͳ͍ͷίϯς φͱͱʹഁغͰ͖Δ • DigdagʹΑͬͯεςʔτཧ͞ΕΔͷͰ0͔Β͔͠ ελʔτͰ͖ͳ͍ढറ͔Βͷղ์ • ͦΕͧΕ͕ίϯςφͰִ͞Ε͍ͯΔͷͰଞʹґଘ ͤͣඞཁ͕͋ΕϦιʔεΛՃͰ͖Δ
17