Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECSにおける バッチ運用について
Search
hatappi
June 02, 2017
Technology
4
1.3k
ECSにおける バッチ運用について
ECS + Hako + Digdagによるバッチ運用
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
hatappi
June 02, 2017
Tweet
Share
More Decks by hatappi
See All by hatappi
Cloudflare を活用して変わったメルカリの開発体験 / How Cloudflare Changed Mercari's Development Experience
hatappi
1
630
RubyではじめるGraphQL
hatappi
0
850
RubyでChainerつくってます!!
hatappi
2
1.4k
TDDな個人開発
hatappi
0
310
できるだけ楽して楽しくRails開発しよう
hatappi
2
330
EKSにRailsをのせた
hatappi
1
1.2k
RubyとApache Arrow
hatappi
0
2.4k
Red Chainerを なぜ作って今後どうするのか
hatappi
2
2.4k
Fargateで夢は見られるのか
hatappi
1
2.2k
Other Decks in Technology
See All in Technology
SmartNewsにおける 1000+ノード規模 K8s基盤 でのコスト最適化 – Spot・Gravitonの大規模導入への挑戦
vsanna2
0
120
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
240
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
240
AI時代の開発生産性を加速させるアーキテクチャ設計
plaidtech
PRO
3
120
ビズリーチにおけるリアーキテクティング実践事例 / JJUG CCC 2025 Spring
visional_engineering_and_design
1
110
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
440
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
160
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
450
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
140
本が全く読めなかった過去の自分へ
genshun9
0
920
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
240
React開発にStorybookとCopilotを導入して、爆速でUIを編集・確認する方法
yu_kod
1
230
Featured
See All Featured
A Tale of Four Properties
chriscoyier
160
23k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Being A Developer After 40
akosma
90
590k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Designing Experiences People Love
moore
142
24k
4 Signs Your Business is Dying
shpigford
184
22k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Transcript
ECSʹ͓͚Δ όονӡ༻ʹ͍ͭͯ by hatappi JAWS-UGษڧձʲAWS Summit Tokyo 2017ʳ 1
ࣗݾհ • ໊લ: ാத ༔࡞ • hatappi: hatappi1225: • ձࣾ:
גࣜձࣾSpeee 2
3
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠ 4
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ => ECS + Hako • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠
=> Digdag 5
࡞ͬͨͷ 6
࡞ͬͨͷ 7 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 8 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 9 ڧݻͳ cc λεΫ͕མͪͯ ࠶࣮ߦ͢ΕԿͰોΔ
࡞ͬͨͷ 10
• Docker Imageͷ࡞HashiCorpͷPackerΛ༻ • MItamaeͰϓϩϏδϣχϯά • ItamaeࣾͰଟ͘ΘΕ͓ͯΓMItamaeItamaeͷmruby൛ • ࡞ͨ͠ΠϝʔδECRʹPush •
AMIʹ͍ͭͯPacker͔Β࡞͍ͯ͠Δ 11
• Jenkins͔ΒΩοΫͯ͠όον։࢝ • https://github.com/eagletmt/hako • YAMLͰهࡌ • DockerίϯςφΛσϓϩΠ͢ΔͨΊͷπʔϧ • RunTask
APIΛΩοΫ͢Δhako oneshot 12
hako oneshot • RunTask APIΛ͍ͨͨͯϙʔϦϯά͠ͳ͕ΒऴྃΛ ·ͭ • Ϧιʔε͕Γͳ͍࣌AutoScalingάϧʔϓ͔Β εέʔϧΞτͯ͘͠ΕΔ •
λεΫఆٛͷཧ 13
• DigdagTreasureDataͷϫʔΫϑϩʔΤϯδϯ • ηογϣϯใΛDataVolumeʹୀආ͠λεΫ͕ࣦ ഊͯ͠ίϯςφ͕ഁغ͞Εͯ࠶ཱͯͨ࣌͠ʹ ଓ͖͔Β࣮ߦͰ͖Δ 14
• Digdag͔ΒύϥϨϧ࣮ߦͰhako oneshotͰඞཁͳ ͚ͩΠϯελϯεΛਵ࣌Ճͭͭ͠λεΫΛ࣮ߦ • ࠷େͰ60͘Β͍ͷλεΫ͕ฒྻͰΔ • ֤λεΫͰ͕ࣗऴΘͬͨͷ͔ΛECSͷAPIΛͨͨ ͖ͭͭϙʔϦϯά͢ΔͷͰAPI੍ݶʹ͔͔Δ 15
• CloudWatch EventͰECSͷλεΫͷঢ়ଶมԽΛݕ ͯ͠LambdaؔΛݺͼग़ͯ͠S3ʹஔ • HakoλεΫͷऴ͔ྃͨ͠Ͳ͏͔ΛECS APIͰ ͳ͘S3ʹ͓͔ΕͨϑΝΠϧ͔ΒऔಘͰ͖ΔͷͰͦ ͪΒΛ༻ 16
·ͱΊ • ඞཁͳϩάCloudWatchඞཁͳ͍ͷίϯς φͱͱʹഁغͰ͖Δ • DigdagʹΑͬͯεςʔτཧ͞ΕΔͷͰ0͔Β͔͠ ελʔτͰ͖ͳ͍ढറ͔Βͷղ์ • ͦΕͧΕ͕ίϯςφͰִ͞Ε͍ͯΔͷͰଞʹґଘ ͤͣඞཁ͕͋ΕϦιʔεΛՃͰ͖Δ
17