Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECS+S3でスクレイピングを試してみた
Search
sug1t0m0
July 05, 2019
Programming
0
1k
ECS+S3でスクレイピングを試してみた
sug1t0m0
July 05, 2019
Tweet
Share
More Decks by sug1t0m0
See All by sug1t0m0
単純パーセプトロンで遊んでみたかった
sug1t0m0
0
700
20181130.pdf
sug1t0m0
0
680
渡る世間はナベばかり」でカルタ遊びをしてみての感想(大津の手法で「ナベ」カードを検出してみた)
sug1t0m0
0
850
Other Decks in Programming
See All in Programming
Jasprが凄い話
hyshu
0
210
ML.NETで始める機械学習
ymd65536
0
260
責務と認知負荷を整える! 抽象レベルを意識した関心の分離
yahiru
9
1.7k
AWS Step Functions は CDK で書こう!
konokenj
5
940
Lambdaの監視、できてますか?Datadogを用いてLambdaを見守ろう
nealle
2
850
5分で理解する SOLID 原則 #phpcon_nagoya
shogogg
1
430
DevNexus - Create AI Infused Java Apps with LangChain4j
kdubois
0
150
PHPのバージョンアップ時にも役立ったAST
matsuo_atsushi
0
250
フロントエンドオブザーバビリティ on Google Cloud
yunosukey
0
110
Visual StudioのGitHub Copilotでいろいろやってみる
tomokusaba
1
240
JAWS Days 2025のインフラ
komakichi
1
370
[JAWS DAYS 2025] 最近の DB の競合解決の仕組みが分かった気になってみた
maroon1st
0
200
Featured
See All Featured
Building Applications with DynamoDB
mza
93
6.3k
Embracing the Ebb and Flow
colly
84
4.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
The Cost Of JavaScript in 2023
addyosmani
47
7.5k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
A designer walks into a library…
pauljervisheath
205
24k
KATA
mclloyd
29
14k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
How STYLIGHT went responsive
nonsquared
99
5.4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Transcript
ECS+S3Ͱ εΫϨΠϐϯάΛࢼͯ͠Έͨ @sug1t0m0_agrict
ࣗݾհ ΤϯδχΞྺ - ϑϩϯτΤϯυ : 1 झຯ - ͓ञ αοΧʔ
ྉཧ ͓ञ ਿࢁ ஐ @sug1t0m0_agrict
ૣɺຊʹ
Ϟνϕʔγϣϯ - PythonͰαΠτΛεΫϨΠϐϯά͢ΔΞϓϦέʔγϣϯΛ࡞ - PythonϩʔΧϧڥΛԚછ͢Δ(Πϝʔδ)ͳͷͰ։ൃڥʹDockerΛબ - Ϋϩʔϥͱͯ͠ϔουϨεϒϥβΛར༻͔ͨͬͨ͠ͷͰɺίϯςφؒ௨৴ ͷ؆୯ԽͷͨΊʹαʔϏεΛ·ͱΊΔ͜ͱʹ ↓ -
2ίϯςφͰ1αʔϏε - ఆظ࣮ߦͱ͔ࢼͯ͠Έ͍ͨ ↓ ECS(ىಈλΠϓFargate)ʹσϓϩΠ (ͨ͠Β͍͍Μ͡Όͳ͍͔ͱࢥͬͨ)
ཧͷܗ
ݱ࣮ͷ
ͬͨ͜ͱ - εΫϨΠϐϯάΞϓϦέʔγϣϯΛDockernize - Ϋϥελ͔Β্هͷDockerίϯςφΛىಈ͢ΔλεΫΛ࣮ߦ - ϩάΛCloudWatchʹग़ྗ - εΫϨΠϐϯάͷग़ྗ݁ՌΛS3ʹอଘ -λεΫͷఆظ࣮ߦ
ݱঢ়
ϋϚͬͨͱ͜Ζ
λεΫ࣮ߦϩʔϧͷϙϦγʔΛΞλονͰ͖ͳ͍ - νϡʔτϦΞϧ: Amazon ECS CLI Λ༻ͯ͠ Fargate λεΫͷΫϥελʔΛ࡞͢ΔΛࢀߟʹ࡞ۀΛਐΊͯ ͍͕ͨҎԼͷίϚϯυ͕͏·࣮͘ߦ͞Εͳ͔ͬͨ
aws iam --region us-west-2 attach-role-policy - -role-name ecsTaskExecutionRole --policy-arn arn:aws:iam::aws:policy/service-role/AmazonECSTaskExecutionRolePolicy
ίϯςφʹڥมΛ͢ - Ϋϥελઃఆը໘͔ΒλεΫఆٛΛબ͠ ͯλεΫΛબ͢Δͱ͖ʹʮίϯςφͷ্ॻ ͖ʯ͔ΒڥมΛઃఆՄೳ
ϓϩηε͕ࢮΜͰκϯϏΈ͍ͨʹ ίϯςφ্ཱ͕͕ͪΔ - αʔϏεΛఆٛ͢Δ͜ͱʹΑΓɺΦʔτε έʔϧίϯςφ͕͚ͨ͜߹ʹ࠶ىಈ͞Ε Δతͳ͜ͱ͕ॻ͍͕ͯ͋ͬͨ͜Ε͕ݪҼ?
ఆظ࣮ߦՄೳͩͬͨ - λεΫͷఆظ࣮ߦΫϥελͷઃఆը໘͔ ΒઃఆՄೳ - cronه๏༻Մೳ
Ռ
·ͱΊ
·ͱΊ - S3ͷΞΫηεΩʔΛڥมͱͯ͠ίϯςφʹ ͕ͨ͠, ͬͱ͍͍ํ๏͕͋Δͣ - 1λεΫͰىಈ͢ΔίϯςφΛ૿ͯ͠ίϯς φؒ௨৴Λࢼͯ͠Έ͍ͨ - ecs-cli
up ίϚϯυͰαϒωοτ͕2ͭఆٛ͞Ε ͨVPC͕ੜ͞ΕΔͷԿނͳͷ͔? (azʹґଘ͢ΔΒ͍͠ɺ࣭ٙԠͷ࣌ؒʹղܾ)