Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECS+S3でスクレイピングを試してみた
Search
sug1t0m0
July 05, 2019
Programming
0
1k
ECS+S3でスクレイピングを試してみた
sug1t0m0
July 05, 2019
Tweet
Share
More Decks by sug1t0m0
See All by sug1t0m0
単純パーセプトロンで遊んでみたかった
sug1t0m0
0
730
20181130.pdf
sug1t0m0
0
700
渡る世間はナベばかり」でカルタ遊びをしてみての感想(大津の手法で「ナベ」カードを検出してみた)
sug1t0m0
0
890
Other Decks in Programming
See All in Programming
The State of Fluid (2025)
s2b
0
200
Namespace and Its Future
tagomoris
5
390
サーバーサイドのビルド時間87倍高速化
plaidtech
PRO
0
500
デザインシステムが必須の時代に
yosuke_furukawa
PRO
2
110
TanStack DB ~状態管理の新しい考え方~
bmthd
2
340
Flutterと Vibe Coding で個人開発!
hyshu
1
270
為你自己學 Python - 冷知識篇
eddie
1
170
ライブ配信サービスの インフラのジレンマ -マルチクラウドに至ったワケ-
mirrativ
2
270
UbieのAIパートナーを支えるコンテキストエンジニアリング実践
syucream
2
730
LLMOpsのパフォーマンスを支える技術と現場で実践した改善
po3rin
8
980
tool ディレクティブを導入してみた感想
sgash708
1
150
一人でAIプロダクトを作るための工夫 〜技術選定・開発プロセス編〜 / I want AI to work harder
rkaga
13
2.8k
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
73
5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Visualization
eitanlees
147
16k
Designing for Performance
lara
610
69k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Embracing the Ebb and Flow
colly
87
4.8k
Building Applications with DynamoDB
mza
96
6.6k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
A Tale of Four Properties
chriscoyier
160
23k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
ECS+S3Ͱ εΫϨΠϐϯάΛࢼͯ͠Έͨ @sug1t0m0_agrict
ࣗݾհ ΤϯδχΞྺ - ϑϩϯτΤϯυ : 1 झຯ - ͓ञ αοΧʔ
ྉཧ ͓ञ ਿࢁ ஐ @sug1t0m0_agrict
ૣɺຊʹ
Ϟνϕʔγϣϯ - PythonͰαΠτΛεΫϨΠϐϯά͢ΔΞϓϦέʔγϣϯΛ࡞ - PythonϩʔΧϧڥΛԚછ͢Δ(Πϝʔδ)ͳͷͰ։ൃڥʹDockerΛબ - Ϋϩʔϥͱͯ͠ϔουϨεϒϥβΛར༻͔ͨͬͨ͠ͷͰɺίϯςφؒ௨৴ ͷ؆୯ԽͷͨΊʹαʔϏεΛ·ͱΊΔ͜ͱʹ ↓ -
2ίϯςφͰ1αʔϏε - ఆظ࣮ߦͱ͔ࢼͯ͠Έ͍ͨ ↓ ECS(ىಈλΠϓFargate)ʹσϓϩΠ (ͨ͠Β͍͍Μ͡Όͳ͍͔ͱࢥͬͨ)
ཧͷܗ
ݱ࣮ͷ
ͬͨ͜ͱ - εΫϨΠϐϯάΞϓϦέʔγϣϯΛDockernize - Ϋϥελ͔Β্هͷDockerίϯςφΛىಈ͢ΔλεΫΛ࣮ߦ - ϩάΛCloudWatchʹग़ྗ - εΫϨΠϐϯάͷग़ྗ݁ՌΛS3ʹอଘ -λεΫͷఆظ࣮ߦ
ݱঢ়
ϋϚͬͨͱ͜Ζ
λεΫ࣮ߦϩʔϧͷϙϦγʔΛΞλονͰ͖ͳ͍ - νϡʔτϦΞϧ: Amazon ECS CLI Λ༻ͯ͠ Fargate λεΫͷΫϥελʔΛ࡞͢ΔΛࢀߟʹ࡞ۀΛਐΊͯ ͍͕ͨҎԼͷίϚϯυ͕͏·࣮͘ߦ͞Εͳ͔ͬͨ
aws iam --region us-west-2 attach-role-policy - -role-name ecsTaskExecutionRole --policy-arn arn:aws:iam::aws:policy/service-role/AmazonECSTaskExecutionRolePolicy
ίϯςφʹڥมΛ͢ - Ϋϥελઃఆը໘͔ΒλεΫఆٛΛબ͠ ͯλεΫΛબ͢Δͱ͖ʹʮίϯςφͷ্ॻ ͖ʯ͔ΒڥมΛઃఆՄೳ
ϓϩηε͕ࢮΜͰκϯϏΈ͍ͨʹ ίϯςφ্ཱ͕͕ͪΔ - αʔϏεΛఆٛ͢Δ͜ͱʹΑΓɺΦʔτε έʔϧίϯςφ͕͚ͨ͜߹ʹ࠶ىಈ͞Ε Δతͳ͜ͱ͕ॻ͍͕ͯ͋ͬͨ͜Ε͕ݪҼ?
ఆظ࣮ߦՄೳͩͬͨ - λεΫͷఆظ࣮ߦΫϥελͷઃఆը໘͔ ΒઃఆՄೳ - cronه๏༻Մೳ
Ռ
·ͱΊ
·ͱΊ - S3ͷΞΫηεΩʔΛڥมͱͯ͠ίϯςφʹ ͕ͨ͠, ͬͱ͍͍ํ๏͕͋Δͣ - 1λεΫͰىಈ͢ΔίϯςφΛ૿ͯ͠ίϯς φؒ௨৴Λࢼͯ͠Έ͍ͨ - ecs-cli
up ίϚϯυͰαϒωοτ͕2ͭఆٛ͞Ε ͨVPC͕ੜ͞ΕΔͷԿނͳͷ͔? (azʹґଘ͢ΔΒ͍͠ɺ࣭ٙԠͷ࣌ؒʹղܾ)