Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECS+S3でスクレイピングを試してみた
Search
sug1t0m0
July 05, 2019
Programming
0
900
ECS+S3でスクレイピングを試してみた
sug1t0m0
July 05, 2019
Tweet
Share
More Decks by sug1t0m0
See All by sug1t0m0
単純パーセプトロンで遊んでみたかった
sug1t0m0
0
610
20181130.pdf
sug1t0m0
0
610
渡る世間はナベばかり」でカルタ遊びをしてみての感想(大津の手法で「ナベ」カードを検出してみた)
sug1t0m0
0
770
Other Decks in Programming
See All in Programming
LPIXEL×CADDi_kaerururu
kaerururu
3
300
WasmOS: Wasmを実行する自作Microkernel
riru
0
370
導入から5年が経って見えた Datadog APM 運用の課題
bgpat
2
540
TDDと今まで
kanayannet
0
140
自動テスト実行結果の目的を整理する / Organizing objectives of automated test results
twada
PRO
10
2.1k
15分間でふんわり理解するDocker @ Matsuriba MAX
ukwhatn
PRO
1
330
IntelliJ IDEA を知らなかった 自分に教えたい小ネタ集 / IntelliJ IDEA Hints for My Past Self
mackey0225
3
150
プロンプトエンジニアリング入門
tomokusaba
2
960
ドメイン・ファーストで考える問題解決に役立つモデル設計 / Domain First Model Design
suzushin54
1
940
品質が高いコードって何?Rev2.1
ickx
1
490
マイクロサービスがほしいと思ったときに本当に必要だったもの〜なぜ人は共通基盤の夢を見るのか〜 / why microservice
77web
5
980
Dockerで始めるAWS Lambda開発
stutkhd0709
13
2.5k
Featured
See All Featured
How to name files
jennybc
62
92k
Six Lessons from altMBA
skipperchong
19
2.9k
For a Future-Friendly Web
brad_frost
170
8.9k
Raft: Consensus for Rubyists
vanstee
130
6.2k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
28
5.9k
How to train your dragon (web standard)
notwaldorf
71
5.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
113
18k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.2k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Fireside Chat
paigeccino
19
2.6k
Navigating Team Friction
lara
177
13k
Transcript
ECS+S3Ͱ εΫϨΠϐϯάΛࢼͯ͠Έͨ @sug1t0m0_agrict
ࣗݾհ ΤϯδχΞྺ - ϑϩϯτΤϯυ : 1 झຯ - ͓ञ αοΧʔ
ྉཧ ͓ञ ਿࢁ ஐ @sug1t0m0_agrict
ૣɺຊʹ
Ϟνϕʔγϣϯ - PythonͰαΠτΛεΫϨΠϐϯά͢ΔΞϓϦέʔγϣϯΛ࡞ - PythonϩʔΧϧڥΛԚછ͢Δ(Πϝʔδ)ͳͷͰ։ൃڥʹDockerΛબ - Ϋϩʔϥͱͯ͠ϔουϨεϒϥβΛར༻͔ͨͬͨ͠ͷͰɺίϯςφؒ௨৴ ͷ؆୯ԽͷͨΊʹαʔϏεΛ·ͱΊΔ͜ͱʹ ↓ -
2ίϯςφͰ1αʔϏε - ఆظ࣮ߦͱ͔ࢼͯ͠Έ͍ͨ ↓ ECS(ىಈλΠϓFargate)ʹσϓϩΠ (ͨ͠Β͍͍Μ͡Όͳ͍͔ͱࢥͬͨ)
ཧͷܗ
ݱ࣮ͷ
ͬͨ͜ͱ - εΫϨΠϐϯάΞϓϦέʔγϣϯΛDockernize - Ϋϥελ͔Β্هͷDockerίϯςφΛىಈ͢ΔλεΫΛ࣮ߦ - ϩάΛCloudWatchʹग़ྗ - εΫϨΠϐϯάͷग़ྗ݁ՌΛS3ʹอଘ -λεΫͷఆظ࣮ߦ
ݱঢ়
ϋϚͬͨͱ͜Ζ
λεΫ࣮ߦϩʔϧͷϙϦγʔΛΞλονͰ͖ͳ͍ - νϡʔτϦΞϧ: Amazon ECS CLI Λ༻ͯ͠ Fargate λεΫͷΫϥελʔΛ࡞͢ΔΛࢀߟʹ࡞ۀΛਐΊͯ ͍͕ͨҎԼͷίϚϯυ͕͏·࣮͘ߦ͞Εͳ͔ͬͨ
aws iam --region us-west-2 attach-role-policy - -role-name ecsTaskExecutionRole --policy-arn arn:aws:iam::aws:policy/service-role/AmazonECSTaskExecutionRolePolicy
ίϯςφʹڥมΛ͢ - Ϋϥελઃఆը໘͔ΒλεΫఆٛΛબ͠ ͯλεΫΛબ͢Δͱ͖ʹʮίϯςφͷ্ॻ ͖ʯ͔ΒڥมΛઃఆՄೳ
ϓϩηε͕ࢮΜͰκϯϏΈ͍ͨʹ ίϯςφ্ཱ͕͕ͪΔ - αʔϏεΛఆٛ͢Δ͜ͱʹΑΓɺΦʔτε έʔϧίϯςφ͕͚ͨ͜߹ʹ࠶ىಈ͞Ε Δతͳ͜ͱ͕ॻ͍͕ͯ͋ͬͨ͜Ε͕ݪҼ?
ఆظ࣮ߦՄೳͩͬͨ - λεΫͷఆظ࣮ߦΫϥελͷઃఆը໘͔ ΒઃఆՄೳ - cronه๏༻Մೳ
Ռ
·ͱΊ
·ͱΊ - S3ͷΞΫηεΩʔΛڥมͱͯ͠ίϯςφʹ ͕ͨ͠, ͬͱ͍͍ํ๏͕͋Δͣ - 1λεΫͰىಈ͢ΔίϯςφΛ૿ͯ͠ίϯς φؒ௨৴Λࢼͯ͠Έ͍ͨ - ecs-cli
up ίϚϯυͰαϒωοτ͕2ͭఆٛ͞Ε ͨVPC͕ੜ͞ΕΔͷԿނͳͷ͔? (azʹґଘ͢ΔΒ͍͠ɺ࣭ٙԠͷ࣌ؒʹղܾ)