Google にクロールされて AWS に 26 万円請求された話

Transcript

1. Google ʹΫϩʔϧ͞Ε ͯ AWS ʹ 26 ສԁ੥ٻ ͞Εͨ࿩ @labocho
2. about • @labocho (github, twitter, etc..) • ࡾॏݝ௡ࢢࡏॅ • Ruby on Rails ͷडୗ։ൃ (ࣾһ2ਓ) • ࠓճ͸ձࣾؔ܎ͳ͍࿩
4. ຊ୊
5. ൃ୺
6. ͍ͭ΋௨Γ AWS ͔Βͷ੥ٻॻ͕
8. $2499.36 = 26ສԁڧ
9. ͸?
10. ௐࠪ
11. ੥ٻॻΛΈͯΈΔ
13. ϩάΛͱΔ
15. whois Ͱݟͯ΋ Googlebot Β͍͠
16. IP ΞυϨεࢦఆͯ͠ ΞΫηεΛڋ൱ͨ͠Β௜੩Խ
17. ߟ࡯
18. Ի੠ϑΝΠϧΛΞοϓͯ͠ Podcast Ͱௌͨ͘Ίͷ Web ΞϓϦΛ࡞ͬͯͨ
19. ߏ੒ਤ Amazon S3 Ξοϓϩʔυ ϑΟʔυ μ΢ϯϩʔυ Ξοϓϩʔυ Podcast ΞϓϦ
20. ϑΝΠϧͷ URL
21. ϑΟʔυʹ͸ ೝূτʔΫϯ͚ͭͯͨ /channels/:id/feed?auth_token=randomstring
22. Ͳ͔͜Β Podcast ͷ URL ͕ Google ʹ࿙Εͨ?
23. Google Podcast ΞϓϦ?
24. ౰࣌όέοτͷαΠζ͸ 80GB ఔ౓
25. ͳͷʹ 22TB/mo ͷ௨৴
26. ೝূτʔΫϯ͖ͭ URL Λੜ੒
27. https://…/path/to/file? AWSAccessKeyId=XXXXXXXXXX… https://…/path/to/file? AWSAccessKeyId=YYYYYYYYYY… 1 ճ໨ͷΞΫηεͰฦ͢ URL 2 ճ໨ͷΞΫηεͰฦ͢ URL
28. Googlebot ͔Β͸ৗʹҧ͏ ϑΝΠϧʹݟ͑ͨ
29. ରࡦ
30. ରࡦ • robots.txt • app ଆͰਪଌࠔ೉ͳ URL ʹ • ੥ٻΞϥʔϜ (େࣄ)
31. ੥ٻΞϥʔϜ • ੥ٻֹ͕͋Β͔͡Ίઃఆֹͨۚ͠Λ௒͑ͨ࣌ ఺Ͱ௨஌ • $1, $20, $100 ͳͲ͍͔ͭ͘ઃఆ͓ͯ͘͠ͱݟ མͱ͠ʹ͍͘
32. AWS ΁ͷ࿈བྷ
33. ༗ྉαϙʔτܖ໿ͯ͠ ঢ়گΛઆ໌
34. 4೔ޙ...
35. ࠓճʹݶΓ൒෼ʹݮֹ!! ※ Amazon ͞Μͷ͝ްҙͳͷͰɺ ಉ༷ͷέʔεͰ΋ݮֹ͞ΕΔͱ͸ݶΓ·ͤΜ
36. ֶΜͩ͜ͱ
37. ֶΜͩ͜ͱ • Google ͸ Podcast ͷԻ੠ϑΝΠϧ΋Ϋϩʔϧ͠ ͯΔ • ࣗ෼͔͠࢖Θͳ͍ Web ΞϓϦͰ΋ robots.txt ͸ ͪΌΜͱॻ͘ • AWS ࢖ͬͯΔਓ͸͍·͙͢੥ٻΞϥʔτઃఆ͠ ͍ͯͩ͘͞!!!!
38. ͕࣌ؒ͋·ͬͨΒ͏ͪͷೣͰ΋Ͳ͏ͧ