scraping system blueprint using scrapinghub and fargate for collecting POI data

This presentation explains the blueprint of scraping system.

Transcript

1. 4DSBQJOH
   10*
 ECS with Fargate 使 
 定期収集 設計
2. 2 ొஃͷ໨త "84ͷ஌ࣝͷ͋ΔํʑͷલͰ஻Δ ΞυόΠεΛ͍͖ͨͩɺ
   ΑΓྑ͍΋ͷΛ࡞੒
3. 3 ຊ೔ͷ͋Β͢͡ ఆظऩूγεςϜ࡞੒ͷഎܠ ఆظऩूγεςϜ࡞੒ͷཁ݅ γεςϜͷઃܭ ·ͱΊ
4. 4 ຊ೔ͷ͋Β͢͡ ఆظऩूγεςϜ࡞੒ͷഎܠ ఆظऩूγεςϜ࡞੒ͷཁ݅ γεςϜͷઃܭ ·ͱΊ
5. 5 ༷ʑͳछྨͷ10*Λऩूͯ͠·͢ γϣοϐϯάϞʔϧ ؍ޫ஍ Πϕϯτܥࢪઃ νΣʔϯళ
6. 6 ༷ʑͳछྨͷ10*Λऩूͯ͠·͢ γϣοϐϯάϞʔϧ ؍ޫ஍ Πϕϯτܥࢪઃ νΣʔϯళ ࠓ೔ͷϝΠϯ εΫϨΠϐϯάͰऔಘ͍ͯ͠·͢
7. ఆظऩू͢Δ໨త 7 νΣʔϯళ͸Α͘ঢ়ଶมԽ͢Δ
   ด࠯ళฮ΍৽نళฮͷ೺Ѳ΋Մೳ σʔλͷ઱౓Λอͭ σʔλऩू࡞ۀͷࣗಈԽ σʔλऩूΛࣗಈԽ͢Δ͜ͱͰɺ
   ௕ظతͳ޻਺࡟ݮΛ࣮ݱ͢Δ ޮՌੑ ޮ཰ੑ
8. 8 ຊ೔ͷ͋Β͢͡ ఆظऩूγεςϜ࡞੒ͷഎܠ ఆظऩूγεςϜ࡞੒ͷཁ݅ γεςϜͷઃܭ ·ͱΊ
9. 10*σʔλϕʔεߏங·Ͱͷ̏εςοϓ ళฮ63-Ϧετ Λऔಘ ళฮৄࡉ৘ใ
 Λऔಘ औಘͨ͠
 σʔλͷՃ޻ ׬੒ 9 45&1 45&1 45&1
10. 
    ݱঢ় 10 ɾ൚༻εύΠμʔ
 ɾ४൚༻εύΠμʔ
 ɾ֎஫εύΠμʔ
 ɾTDSBQJOHIVC &$্ʹଘࡏ εύΠμʔ͕ෳ਺ݸଘࡏ εύΠμʔʹઃఆ஋ΛૹΔ͜ͱͰɺ
 εύΠμʔىಈ ઃఆ஋ͰεύΠμʔΛ࣮ߦ ۀ຿ҕୗ͞Μʹ࡞੒ґཔ͍ͯ͠Δ
 ઃఆ஋͸%SPQCPY্ʹ֨ೲ ESPQCPYͷར༻ ࢖༻εύΠμʔͷࢦఆػೳ ىಈεύΠμʔͱઃఆ஋ͷ࿈ܞ ESPQCPYͱ"84ͱͷ࿈ܞ
11. γεςϜʹ.VTUͰ૊ΈࠐΈ͍ͨػೳɾઃܭ 11 ɾ࢛൒ظʹҰճ࣮ߦ
 ɾδϣϒ੍ݶ਺͔Βδϣϒௐ੔ εέδϡʔϦϯά ɾਐḿ௨஌
 ɾ׬ྃ௨஌
 ɾࣦഊ௨஌ ϝʔϧɾεϥοΫ௨஌ػೳ ɾ೔ʑXFCٕज़͕৽͘͠ͳ͍ͬͯΔ
 ɾ൚༻εύΠμʔ͸·ͩվम͢Δඞཁ͋Γ
 ɾίʔυͷมߋΛͦͷ··൓өͰ͖Δঢ়ଶ
 ɾςετͱ͔΋͠΍͘͢
 ɾ։ൃͱຊ൪ͷҠಈΛ؆୯ʹ ίʔυɾ؀ڥͷߋ৽͕༰қ
12. γεςϜʹ.VTUͰ૊ΈࠐΈ͍ͨػೳɾઃܭ 12 ɾ࢛൒ظʹҰճ࣮ߦ
 ɾδϣϒ੍ݶ਺͔Βδϣϒௐ੔ εέδϡʔϦϯά ɾਐḿ௨஌
 ɾ׬ྃ௨஌
 ɾࣦഊ௨஌ ϝʔϧɾεϥοΫ௨஌ػೳ ɾ೔ʑXFCٕज़͕৽͘͠ͳ͍ͬͯΔ
 ɾ൚༻εύΠμʔ͸·ͩվम͢Δඞཁ͋Γ
 ɾίʔυͷมߋΛͦͷ··൓өͰ͖Δঢ়ଶ
 ɾςετͱ͔΋͠΍͘͢
 ɾ։ൃͱຊ൪ͷҠಈΛ؆୯ʹ ίʔυɾ؀ڥͷߋ৽͕༰қ DSPO౳ 4&4
13. 13 EPDLFSͷಛ௃ *OGSBTUSVDUVSF
    BT
    $PEF *NNVUBCMF
    *OGSBTUSVDUVSF %PDLFSGJMFͰόʔδϣϯ؅ཧ͕Մೳ ؀ڥͷઃఆ؅ཧ͕ෆཁ
14. γεςϜʹ.VTUͰ૊ΈࠐΈ͍ͨػೳɾઃܭ 14 ɾ࢛൒ظʹҰճ࣮ߦ
 ɾδϣϒ੍ݶ਺͔Βδϣϒௐ੔ εέδϡʔϦϯά ɾਐḿ௨஌
 ɾ׬ྃ௨஌
 ɾࣦഊ௨஌ ϝʔϧɾεϥοΫ௨஌ػೳ ɾ೔ʑXFCٕज़͕৽͘͠ͳ͍ͬͯΔ
 ɾ൚༻εύΠμʔ͸·ͩվम͢Δඞཁ͋Γ
 ɾίʔυͷมߋΛͦͷ··൓өͰ͖Δঢ়ଶ
 ɾςετͱ͔΋͠΍͍͢ ίʔυɾ؀ڥͷߋ৽͕༰қ DSPO౳ 4&4 ίϯςφӡ༻
15. γεςϜʹ.VTUͰ૊ΈࠐΈ͍ͨػೳɾઃܭ 15 ɾ࢛൒ظʹҰճ࣮ߦ
 ɾδϣϒ੍ݶ਺͔Βδϣϒௐ੔ εέδϡʔϦϯά ɾਐḿ௨஌
 ɾ׬ྃ௨஌
 ɾࣦഊ௨஌ ϝʔϧɾεϥοΫ௨஌ػೳ ɾ೔ʑXFCٕज़͕৽͘͠ͳ͍ͬͯΔ
 ɾ൚༻εύΠμʔ͸·ͩվम͢Δඞཁ͋Γ
 ɾίʔυͷมߋΛͦͷ··൓өͰ͖Δঢ়ଶ
 ɾςετͱ͔΋͠΍͍͢ ίʔυɾ؀ڥͷߋ৽͕༰қ DSPO౳ 4&4 ίϯςφӡ༻ ͜ΕΛຬͨ͢Α͏ʹઃܭͯ͠ΈΑ͏
16. 16 ຊ೔ͷ͋Β͢͡ ఆظऩूγεςϜ࡞੒ͷഎܠ ఆظऩूγεςϜ࡞੒ͷཁ݅ γεςϜͷઃܭ ·ͱΊ
17. 17 ͜ͷཁ݅ͳΒɾɾɾ &$ container 1 container 2 container 3 EPDLFSDPNQPTFͳͲΛར༻͠ɺ
    ՝Ͱར༻͍ͯ͠Δ&$্Ͱ࣮૷Ͱ͖ͦ͏
18. ઃܭͷશମ૾ ઃఆ஋ͷ
    ΍ΓͱΓ ఆظಉظ &$ 63-Ϧετ֫ಘ ৄࡉ৘ใऔಘ σʔλՃ޻ औಘ݁Ռ Ճ޻ޙ࠷ऴσʔλ .BTUFS 4503& 4503& ΦϯΦϑͷ੍ޚ
 ϦΫΤετͷ੍ޚ ઃఆ஋DB 18 ͋Δఔ౓ճͬͨΒɺ ෳ਺ϒϥϯυΛ
 ·ͱΊͯॲཧ͢Δ ઃఆ஋ϑΝΠϧΛ
 શͯ֨ೲ
19. 19 ͪΐͬͱ଴͍ͬͯͩ͘͞
20. 20 ͜ͷ··ͷઃܭͩͱɾɾɾ &$ͷఀࢭ γεςϜͷఀࢭ
21. 21 ͜Εͩͱσʔλ͕ߋ৽͞ΕͣʹࠔΔ
22. 22 ͜ͷ··ͷઃܭͩͱɾɾɾ &$ͷఀࢭ γεςϜͷఀࢭ αʔόʔ֎Ͱ࣮ߦͰ͖ΔΑ͏ʹ͍ͨ͠ʂʂ
    ˠ&$4
    XJUI
    'BSHBUFΛ࢖ͬͯΈΑ͏ʂ
23. -BNCEB
    WT
    &$
    WT
    &$4
    XJUI
    'BSHBUF 23 αʔόʔؔ܎Ͱͷ
 ؅ཧ͕ෆཁ ఏڙ͞Εͨ؀ڥͰ࣮ߦ ࣗ෼Ͱఆٛͨ͠؀ڥͰ࣮ߦ ଞʹ΋༷ʑͳ੍໿͋Γ -BNCEB &$4
    XJUI
    'BSHBUF &$ αʔόʔؔ܎Ͱͷ
    ؅ཧ͕ඞཁ ΑΓॊೈʹ؀ڥߏங͕Մೳ
24. 24 'BSHBUFͷѱ͔ͬͨ෦෼ ࢀߟURLɿhttps://aws.amazon.com/jp/about-aws/whats-new/2019/01/announcing-aws-fargate-price-reduction-by-up-to-50-/ େ෯ʹίετ͕Լ͕ͬͨ
    ˠ&$4
    XJUI
    'BSHBUFͰߦͬͨΔʂ
25. ઃܭͷશମ૾ ઃఆ஋ͷ
    ΍ΓͱΓ ఆظಉظ '"3
    ("5& 63-Ϧετ֫ಘ ৄࡉ৘ใऔಘ σʔλՃ޻ औಘ݁Ռ Ճ޻ޙ࠷ऴσʔλ .BTUFS 4503& 4503& ΦϯΦϑͷ੍ޚɾϦΫΤετͷ ੍ޚ ઃఆ஋DB 25 ͋Δఔ౓ճͬͨΒɺ ෳ਺ϒϥϯυΛ
 ·ͱΊͯॲཧ͢Δ ઃఆ஋ϑΝΠϧΛ
 શͯ֨ೲ
26. .BTUFSίϯςφ εΫϨΠϐϯάॲཧͷ੍ޚ ઃఆ஋%#ʹج͍ͮͨ
    εέδϡʔϦϯά ਐḿ௨஌ػೳ 26 .BTUFS ֤޻ఔίϯςφ
27. 63-औಘίϯςφ 27 .BTUFS 4΁औಘσʔλͷసૹ .BTUFS͔Βͷઃఆ஋ͷ
    సૹ ਐḿɾΤϥʔ௨஌ػೳ 63-औಘ
 ίϯςφ ֎஫εύΠμʔͷىಈ औಘσʔλͷ൑ఆػೳ
28. ৄࡉ৘ใ֫ಘίϯςφ 28 .BTUFS ళฮ৘ใऔಘ
 ίϯςφ 4΁औಘσʔλͷసૹ .BTUFS͔Βͷઃఆ஋ͷ
    సૹ ਐḿɾΤϥʔ௨஌ػೳ
    εύΠμʔͷબ୒ औಘσʔλͷ൑ఆػೳ
29. σʔλՃ޻ίϯςφ 29 4΁औಘσʔλͷసૹ .BTUFS͔Βͷઃఆ஋ͷ
    సૹ ਐḿɾΤϥʔ௨஌ػೳ ཷ·ͬͨσʔλΛ·ͱΊΔ
    ػೳ ϑΥʔϚοτ੔ܗ .BTUFS σʔλՃ޻
 ίϯςφ
30. 30 ຊ೔ͷ͋Β͢͡ ఆظऩूγεςϜ࡞੒ͷഎܠ ఆظऩूγεςϜ࡞੒ͷཁ݅ γεςϜͷઃܭ ·ͱΊ
31. 31 ·ͱΊ λεΫͷ࿈݁Ͱઃܭ͢Δ͜ͱ͕Ͱ͖Δ
    ɹ؆୯ͰΘ͔Γ΍͍͢ʂ 4&4͸ઃఆ͕؆୯͔ͩΒɺศརʂʂ ༨ஊ -BNCEBΛ࢖͏ΑΓ΋੍໿ͳ͘ॊೈʹ
    ઃܭɾߏஙͰ͖Δ͔Βݸਓతʹ͸خ͍͠ʂʂ αʔόʔͷ؅ཧΛߦ͏ඞཁͳ͍͔ΒϥΫʂ
32. 2019/2/22 32 Thank you ΞυόΠε͓଴͍ͪͯ͠·͢