1人月で50万件以上のデータをクロールして検索可能にした話

2018年6月1日に行われたAWS主催の「Startup Archiitecture of the Year 2018」にてMESON COOの小林が発表した自社アーキテクチャに関する発表内容です。
#AWS #AWSSummit #Fargate

Transcript

1. 1ਓ݄Ͱ50ສ݅Ҏ্ͷσʔλΛ
   Ϋϩʔϧͯ͠ݕࡧՄೳʹͨ͠࿩
   MESON COO
   খྛ༎थ
   

   View Slide

2. খྛ༎थʢAR͓͡͞Μʣ
   גࣜձࣾMESON COO
   ޷͖ͳαʔϏεɿFargate
   @AR_Ojisan
   

   View Slide

3. heymesh: Search engine for 3D models
   13αΠτ, 50ສ݅Λ௒͑Δ3DϞσϧσʔλΛԣஅݕࡧ
   

   View Slide

4. heymesh: Search engine for 3D models
   ϥΠηϯε΍Ձ֨ɺεϖοΫͰͷϑΟϧλϦϯάɹ
   

   View Slide

5. heymeshΛࢧ͑ΔAWSαʔϏε
   Fargate
   Elasticsearch
   Service
   DynamoDB NLB Lambda
   

   View Slide

6. git push
   ΤϯδχΞ
   Ϣʔβʔ
   heymesh όοΫΤϯυΞʔΩςΫνϟʔ
   

   View Slide

7. git push
   ΤϯδχΞ
   Ϣʔβʔ
   σʔλऩू
   

   View Slide

8. Scrapy Cloud
   git push
   ΤϯδχΞ
   Ϣʔβʔ
   ݕࡧΞϓϦέʔγϣϯ
   

   View Slide

9. 1ਓͰ̍ϲ݄Ͱ࡞Γ͖ΔͨΊʹ
   ҙࣝͨ̏ͭ͠ͷϙΠϯτ
   

   View Slide

10. 1. పఈతʹϦιʔε؅ཧ͠ͳ͍
    

    View Slide

11. git push
    ΤϯδχΞ
    Ϣʔβʔ
    ϚωʔδυˍαʔόʔϨεαʔϏε
    

    View Slide

12. ΤϯδχΞ࠾༻͕
    ϓϩμΫτ։ൃ࠷େͷ೉ؔ
    

    View Slide

13. ਓ͸ޏ͑ͳ͍
    ͚Ͳɺૣ͘։ൃ͠ͳ͖Ό͍͚ͳ͍ɾɾɾ
    

    View Slide

14. ϚωʔδυˍαʔόʔϨεαʔϏεΛ׆༻
    ຊ౰ʹ։ൃ͕ඞཁͳ෦෼ʹ͚ͩूதͰ͖Δ
    

    View Slide

15. 2. AWSαʔϏε୯ҐͰͷ
    ॲཧͷ෼ׂ
    

    View Slide

16. git push
    ΤϯδχΞ
    Ϣʔβʔ
    Ϋϩʔϧॲཧ
    εΫϨΠϐϯάॲཧ
    σʔλ੔ܗॲཧ
    ಠࣗ఺਺ܭࢉॲཧ
    SQSΛ࢖ͬͨύΠϓϥΠϯॲཧ
    

    View Slide

17. ϓϩμΫτͷ։ൃॳظ͸
    ໰୊༧ଌ͕ͮ͠Β͍
    

    View Slide

18. git push
    ΤϯδχΞ
    Ϣʔβʔ
    ࣮ࡍʹى͖ͨࣄ৅
    ॳظ૝ఆΑΓσʔλ੔ܗॲཧ͕ෳࡶԽ
    ϘτϧωοΫʹͳͬͯ͠·ͬͨ
    

    View Slide

19. git push
    ΤϯδχΞ
    Ϣʔβʔ
    ॳظ૝ఆΑΓσʔλ੔ܗॲཧ͕ෳࡶԽ
    ϘτϧωοΫʹͳͬͯ͠·ͬͨ
    ΑΓ௕͍ॲཧʹॊೈʹରԠͰ͖Δ
    FargateʹॲཧΛҠߦ
    ࣮ࡍʹى͖ͨࣄ৅
    

    View Slide

20. AWSαʔϏε୯ҐͰͷૄ݁߹ͳॲཧ෼ׂ
    ֤AWSαʔϏεͷڧΈΛ࠷େݶ׆༻
    

    View Slide

21. AWSαʔϏε୯ҐͰͷૄ݁߹ͳॲཧ෼ׂ
    ໰୊ൃੜ࣌ʹ΋มߋൣғΛ໌͔֬ͭ࠷খݶʹ
    

    View Slide

22. 3. άϩʔόϧج४ͷٕज़બఆ
    

    View Slide

23. heymesh͸શੈքͷϢʔβʔ͕λʔήοτ
    

    View Slide

24. ٕज़બఆ΋άϩʔόϧલఏͰͳ͍ͱ
    ੈքͷελʔτΞοϓͱઓ͑ͳ͍
    

    View Slide

25. git push
    ΤϯδχΞ
    Ϣʔβʔ
    ଟ਺ͷՕॴͰFargateΛར༻
    

    View Slide

26. git push
    ΤϯδχΞ
    Ϣʔβʔ
    ଟ਺ͷՕॴͰFargateΛར༻
    ΞʔΩςΫνϟ͸શͯ
    όʔδχΞϦʔδϣϯͰߏங
    

    View Slide

27. άϩʔόϧج४ͷٕज़બఆ
    ศརͳ৽αʔϏεΛҰૣ͘ར༻Մೳ
    

    View Slide

28. άϩʔόϧج४ͷٕज़બఆ
    άϩʔόϧͰ΋ઓ͑ΔελʔτΞοϓʹ
    

    View Slide

29. ελʔτΞοϓ͸ͱʹ͔͘ૣ͘
    αʔϏεΛϦϦʔε͢Δ͜ͱ͕େࣄ
    

    View Slide

30. ̏ͭͷϙΠϯτΛҙࣝ͢Δ͜ͱͰ
    গͳ͍։ൃϦιʔεͰਝ଎ͳ։ൃ͕Մೳ
    

    View Slide

31. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ
    

    View Slide