1人月で50万件以上のデータをクロールして検索可能にした話

2018年6月1日に行われたAWS主催の「Startup Archiitecture of the Year 2018」にてMESON COOの小林が発表した自社アーキテクチャに関する発表内容です。
#AWS #AWSSummit #Fargate

Transcript

1. 1ਓ݄Ͱ50ສ݅Ҏ্ͷσʔλΛ Ϋϩʔϧͯ͠ݕࡧՄೳʹͨ͠࿩ MESON COO খྛ༎थ
2. খྛ༎थʢAR͓͡͞Μʣ גࣜձࣾMESON COO ޷͖ͳαʔϏεɿFargate @AR_Ojisan
3. heymesh: Search engine for 3D models 13αΠτ, 50ສ݅Λ௒͑Δ3DϞσϧσʔλΛԣஅݕࡧ
4. heymesh: Search engine for 3D models ϥΠηϯε΍Ձ֨ɺεϖοΫͰͷϑΟϧλϦϯάɹ
5. heymeshΛࢧ͑ΔAWSαʔϏε Fargate Elasticsearch Service DynamoDB NLB Lambda
6. git push ΤϯδχΞ Ϣʔβʔ heymesh όοΫΤϯυΞʔΩςΫνϟʔ
7. git push ΤϯδχΞ Ϣʔβʔ σʔλऩू
8. Scrapy Cloud git push ΤϯδχΞ Ϣʔβʔ ݕࡧΞϓϦέʔγϣϯ
9. 1ਓͰ̍ϲ݄Ͱ࡞Γ͖ΔͨΊʹ ҙࣝͨ̏ͭ͠ͷϙΠϯτ
10. 1. పఈతʹϦιʔε؅ཧ͠ͳ͍
11. git push ΤϯδχΞ Ϣʔβʔ ϚωʔδυˍαʔόʔϨεαʔϏε
12. ΤϯδχΞ࠾༻͕ ϓϩμΫτ։ൃ࠷େͷ೉ؔ
13. ਓ͸ޏ͑ͳ͍ ͚Ͳɺૣ͘։ൃ͠ͳ͖Ό͍͚ͳ͍ɾɾɾ
14. ϚωʔδυˍαʔόʔϨεαʔϏεΛ׆༻ ຊ౰ʹ։ൃ͕ඞཁͳ෦෼ʹ͚ͩूதͰ͖Δ
15. 2. AWSαʔϏε୯ҐͰͷ ॲཧͷ෼ׂ
16. git push ΤϯδχΞ Ϣʔβʔ Ϋϩʔϧॲཧ εΫϨΠϐϯάॲཧ σʔλ੔ܗॲཧ ಠࣗ఺਺ܭࢉॲཧ SQSΛ࢖ͬͨύΠϓϥΠϯॲཧ
17. ϓϩμΫτͷ։ൃॳظ͸ ໰୊༧ଌ͕ͮ͠Β͍
18. git push ΤϯδχΞ Ϣʔβʔ ࣮ࡍʹى͖ͨࣄ৅ ॳظ૝ఆΑΓσʔλ੔ܗॲཧ͕ෳࡶԽ ϘτϧωοΫʹͳͬͯ͠·ͬͨ
19. git push ΤϯδχΞ Ϣʔβʔ ॳظ૝ఆΑΓσʔλ੔ܗॲཧ͕ෳࡶԽ ϘτϧωοΫʹͳͬͯ͠·ͬͨ ΑΓ௕͍ॲཧʹॊೈʹରԠͰ͖Δ FargateʹॲཧΛҠߦ ࣮ࡍʹى͖ͨࣄ৅
20. AWSαʔϏε୯ҐͰͷૄ݁߹ͳॲཧ෼ׂ ֤AWSαʔϏεͷڧΈΛ࠷େݶ׆༻
21. AWSαʔϏε୯ҐͰͷૄ݁߹ͳॲཧ෼ׂ ໰୊ൃੜ࣌ʹ΋มߋൣғΛ໌͔֬ͭ࠷খݶʹ
22. 3. άϩʔόϧج४ͷٕज़બఆ
23. heymesh͸શੈքͷϢʔβʔ͕λʔήοτ
24. ٕज़બఆ΋άϩʔόϧલఏͰͳ͍ͱ ੈքͷελʔτΞοϓͱઓ͑ͳ͍
25. git push ΤϯδχΞ Ϣʔβʔ ଟ਺ͷՕॴͰFargateΛར༻
26. git push ΤϯδχΞ Ϣʔβʔ ଟ਺ͷՕॴͰFargateΛར༻ ΞʔΩςΫνϟ͸શͯ όʔδχΞϦʔδϣϯͰߏங
27. άϩʔόϧج४ͷٕज़બఆ ศརͳ৽αʔϏεΛҰૣ͘ར༻Մೳ
28. άϩʔόϧج४ͷٕज़બఆ άϩʔόϧͰ΋ઓ͑ΔελʔτΞοϓʹ
29. ελʔτΞοϓ͸ͱʹ͔͘ૣ͘ αʔϏεΛϦϦʔε͢Δ͜ͱ͕େࣄ
30. ̏ͭͷϙΠϯτΛҙࣝ͢Δ͜ͱͰ গͳ͍։ൃϦιʔεͰਝ଎ͳ։ൃ͕Մೳ
31. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ