Save 37% off PRO during our Black Friday Sale! »

iQONを支えるクローラー/iQON Crawler

iQONを支えるクローラー/iQON Crawler

IVS CTO Night & Day Spring 2015 のLTで発表した内容です /VASILY @kyuns

5b25474e615258ee6421d5b9ef2d3f8e?s=128

Masayuki Imamura

June 17, 2015
Tweet

Transcript

  1. BEHIND the iQON CRAWLER iQONΛࢧ͑ΔΫϩʔϥʔ VASILY,Inc. @kyuns IVS CTO Night

    & Day 2015 Spring powered by AWS
  2. ࠓଜխ޾ @kyuns / Ωϡϯ VASILY,Inc औక໾CTO / Co-Founder 2006೥ʹYahoo!JAPANʹ৽ଔೖࣾ Yahoo!FASHIONɺXBRANDͳͲͷϝσΟΞͷ্ཱͪ͛

    2009೥ʹಠཱɺVASILYΛ૑ۀɺऔక໾CTOʹब೚ ޷͖ͳ"84αʔϏε͸4޷͖ͳ੠༏͸ਫथಸʑ
  3. ઃཱ :2008೥11݄ ैۀһ :53ਓ / (ΤϯδχΞ17໊) ࢿຊۚ :8ԯ2,458ສ גओɹ :KDDI

    ITV GCP GMOVP
  4. None
  5. ೔ຊதͷECαΠτͷ ঎඼σʔλΛܝࡌ ೔ຊ࠷େڃͷ ϑΝογϣϯΞϓϦʮΞΠίϯʯ ձһ਺ 230ສਓ

  6. J20/ͷ ΫϩʔϥʔͬͯԿʁ

  7. Λ௒͑Δ೔ຊதͷϑΝογϣϯ&$αΠτͷσʔλΛ શͯΫϩʔϧɺ஋ஈɺࣸਅɺઆ໌ɺࡏݿΛ௥੻ॲཧ

  8. ͱ͋ΔனԼ͕Γʜ

  9. ਓؾ501ϒϥϯυ ͍͍ײ͡ʹશ෦Ϋϩʔϧͯ͠Α

  10. ཱͪ͸͔ͩΔ՝୊ w ϒϥϯυҎ্Λຖ೔Ϋϩʔϧ௥੻͢Δʹ͸ εέδϡʔϥʔΛޮ཰Խ͠ͳ͍ͱ͍͚ͳ͍ w ΧςΰϦ൑ఆ΍ϞϊɺϞσϧɺτϧιʔͷ൑ఆͳ Ͳɺਓ͕͍ؒͯͨ͜͠ͱΛແ͘͞ͳ͍ͱ͍͚ͳ͍ w ͦ΋ͦ΋91"5)Λਓ͕ؒௐ΂ΔͷΛͳΜͱ͔͠ͳ ͍ͱ͍͚ͳ͍

  11. iQON Crawler 4.0 = શࣗಈԽ

  12. ΧςΰϦ൑ఆͷࣗಈԽ w ͋ΒΏΔϑΝογϣϯ༻ޠΛ໢ཏͨ͠
 ϑΝογϣϯʹಛԽͨࣙ͠ॻΛੜ੒   w &$αΠτͷλΠτϧɺઆ໌จɺͺΜͣ͘Ϧετ͔ΒεςοϓΛܦͯ൑ఆ
 จ຺ͷ൑ఆͳͲ΋ߦ͍ͬͯΔ
 ྫʮΊͪΌͪ͘Ό͔Θ͍͍όοάʂεΧʔτʹ΋͋͏ʂʯ౳ͷઆ໌จͷ৔߹͸εΧʔ

    τʹޡ൑ఆ͠ͳ͍Α͏ͳจ຺Λҙࣝͨ͠ॲཧʣ w ͷ঎඼͸্هεςοϓ͔Β൑ఆͰ͖Δ w ϓϧΦʔόʔͱ͔5γϟπʹ΋ϒϥ΢εʹ΋෼ྨͰ͖ͯ͠·͏
 αΠτ͝ͱʹ΋ఆ͕ٛҧͬͨΓ͢Δ w ࢒Γͷෳࡶͳ΋ͷ͸ػցֶशʹ͔͚ͯ൑ఆ
  13. ը૾൑ఆͷࣗಈԽ ϞϊɺϞσϧɺτϧιʔΛը૾ղੳΛۦ࢖ͯ͠ɺࣗಈతʹ൑ఆɻ ෼ྨਫ਼౓͸ˋ  ͞ΒʹɺϞϊը૾͸ΤσΟλͰ࢖͏ͨΊʹനൈ͖ॲཧΛશࣗಈͰߦ͏

  14. 91"5)நग़ͷࣗಈԽ &$αΠτͷߏ଄ΛӡӦ ϕϯμʔ΍աڈͷ৘ใΛ ݩʹಛ௃Խ %0.ͷߏ଄͔Β֤ཁૉ Β͖͠΋ͷΛ൑அ ஋ஈɺ λΠτϧ  πʔϧͰ91"5)΋؅ཧ

  15. ޮ཰ͷ͍͍Ϋϩʔϧͱ͸ w ΫϩʔϧͷXPSLFSΛHPͰॻ͖ͳ͓ͯ͠ EPDLFS &MBTUJD#FBOTUBMLͰBVUPTDBMFͰΫϩʔϧ͠·͘Γʂ
 ઌํͷαΠτ͕͙͢ࢮ͵ w  ͷน
 αΠτඵΞΫηε·Ͱͱ͍͏ਈ࢜ڠఆ

    w ෳ਺XPSLFSΛ·͍ͨͩ෼ࢄϩοΫػߏ͕ඞཁ
  16. w %JTUSJCVUFE-PDLXJUI3FEJT %-. IUUQSFEJTJPUPQJDTEJTUMPDL w ಠࣗʹ࣌ݶ෇͖෼ࢄϩοΫSFEJTEJTUNVUFYΛ։ൃ WBTJMZKQSFEJTEJTUNVUFY  w ٕज़ϒϩάIUUQUFDIWBTJMZKQDSBXMTJUFTXJUISFEJTEJTUNVUFY

    w αΠτͷϨεϙϯεੑೳʹؔ܎ͳ͘ҰఆִؒͰޮ཰తʹΫϩʔϧͰ͖Δ Resque (fetch) Fetch worker &$4JUF Dist Mutex Resque (process) Fetch worker Fetch worker Sender 1.enqueue 2.dequeue 3.try_lock 4.get DB 5.save 6.enqueue
  17. ·ͱΊ w $&0ͷແ஡ͿΓʹ͸ٕज़ͰԠ͑Α͏ w Ϋϩʔϥʔʹ͍ͭͯฉ͖͍ͨਓ͓଴ͪͯ͠·͢