大規模Webサービス入門 5回目 / Introduction to large scale web service 5

Transcript

1. େن໛αʔϏεٕज़ೖ໳ ୈ5ճ ISUCONରࡦษڧձ 2017/8/11

2. ୈ5ճ େن໛σʔλॲཧ[࣮ફ]ೖ໳ - ΞϓϦέʔγϣϯ։ൃͷצॴ -

3. େن໛σʔλॲཧΞϓϦέʔγϣϯͷ
 ߟ͑ํͱରࡦ • ࠓ·Ͱ͸, େྔͷσʔλ͕͋ͬͯ΋ϋʔυ΢Σ Ξͷߏ੒Λݟ௚͢ʢہॴੑΛ׆͔͢ʣ͜ͱͰ ͳΜͱ͔৐Γ੾Ζ͏ͱ͍͏ߟ͑. • Ͳ͏ͯ͠΋େྔͷσʔλʹΞΫηε͠ͳ͍ͱ ͍͚ͳ͍ͱ͖ͷରࡦΛߟ͑Δ.

4. େن໛σʔλॲཧΞϓϦέʔγϣϯͷ
 ߟ͑ํͱରࡦ • ຊ೔ͷ಺༰ • Lesson14
 ༻్ಛԽܕΠϯσΫγϯά • Lesson15
 ཧ࿦ͱ࣮ફͷ྆ଆ͔Β߈ΊΔ

5. Lesson14 ༻్ಛԽܕΠϯσΫγϯά

6. ΠϯσοΫεͱγεςϜߏ੒ • େن໛σʔλΛѻ͏ྫ • શจݕࡧ • ྨࣅจॻܥ୳ࡧ • σʔλϚΠχϯά

7. ΠϯσοΫεͱγεςϜߏ੒ • ઌఔڍ͛ͨγεςϜͰ͸RDBMSͰ͸͠ΜͲ͍ • ͳΒRDBMSΛ࢖Θͳ͚Ε͹͍͍͡Όͳ͍ • શ͘RDBMSΛ࢖Θͳ͍ͱ͍͏࿩Ͱ͸ͳ͍

8. ΠϯσοΫεͱγεςϜߏ੒ • σʔλ͸RDBMSʹอଘ͓ͯ͘͠ • ͦͷσʔλΛఆظతʹநग़͠, ผ్ΠϯσοΫ εαʔόͷΑ͏ͳ΋ͷΛ࡞Δ • ͦ͜ʹWebΞϓϦ͔ΒRPCͳͲͰΞΫηε͢ Δํ๏Λ࢖͏

9. ʲ෮शʳRDBMS • Relational DataBase Management System • ؔ܎σʔλϕʔεΛӡ༻͢ΔͨΊͷιϑτ΢Σ Ξͷू߹ମ •

   MySQL, PostgreSQL, SQLite, etc…

10. ʲ෮शʳRPC • Remote Procedure Call • ωοτϫʔΫʹ઀ଓ͞Εͨଞͷίϯϐϡʔλ ্ͷϓϩάϥϜΛ࣮ߦ͢Δ • ͦͷ݁ՌΛडऔΔ

11. ΠϯσοΫεͱγεςϜߏ੒ ΠϯσοΫε
    αʔό ᶃఆظతʹ σʔλΛநग़ cron job NPE@QFSM
 "1
    TFSWFS ᶄΠϯσοΫεΛ࡞Δ

    ᶅRPCͰΞΫηε ᶆσʔλऔಘ

12. ΠϯσοΫεͱγεςϜߏ੒2 ΠϯσοΫε
    αʔό ᶃఆظతʹ σʔλΛநग़ cron job NPE@QFSM
 "1
    TFSWFS ᶄΠϯσοΫεΛ࡞Δ

    ᶅRPCͰΞΫηε ᶇσʔλऔಘ httpd ᶆݕࡧͯ͠JSON Λฦ͢ΞϓϦ

13. ͳͥAPαʔόʹΠϯσοΫεΛ ࣋ͨͤͳ͍ͷ͔ • ઌ΄Ͳͷਤͷmod_perlͷ෦෼ • े෼ͳϝϞϦ͕ͳ͍ • ΞʔΩςΫνϟతʹେྔͷσʔλΛ୳͢Α͏ ͳ΋ͷʹ޲͍͍ͯͳ͍

14. ͳͥAPαʔόʹΠϯσοΫεΛ ࣋ͨͤͳ͍ͷ͔ • APαʔόશͯʹΠϯσοΫεΛ΋ͨͤΔͷ΋ େมʢࠓޙ૿͑ΔՄೳੑ͕͋Δʣ • ΠϯσοΫεαʔόʹू໿ͯ͠؅ཧ͢Δ

15. RPCͬͯ஌ͬͯΔʁ • ͔ͭͯ͸RPCΛ࢖ͬͯΠϯσοΫεαʔό͔Β ݁ՌΛऔಘ͍ͯͨ͠.ʢࠓ΋͋Δʣ • ࠓͰ͸JSON+HTTP͕ओྲྀ • զʑ΋ೃછΈ͕ਂ͍

16. ༻్ಛԽܕͷΠϯσΫγϯά • ࠓ·Ͱ঺հͨ͠ߏ੒͸ʮ༻్ಛԽܕΠϯσΫ γϯάʯͱݺ͹Ε͍ͯΔ • ͜ΕʹΑͬͯ, RDBMSͰ͸೉͔ͬͨ͜͠ͱ͕ ࣮ݱՄೳʹʂ

17. ༻్ಛԽܕͷΠϯσΫγϯά • RDBMS͸൚༻తʹ࢖͑ΔΑ͏༷ʑͳػೳ͕උ Θ͍ͬͯΔ • ౷ܭॲཧ, ݁߹, ιʔτ • ཉ͍͠ػೳ͚ͩʹಛԽʢνϡʔχϯάʣ͢Δ

    ͨΊૣ͘ͳΔ

18. ༻్ಛԽܕͷΠϯσΫγϯά • σʔλΛఆظతʹॻ͖ग़ͯ͠ΠϯσοΫεʢσʔλ ߏ଄ʣΛߏங͢Δ • ߏ଄Խͨ͠σʔλΛอ࣋ͨ͠αʔόΛC++Ͱ࡞Γ, RPCͰΞΫηε͢ΔͳͲ • ThriftͬͯͷͰଟݴޠRPC͕Մೳʹ •

    ௐ΂ͯΈΔͱݕࡧΤϯδϯܥͰΑ͋͘Δߏ੒ͬΆ͍

19. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ

20. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ • ΩʔϫʔυϦϯΫΛੜ੒͢ΔॲཧΛߟ͑Δ Լઢ෦෼͕ϦϯΫ

21. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ • Ωʔϫʔυͷ਺͕20ສϫʔυڧ͋Δ • ͜ΕΛ͍͍ͪͪൺֱ͍ͯ͘͠ͱաෛՙʹͳͬ ͯDBαʔό͕མͪͯ͠·͏ • Ͳ͏ͨ͠Β͍͍ͩΖ͏͔ʁ

22. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ • લʹ΍ͬͨΑ͏ʹ, όονॲཧͰΩʔϫʔυΛ ͢΂ͯऔΓग़͓ͯ͘͠ • ͔ͭͯ͸ڊେͳਖ਼نදݱΛ༻͍ͯνΣοΫ͠ ͍ͯͨ • OR৚݅ʹΑΓόοΫτϥοΫ͕ͨ͘͞Μൃ

    ੜͯ͠஗͘ͳͬͨ

23. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ • ݱࡏ͸Common Prefix Searchʢڞ௨઀಄ࣙݕࡧʣͱ Trie໦Λ࢖ͬͯϚονϯά͍ͯ͠Δ • Common Prefix Searchʹ͸,

    Aho-Corasick๏ʢΤΠ ϗʔίϥγοΫʣ΍Double Array TrieͳͲ • ࣗવݴޠॲཧാͩͱԦಓͳํ๏Β͍͠ • Aho-Corasick͸ؤுͬͯௐ΂͍ͯͩ͘͞

24. Trie໦ͱ͸ • Ωʔू߹Λѻ͏ͨΊͷσʔλߏ଄ͷҰछ • ࠓճͷΑ͏ͳ୯ޠͷू߹ͱ͔ • ݕࡧαΠζ͕໦ͷେ͖͞Ͱ͸ͳ͘୯ޠͷ௕͞ ʹґଘ͢Δ • ऩ࿥݅਺ʹґଘ͠ͳ͍

25. Trie໦ͱ͸ t e a n o i n n w

    e keys: tea, ten, to, i, in, inn, we

26. ʲྫʳ͸ͯͳΩʔϫʔυʹΑΔϦϯΫ • ঺հͨ͠Α͏ͳσʔλߏ଄Λ༧Ίߏங͓ͯ͠ ͘͜ͱͰߴ଎Խग़དྷΔ • 7ճͰৄ͘͠આ໌

27. ʲྫʳ͸ͯͳϒοΫϚʔΫͷ ςΩετ෼ྨث

28. ʲྫʳ͸ͯͳϒοΫϚʔΫͷ ςΩετ෼ྨث • ͸ͯͳϒοΫϚʔΫͷΧςΰϦࣗಈ෼ྨ͸, Complement Naive Bayesͱ͍͏ΞϧΰϦζϜ Λ࢖ͬͯػցֶशΛߦ͍෼ྨ͍ͯ͠Δ. • ৄ͘͠͸ׂѪ͢Δ͕,

    ग़ݱස౓ΛසൟʹٻΊΔ ͜ͱʹͳΔͷͰ, ͦΕ͚ͩΛฦ͢αʔό͕ଘࡏ ͍ͯ͠Δ

29. Lesson15 ཧ࿦ͱ࣮ફͷ྆ํ͔ΒऔΓ૊Ή

30. ٻΊΒΕΔٕज़తͳཁ݅ΛݟۃΊΔ • ཧ࿦ • ίϨΛ͜ͷ༷ʹ͢Δͱಈ͘Αͱ͍ͬͨΑ͏ͳ ஌ࣝ • ࣮ફ • ࣮ࡍʹखΛಈ͔ͨ͠Γӡ༻্͍ͯ͘͠Ͱඞཁ

    ʹͳͬͯ͘Δϊ΢ϋ΢

31. େن໛ΞϓϦʹ͓͚Δཧ࿦ͱ࣮ફ • ཧ࿦ͱ࣮ફΛόϥϯεྑ͘΍Βͳ͍ͱμϝ • ͲͪΒ͔Ұํ͚ͩʹภͬͯ͸͍͚ͳ͍ • ཧ࿦͚ͩ஌͍ͬͯͯ΋͍࣮͟૷ग़དྷΔ͔ͱ͍͏ͱ, ࣮ ૷ͷͨΊͷόουϊ΢ϋ΢͕… •

    ࣮ફΛ͜ͳ͍ͯͯ͠΋, Θ͔Βͳ͍͜ͱʢ஌ࣝෆ଍ʣ ΋Ͱͯ͘Δ

32. ܭࢉػͷ໰୊ͱͯ͠ಓےΛݟ͚ͭΔ • ઌͷΩʔϫʔυΛݟ͚ͭΔॲཧͰ͸, Double array Trieͱ͍͏࿩͕ग़͖ͯͨ • ͜ͷΑ͏ͳΞϧΰϦζϜΛ஌͍ͬͯΔ͔஌Β ͳ͍͔Ͱେ͖͘มΘͬͯ͘Δ •

    ʲ࠶ܝʳΞϧΰϦζϜ͸େࣄ

33. 2ճ͔Β5ճ·Ͱͷখ·ͱΊ

34. ୈ2ճʙୈ5ճͷখ·ͱΊ 1. ΪΨόΠτ୯Ґͷσʔλॲཧ
 ςϥ, ϖλόΠτͷσʔλΛѻ͏ʹ͸Ͳ͏͢Δ͔. 2. ϝϞϦॏཁ
 ϝϞϦʹࡌΔͳΒϝϞϦʹ. Ωϟογϡ͕ฉ͖΍͍͢ߏ੒ʹ͢Δ. 3.

    ෼ࢄΛҙࣝͨ͠ӡ༻
 ద੾ͳεΩʔϚͷઃఆ, ύʔςΟγϣχϯά, JOINΛආ͚Δ. 4. ద੾ͳΞϧΰϦζϜͱσʔλߏ଄
 Trie໦, Double Array Trie, Common Prefix Search