大規模サービス技術入門 第9回

Transcript

1. େن໛αʔϏεٕज़ೖ໳
   ୈճ
2. ୈճ
   શจݕࡧٕज़ʹ௅ઓ
   େن໛σʔλॲཧͷϊ΢ϋ΢ຬࡌ
3. ͳͥݕࡧͳͷ͔ • ༷ʑͳΞϧΰϦζϜ͕Ԡ༻͞Εͯ໘ന͍ • ͘͠ΈͷԠ༻͕ར͖΍͍͢ • େن໛σʔλΛ૬खʹ͢Δ࣌ɺݕࡧΤϯδϯ ͷϊ΢ϋ΢Λ஌ͬͯΔͱ໰୊ղܾʹ໾ཱͭ
4. • શจݕࡧٕज़ͷԠ༻ൣғ (-> Lesson 24) • ݕࡧγεςϜͷΞʔΩςΫνϟ (-> Lesson 25) • ݕࡧΤϯδϯͷ಺෦ߏ଄ (-> Lesson 26) ࠓճͷ಺༰
5. -FTTPO
   
   શจݕࡧٕज़ͷԠ༻ൣғ
6. • ͸ͯͳͰ࣮ࡍʹӡ༻͍ͯ͠ΔݕࡧΤϯδϯͷ ֓ཁ • ॏཁͳཁૉͷҰͭͰ͋ΔʮసஔΠϯσοΫεʯ ʹ͍ͭͯ ͸ͯͳͷσʔλͰݕࡧΤϯδϯΛ࡞Δ
7. • ͸ͯͳμΠΞϦʔͷશจΛݕࡧର৅ͱ͠ɺ͸ ͯͳΩʔϫʔυͰݕࡧՄೳʹ͢Δͱ͍͏γε ςϜ • ͸ͯͳΩʔϫʔυʹؚ·Ε͍ͯΔݴ༿ͷΈݕ ࡧͰ͖ΔγεςϜ ͸ͯͳμΠΞϦʔͷશจݕࡧ ͸ͯͳμΠΞϦʔΛର৅ͱͨ͠ݕࡧΤϯδϯͱ͸
8. • ௨শʮؚΉϒϩάʯͷػೳ • ϖʔδͷຊจʹʮPerlʯؚ͕·Ε͍ͯΔϒϩά ͷҰཡ ΩʔϫʔυΛؚΉϒϩά
9. • ϒϩά͕ॻ͔ΕΔͱͦͷهࣄʹؚ·Ε͍ͯΔΩʔ ϫʔυΛશ෦நग़ • ୯ޠͱϒϩάͷඥ෇͚ΛDBͷϨίʔυͱͯ͠อଘ • ͔͠͠ɺεέʔϥϏϦςΟతʹഁ୼ͪ͠Όͬͨ • Ϩίʔυ਺͕ଟ͗ͯ͢ॏ͔ͬͨΓɺݟΕͳ͍σʔ λ͕͋ͬͨ Ҏલ͸RDB(ؔ܎σʔλϕʔε)Ͱॲཧ͍ͯͨ͠
10. • ͦ͜ͰݕࡧΤϯδϯΛ࡞Δ͜ͱʹ • Ϣʔβ͕ݕࡧΫΤϦΛ౤͛ΔͷͰ͸ͳ͘ɺϖʔ δͷΩʔϫʔυ໊͔Β౤͛ΒΕͯ͘Δ • ͦΕΛݕࡧγεςϜʹೖྗͯ݁͠ՌΛಘΔ • ೔෇ॱʹग़ྗ͢Δ͜ͱͰߴ଎Խ ݕࡧٕज़ͷԠ༻
11. • ʮؚΉϒϩάʯػೳ • DBͰॲཧͰ͖ͳ͍ -> ݕࡧΤϯδϯΛ࣮૷ • αʔϏεʹಛԽͨ͠࢓༷ʹͯ͠ߴ଎Խ • C++Ͱ࣮૷ɺThriftͰPerlͱ௨৴ ݕࡧγεςϜΛݕࡧҎ֎ʹԠ༻
12. • ϚΠϒοΫϚʔΫݕࡧ ͸ͯͳϒοΫϚʔΫͷશจݕࡧ
13. • ݸਓ͕ϒοΫϚʔΫͨ͠σʔλ͔Βݕࡧ͢Δ γεςϜ • DBతͳݶք͕͋ͬͨͨΊখ͞ͳσʔλΛݕࡧ ͢ΔγεςϜͱͯࣗ͠෼ͨͪͰ࣮૷ • ݸਓ୯Ґͱݴͬͯ΋1ͭͷςʔϒϧʹશϢʔβ ෼ͷσʔλ͕ೖ͍ͬͯΔ͔Β͕͔͔࣌ؒΔ ͸ͯͳϒοΫϚʔΫͷશจݕࡧ μΠΞϦʔશจݕࡧͱͷҧ͍
14. • Ϣʔβ͝ͱʹݕࡧΠϯσοΫεΛ༻ҙ͢Δ • ݕࡧ͢Δͱ͖͸ɺϢʔβͷΠϯσοΫε͔Β ͷΈݕࡧ͢Δ • ΑͬͯɺίϯύΫτͳ࣮૷Ͱ༻ҙͰ͖ɺ؆୯ͳ ࣮૷ͰཁٻΛຬͨͤΔ • ࣗલ࣮૷͢ΔͨΊରԠͷ෯͕޿͕Δ ͸ͯͳϒοΫϚʔΫͷશจݕࡧ
15. -FTTPO
    
    ݕࡧγεςϜͷΞʔΩςΫνϟ
16. (1) Ϋϩʔϧ (2) ֨ೲ (3) ΠϯσΫγϯά (4) ݕࡧ (5) είΞϦϯά (6) ݁Ռදࣔ ݕࡧγεςϜ͕Ͱ͖Δ·Ͱ
17. • ݕࡧ͢Δର৅ͷυΩϡϝϯτΛ࣋ͬͯ͘Δ͜ ͱ • ର৅ͷυΩϡϝϯτ͕Webʹ͋ͬͨΒɺWeb ΫϩʔϥΛॻ͍ͯେྔͷυΩϡϝϯτΛऔಘ ͢Δඞཁ͕͋Δ • Ϋϩʔϥʔͱ͍͏ϩϘοτ(GoogleBotͱ͔)͕ ৘ใΛ͔͖ूΊͯ͘Δ (1) Ϋϩʔϧ
18. • औ͖ͬͯͨυΩϡϝϯτΛอଘ͢Δ͜ͱ • Ͳ͏΍ͬͯอଘ͢Δͷ͔ɺͱ͍͏໰୊͕͋Δ (2) ֨ೲ
19. • औ͖ͬͯͨυΩϡϝϯτ͔ΒΠϯσοΫεΛ ߏங͢Δ͜ͱ • ݕࡧΤϯδϯͷӡӦϓϩηεͷதͰʮ৘ใ࡞ ੒ʯʮొ࿥ʯͷ໾ׂΛ୲͏ (3) ΠϯσΫγϯά
20. • ΫΤϦΛؚΉυΩϡϝϯτ͕ݕࡧ݁Ռͱͯ͠ ฦͬͯ͘Δ • ཉ͍͠Ͱ͋Ζ͏ݕࡧ݁ՌΛͲͷΑ͏ͳॱ൪Ͱ දࣔͯ͠΍Δ͔͕ॏཁ (4) ݕࡧ
21. • ݕࡧͷࡍʹɺॱ൪Λܾఆ͢ΔͨΊʹWebϖʔ δͱΩʔϫʔυͷద߹౓ΛείΞͱͯ͠ࢉग़ ͢Δ (5) είΞϦϯά
22. • είΞϦϯάޙʹͦͷ݁ՌΛදࣔ͢Δ • ͜͜Ͱ͸εχϖοτΛදࣔͨ͠Γɺߴ଎ʹද ࣔͨ͠Γ͢ΔͳͲͷཁ͕݅͋Δ (6) ݁Ռදࣔ εχϖοτ
23. • (3) ΠϯσΫγϯά • (4) ݕࡧ • ଞΛ۷ΓԼ͔͛ͨͬͨΒʮIntroduction to Information RetrievalʯΛಡ΋͏ʂ ࠓճͷղઆର৅
24. • ΠϯσΫγϯάͱݕࡧΛ࣮ߦ͢ΔݕࡧΤϯδϯγεςϜҰཡ • grep • Namazu • Hyper Estraier • Apache Lucene (Wikipediaͱ͔ʹ࢖ΘΕͯΔ) • Shunsaku • Senna (DBͷதΛݕࡧͰ͖Δ) • Sedue (͸ͯͳϒοΫϚʔΫશମΛݕࡧ͢Δͱ͜ΖͰ࢖༻) • Lux ݕࡧΤϯδϯ͍Ζ͍Ζ
25. • grepܕ • grep, Shunsaku • Suffixܕ • Sedue • సஔΠϯσοΫεܕ • ࠓͷओྲྀ શจݕࡧͷछྨ
26. • ݕࡧର৅ͷυΩϡϝϯτΛઌ಄͔Βશ෦ಡΜ Ͱ͍͘୯७ͳΞʔΩςΫνϟ • ݕࡧର৅ͷςΩετͷ௕͞Λmɺ୳ࡧޙͷ௕ ͞Λnͱ͢ΔͱɺO(mn) • KMP๏Λ࢖͏ͱɺO(m+n) • BM๏ͩͱɺ࠷ѱ࣌O(mn)ɺ࠷ྑ࣌O(n/m) grepܕ
27. • KMP๏ͱAC๏͸ࣅͯΔɻେମΦʔμʔ͕ಉ͡ • ݕࡧର৅Λઌ಄͔Βશ෦ಡΜͰ͍ΔͷͰɺ grepܕ͸Φʔμʔ͕େ͖͍͕ɺଈ࣌ੑ΍ݕࡧ ࿙Ε͕ͳ͍఺Ͱ༏Ε͍ͯΔ • ฒྻԽ΋؆୯ • ΫΤϦͷ֦ு΋༰қ grepܕ
28. • ࣄલʹશͯͷυΩϡϝϯτΛݕࡧՄೳͳܗʹ ͯ͠ɺϝϞϦ্ʹશ෦ࡌͤΔํ๏ • Trie΍Suffix ArrayɺSuffix TreeͳͲͷσʔλߏ ଄ • ৘ใྔ͕େ͖͍͔Β࣮૷ͮ͠Β͍ • Sedue͸Compressed Suffix ArrayΛ࢖༻͠ ͯɺ͔ͳΓѹॖ͍ͯ͠Δ Suffixܕ
29. • ࠓͷओྲྀ • ࣄલʹશͯͷυΩϡϝϯτʹ͍ͭͯࡧҾσʔ λΛ༻ҙͯ͠ɺͦΕΛ࢖͏ํ๏ • όϥϯε͕͍͍ΞʔΩςΫνϟ • ଈ࣌ੑʹ͸༏Εͳ͍ • ࣮૷ํ๏ʹΑͬͯ͸ɺݕࡧ࿙Ε͕ సஔΠϯσοΫεܕ
30. -FTTPO
    
    ݕࡧΤϯδϯͷ಺෦ߏ଄
31. • ಺෦ߏ଄͸େ͖͘෼͚ͯ2ͭ • Dictionary • Postings సஔΠϯσοΫεͷߏ଄
32. • 1͸ݕࡧ͍ͨ͠ର৅υΩϡϝϯτ • 2͸1ΛΠϯσοΫεԽͨ͠΋ͷ సஔΠϯσοΫεͷߏ଄
33. • termͷू߹͕Dictionary • ӈଆͷ഑ྻ͕Postings సஔΠϯσοΫεͷߏ଄ term Dictionary Postings
34. • ʮ͸ͯͳʯΛؚΜͰ͍ΔυΩϡϝϯτΛ୳͍ͨ͠ • Dictionary͔Βʮ͸ͯͳʯΛ୳ͯ͠ɺʮ͸ͯͳʯʹඥ ෇͘PostingsΛड͚औΔ సஔΠϯσοΫεͷߏ଄ term Dictionary Postings
35. • సஔΠϯσοΫε = Dictionary + Postings • term͸υΩϡϝϯτதͷ୯ޠ • termΛؚΉυΩϡϝϯτΛଈ࣌ʹൃݟ • DictionaryΛߏ੒͢Δํ๏͸͍Ζ͍Ζ͋Δ సஔΠϯσοΫεͷߏ଄
36. • termΛͲ͏΍ͬͯબͿ͔ (1) ݴޠͷ୯ޠΛtermʹ͢Δ • ܾΊ͍ͯͨࣙॻΛ࢖͏ • AC๏ͱ͔Ͱ୯ޠΛ੾Γ෼͚Δ • ܗଶૉղੳ (2) n-gramͰจࣈΛ۠੾ͬͯtermͱ͢Δ Dictionaryͷ࡞Γํ
37. • ӳޠͩͬͨΒεϖʔε۠੾ΓͰॻ͍ͯ͋Δ୯ޠ Ͱ෼ׂ • ೔ຊޠ͸εϖʔε͸ͳ͍͠ɺͲ͜ʹ୯ޠͷ۠੾ Γ͕͋Δ͔Θ͔Βͳ͍ • ೔ຊޠͷ৔߹ (1) ࣙॻ+AC๏ (2) ܗଶૉղੳ ݴޠͷ୯ޠΛtermʹ͢Δ2ͭͷํ๏
38. • ࣙॻ͕ݕࡧγεςϜͷ୯ޠۭؒʹͳΔ • ΑͬͯɺࣙॻʹೖͬͯΔ୯ޠ͔͠ݕࡧͰ͖ͳ͍ • ʮؚΉ೔هʯͷػೳ͸ɺ͸ͯͳΩʔϫʔυΛ ࣙॻʹͯ͠ɺ͸ͯͳμΠΞϦʔͷશϒϩάهࣄ ͔Β୯ޠΛநग़͠ɺDictionaryͱ͍ͯ͠Δ ᶃ ࣙॻͱAC๏Λ࢖͏ํ๏
39. • ܗଶૉղੳͱ͸ɺ͋ΔจষɾϑϨʔζΛʮҙ ຯΛ࣋ͭ࠷খݶͷ୯Ґʢʹ୯ޠʣʯʹ෼ղ͠ɺ จষ΍ϑϨʔζͷ಺༰Λ൑அ͢ΔͨΊʹ༻͍ ΒΕΔ • ࠷΋ٻΊΒΕΔػೳ͸ʮ෼͔ͪॻ͖ʯ • ྫ ʮ͢΋΋΋΋΋΋΋΋ͷ͏ͪʯ • ͜ΕΛʮ͢΋΋ʯ΍ʮ΋΋ʯʹ඼ࢺ෼ղ͢Δ ᶄ ܗଶૉղੳΛ࢖͏ํ๏
40. • ෼͔ͪॻ͖Ͱ෼ղ֤ͨ͠୯ޠΛʮܗଶૉʯ • ͢΋΋΋΋΋΋΋΋ͷ͏ͪ • ͢΋΋ ໊ࢺ • ΋ ෭ࢺ • ΋΋ ໊ࢺ • ΋ ෭ࢺ • ΋΋ ໊ࢺ • ͷ ෭ࢺ • ͏ͪ ໊ࢺ ᶄ ܗଶૉղੳΛ࢖͏ํ๏
41. • ඼ࢺͷਪఆ͸ɺຆͲͷ৔߹͸಺෦Ͱ͍࣋ͬͯ Δܗଶૉղੳ༻ͷࣙॻͰߦ͏ • ࣙॻʹͳͯ͘Θ͔Βͳ͍Α͏ͳ୯ޠ͸ݴ༿ͷ ฒͼͷύλʔϯͰ༧ଌ͢Δ • ΦʔϓϯιʔεͷʮMeCabʯͱ͔͕࢖͑·͢ ᶄ ܗଶૉղੳΛ࢖͏ํ๏
42. • ܗଶૉղੳ • ඼ࢺͷਪఆ • ࣙॻΛ͍࣋ͬͯΔ • ࣙॻʹͳ͍୯ޠ΋༧ଌͰ͖Δ(΋ͷ΋͋Δ) • ୯ޠͷฒͼΛߟྀʹೖΕΔ • ୯ޠͷฒͼΛػցֶश͢Δ(৔߹΋͋Δ) • ࣙॻΛΧελϚΠζͰ͖Δ ᶄ ܗଶૉղੳΛ࢖͏ํ๏
43. • ʮGears of WarʯΛݕࡧ͍ͨ͠ • ʮGearsʯͰݕࡧ͢Δͱਖ਼͘͠ώοτ • ʮGearʯͱݕࡧ͢ΔͱʮMetal Gearʯ͕ώο τͯ͠͠·͏ • ʮGearsʯͱ͍͏୯ޠʹʮGearʯؚ͕·Εͯ ͍Δ͕ɺ͜ͷ෦෼͕ࣙॻʹͳ͍͔Βൃੜͨ͠ ݕࡧ࿙Ε
44. • ώοτ͢Δ͔ώοτ͠ͳ͍͔͸ݕࡧΤϯδϯ ͷઃܭ΍ࢥ૝ͰมΘΔ • ׆༻͞Εͨ୯ޠͰ΋ಉ͡΋ͷͱΈͳͯ͠ώο τ͍͕ͤͨ࣌͋͞Δ • ʮMeCabʯͷΑ͏ͳܗଶૉղੳΛ࢖͏ͱ୯ޠ ͷେݩͷ෦෼͕Θ͔Δ ݕࡧ࿙Ε
45. • n-gram͸ςΩετΛnࣈͣͭ੾Γग़ͨ͠΋ͷ • ྫ abracadabraͷ3-gram • abr, bra, rac, … ҰจࣈͣͭͣΒ͢ • ͜ͷn-gramͰ੾Γग़ͨ͠୯ҐΛɺDictionary ͷtermͱͯ͠ѻ͏ํ๏͕͋Δ n-gramΛtermͱͯ͠ѻ͏
46. • 2-gramͰʮ͸ͯͳͷϚείοτͰ͋Δ͠ͳ΋ Μ͸౦ژʹډͳ͍ʯΛ෼ׂͯ͠ɺసஔΠϯσο ΫεΛ࡞੒ n-gramΛtermͱͯ͠ѻ͏
47. • n-gramΛDictionaryͱͯ͠࢖͏৔߹ɺΫΤϦ΋ಉ ͡ϧʔϧͰ෼ׂ͢Δ • ʮ͸ͯͳʯͱݕࡧ͍ͨ࣌͠ɺΫΤϦΛʮ͸ͯʯͱ ʮͯͳʯʹ෼ׂ͢Δ • ͜ͷ2ޠͰసஔΠϯσοΫεΛҾ͘ͱɺ2ͭͷ Postings͕ಘΒΕΔ • ͦͷ݁Ռɺ྆ํʹؚ·ΕΔڞ௨ͷυΩϡϝϯτ൪ ߸͕ʮ͸ͯͳʯΛؚΉυΩϡϝϯτ ΫΤϦ΋ಉ͡ϧʔϧͰ෼ׂ͢Δ
48. • ޡͬͨݕࡧ͕ߦΘΕΔͱ͖͕͋Δ • ʮ౦ژ౎໰୊ʯ • ʮ౦ژ౎ʯΛ2-gramͰ෼ׂ͢Δͱɺʮ౦ژʯ ͱʮژ౎ʯʹ෼ׂ͞Εͯ͠·͏ • ʮ౦ژλϫʔͱژ౎λϫʔʯͱ͍͏υΩϡϝ ϯτΛΠϯσΫγϯάͨ࣌͠ɺ”౦ژ౎”Ͱݕ ࡧ͢Δͱɺώοτͯ͠͠·͏ n-gram෼ׂͷ໰୊ͱϑΟϧλϦϯά
49. • ͜ͷ໰୊Λճආ͢ΔͨΊʹʮϑΟϧλϦϯάʯ • ʮ౦ژλϫʔͱژ౎λϫʔʯʹ”౦ژ౎”͕ຊ ౰ʹؚ·Ε͍ͯΔͷ͔Λ࣮ࡍʹฦ͖ͬͯͨจ ষΛௐ΂ͯޡΓͳͷ͔Λ൑அ͢Δ n-gram෼ׂͷ໰୊ͱϑΟϧλϦϯά
50. • ϑΟϧλϦϯάͰޡΓ͸ഉআՄೳ • ฦ͖ͬͯͨ݁ՌΛ૸ࠪ͢Δඞཁ͕͋ΔͨΊɺ ݁Ռ͕େ͖͘ͳΔͱݕࡧ͕͔͔࣌ؒΔ • ͸ͯͳϒοΫϚʔΫͷݕࡧͰ͸ɺ୯ޠϕʔε ͷసஔΠϯσοΫεͱn-gramϕʔεͷసஔΠ ϯσοΫεͷ྆ํΛ࢖༻ n-gram෼ׂͷ໰୊ͱϑΟϧλϦϯά
51. • λΠτϧɺίϝϯτɺURLΛର৅ʹݕࡧ • n-gramΛ࢖͏΄͏͕ݕࡧ࿙Ε͕ͳ͘ɺ ϑΟϧλϦϯά͕؆୯ • υΩϡϝϯτຊจͰ͸ɺ୯ޠϕʔε • ͜ͷ2ͭͷΠϯσοΫεʹΫΤϦΛ౤͛ͯ݁Ռ ΛϚʔδ͢Δ n-gram෼ׂͷ໰୊ͱϑΟϧλϦϯά
52. • Ͳͷ͘Β͍ɺͲͷΑ͏ͳ݁Ռ͕ग़͖ͯͨΒଥ ౰ͳͷ͔ • ఆྔతͳධՁͱͯ͠ɺ࠶ݱ཰ͱద߹཰ • ࠶ݱ཰ŋŋŋͲΕ͚ͩͷྔɺ݁ՌΛฦ͍ͯ͠Δ͔ • ద߹཰ŋŋŋݕࡧ݁Ռͱͯ͠ฦͨ͠΋ͷͷ͏͖ͪ ͪΜͱଥ౰ͳ΋ͷ͕ฦ͍ͤͯΔ͔ ࠶ݱ཰(Recall)ͱద߹཰(Precision)
53. • A: ݕࡧ݁Ռ • B: ద߹͍ͯ͠Δจষ • C: A∧B • ద߹཰ = C/A • ࠶ݱ཰ = C/B ࠶ݱ཰(Recall)ͱద߹཰(Precision) จষશͯ A B C
54. • ࠶ݱ཰͸ɺγεςϜશମʹ1000݅ʮ͸ͯͳʯ ͱ͍͏จষ͕જΜͰ͍Δ࣌ɺʮ͸ͯͳʯͰݕ ࡧ͔ͨ࣌ͦ͜͠ΒԿ݅݁ՌΛฦ٫Ͱ͖͔ͨ • ద߹཰͸ɺฦͨ݁͠ՌʹͲΕ͚ͩਖ਼͍݁͠Ռ ͕ೖ͍ͬͯΔ͔ • ਖ਼͘͠ͳ͍݁Ռ͕ଟ͍ͱɺద߹཰͸Լ͕Δ • ࠶ݱ཰ͱద߹཰͸τϨʔυΦϑ ࠶ݱ཰(Recall)ͱద߹཰(Precision)
55. • ݕࡧγεςϜʹಛఆͷΫΤϦΛೖྗͨ͠ͱ͖ͷ ੑೳΛఆྔԽͰ͖Δ • τϨʔυΦϑ͕͋ΔͷͰɺͲ͔ͬͪҰํΛ٘ਜ਼ ʹͭͭ͠νϡʔχϯάͱ͍͏ํ਑͕Ͱ͖Δ • ܗଶૉղੳͱn-gram • ܗଶૉղੳ͸ద߹཰༏ઌ • n-gram͸࠶ݱ཰༏ઌ ݕࡧγεςϜʹධՁͱ࠶ݱ཰/ద߹཰
56. • ݕࡧΤϯδϯŋŋŋgrepܕɺSuffixܕɺసஔΠϯ σοΫεܕ • సஔΠϯσοΫεܕ͕ओྲྀ • సஔΠϯσοΫεܕ = Dictionary + Postings • DictionaryΛ࡞Δํ๏ŋŋŋܗଶૉղੳɺn-gram ͜͜·Ͱͷখ·ͱΊ
57. • Postings͸ͦͷ୯ޠΛؚΉυΩϡϝϯτ൪߸ Λ͍࣋ͬͯΔ഑ྻ Postingsͷ࡞Γํ term Dictionary Postings
58. • ୯७ʹจষID͚ͩอ͍࣋ͯ͠Δ͕ɺtermͷग़ ݱҐஔΛอ࣋͢Δ৔߹΋͋Δ • ग़ݱҐஔΛ஌͍ͬͯΔͱɺεχϖοτΛग़͢ ࣌ʹɺͲ͜ʹؚ·Ε͍ͯΔ͔Θ͔Δ͔Βخ͠ ͍ • είΞϦϯάʹ΋໾ʹཱͭ • n-gramͷϑΟϧλϦϯά࣌ʹ΋࢖͑Δ Postingsͷ࡞Γํ
59. • ग़ݱҐஔ΋อ࣋͢Δ • Full Inverted Index • εχϖοτɺείΞϦϯάɺϑΟϧλϦϯά ͕؆୯ • จষIDͷΈอ࣋͢Δ΋ͷ • Inverted File Index • αΠζ͕খ͍͞ɺ࣮૷͕؆୯ Postingsͷ࡞Γํ
60. • ͜ͷ΍ΓํΛInverted File Index • αΠζ͕খͯ͘͞ɺ࣮૷͕؆୯ • จষIDΛιʔτ͓͚ͯ͠͹VB CodeͰѹॖͰ ͖Δ • จষIDͷѹॖʹ͸VB Code͕Α͘࢖ΘΕΔ จষIDͷΈΛอ࣋͢ΔλΠϓ
61. • సஔΠϯσοΫε͸ɺtermͱkeyͱvalue͕͋ Δ • ϋογϡͷkeyɺvalueͷΑ͏ʹͳ͍ͬͯΔ • ͔ͩΒkey-valueετΞʹอଘ͢Δͷʹ޲͍ͯ ͍Δ จষIDͷΈΛอ࣋͢ΔλΠϓ
62. • ݕࡧΤϯδϯ͸key-valueετΞΛಠࣗʹ࣋ͬ ͍ͯΔ͜ͱ͕ଟ͍ • termΛKeyɺѹॖ͞ΕͨυΩϡϝϯτIDͷ഑ ྻΛValueͱͯ͠΋ͯ͹͍͍ จষIDͷΈΛอ࣋͢ΔλΠϓ
63. • จষIDͷॱ • ιʔτ͢Δ —> VB Code • ͦͦ͜͜ͷѹॖ཰ͱߴ଎ల։ੑೳ • ߏ଄:term => ѹॖ͞ΕͨPosting List • key-valueετΞʹ޲͍͍ͯΔ Postingsͱσʔλߏ଄
64. • Google͸ʮυΩϡϝϯτͷॏཁੑʯͰϥϯΫ Λ෇͚ͨ • ݕࡧͨ͠୯ޠͷॏཁ౓ͰϥϯΩϯάΛ͚ͭͨ ͔ͬͨΒTF/IDF(୯ޠͷग़ݱස౓ͱٯग़ݱස౓) Λࢦඪͱͯ͠࢖͑Δ • ͍ΖΜͳํ๏͕͋Δ είΞϦϯάʹ͍ͭͯͷิ଍