Share
Embed
検索基盤移行時の思考
po3rin
August 22, 2022
Transcript
36 slides
-
·ͨɺҩྍಛԽͷݕࡧΤϯδϯͷจ<>ʹݴٴ͕͋ΔΑ͏ʹҩྍݕࡧʹԼهͷࣾձతϝϦοτ͕ ͋Δɻ ঢ়ͷࣗݾஅΛ༰қʹ͢Δ ҩࢣͱͷ໘ձલʹঢ়ʹؔ͢ΔࣝΛಘΔ ҩࢣͱͷ໘ձͷޙɺશʹཧղ͍ͯ͠ͳ͍ใΛফԽ͢ΔͷʹཱͯΔ͜ͱ͕Ͱ͖Δɻ ҩྍݕࡧͷॏཁੑ <>-VP(
5BOH$ :BOH) 8FJ9.FETFBSDIBTQFDJBMJ[FETFBSDIFOHJOFGPSNFEJDBMJOGPSNBUJPOSFUSJFWBM*O1SPDFFEJOHTPGUIFUI "$.$POGFSFODFPO*OGPSNBUJPOBOE,OPXMFEHF.BOBHFNFOU r 4VTBOOBIΒ<>ʹΑΔͱˋҎ্ͷਓ͕ɺΦϯϥΠϯͰҩྍใΛݕࡧͨ͜͠ͱ͕͋Δɺࣗݾஅ Λ͢ΔਓͷߦಈͷݕࡧΤϯδϯͰ࢝·Δ <>4VTBOOBI' .BFWF%)FBMUI0OMJOFIUUQTXXXQFXSFTFBSDIPSHJOUFSOFUIFBMUIPOMJOF -
ΤϜεϦʔͷݕࡧج൫Ҡߦ #FGPSF ҩࢣ͚ݕࡧ ױऀ͚ݕࡧ ΦϯϓϨ Ϋϥυ w "*ɾػցֶशνʔϜͰӡ༻ཧ w ਫ਼վળͷͨΊʹఆظతʹϝϯςφϯε
w ܗଶૉղੳʹ4VEBDIJΛ࠾༻ w ผνʔϜͰӡ༻ཧ w ݕࡧਫ਼͕՝ͩͬͨ w ܗଶૉղੳʹσϑΥϧτͷLVSPNPKJΛ࠾༻ -
4VEBDIJͰΧελϜࣙॻʹਖ਼نԽΛΈࠐΉ͜ͱ͕Ͱ͖ɺ͞Βʹ࿈ίετͪ͜ΒͰௐՄ ೳɻฐࣾͷ4VEBDIJͷར༻๏Ͱෳ߹ޠͱׂ݁ՌΛ྆ํΠϯσοΫεͯ͠ɺෳ߹ޠͷώοτ͚ͩ είΞΛϒʔετ͍ͯ͠Ұக্Ґʹग़͢Α͏ʹ͍ͯ͠Δɻ 4VEBDIJϢʔβʔࣙॻʹΑΔෳ߹ޠରॲ ʮңΨϯʯ͕ ࣙॻొ͞Εͯͯʜ ؞ ώοτ͢Δʂ ͕ΜΔ ώοτ͢Δʂ
ңΨϯ࣏ྍΛ͕ΜΔ ң؞ң؞࣏ྍΛ͕ΜΔ ʮ͕Μʯ͕ ࣙॻొ͞Ε͍ͯͯʜ ңΨϯ࣏ྍΛ͕ΜΔ ң؞ң؞࣏ྍΛ͕ΜΔ -
Ҡߦ͢Δݕࡧج൫ͰΘΕ͍ͯΔݕࡧΫΤϦΛҠߦલʹ֬ೝ͓ͯ͘͠ͷ͕؊ w ΫΤϦ૯ɺΫΤϦ૯ϢχʔΫ w ΫΤϦʹग़ݱ͢Δࢺͷ w λʔϜ͝ͱͷग़ݱ w λʔϜͷग़ݱ w
λʔϜͷ౷ܭྔ ͍ͱෳ߹ޠ͕ൃੜ͢ΔڪΕ͕͋Δ w θϩώοτΫΤϦ૯ ্هͪΖΜɺࢹͰ֬ೝ͍ͯ͘͜͠ͱͰݕࡧج൫͝ͱͷϢʔβʔͷݕࡧಈͷಛΛ௫Ήɻ͔͜͜ ΒΧελϜࣙॻγϊχϜࣙॻߏஙɺΫΤϦߏங࣌ʹඞཁͳใ͕ݟ͑ͯ͘Δ ͜͜·ͰͷΛ౿Έൈ͔ͳ͍ͨΊͷࢥߟ -
Ҡߦཁ݅ݕࡧ࣭ SFDBMM ͕མ͍ͪͯͳ͍͜ͱ ɾαϯϓϦϯάͨ͠ΫΤϦ݅ͷώοτͰલޙൺֱʹେ͖͕ࠩ͘ͳ͍͜ͱΛ֬ೝ ɾ݅ͷதͷΫΤϦ݅ΛࢺͳͲ͕ຊ൪ΫΤϦͱʹͳΔΑ͏ʹαϯϓϦϯά͠ɺࢹͰ࣮ࡍ ͷ࣭Λൺֱ͠ҧײ͕ͳ͍͜ͱΛ֬ೝ ࠓ·Ͱʹͳ͍ͬͯͨΫΤϦඞؚͣΉ ݕࡧج൫Ҡߦཁ݅ఆٛͷྫ ཁ݅
આ໌ ख๏ ΫΤϦ50000݅Ͱɺώοτ͕20%Ҏ ্ݮΔͷɺ͘͠৽ͨʹθϩ݅ʹ ͳͬͨͷͷ͕1%ҎԼ ͓͔͠ͳݕࡧͰͨ·ͨ·ώοτ͕ଟ͘ग़͍͚ͯͨ ͲɺҠߦͰݮͬͯ͠·ͬͨͷΧϯτ͠ͳ͍ ώοτܭଌπʔϧʹΑΔूܭͱࢹ ΫΤϦ50000݅Ͱɺݕࡧ݁Ռ͕5݅Ҏ ԼͩͬͨΫΤϦͷ͕ݮ͍ͬͯΔɻ ͓͔͠ͳݕࡧͰͨ·ͨ·ώοτ͕ଟ͘ग़͍ͯΔͷ ͷΧϯτ͠ͳ͍ ώοτܭଌπʔϧʹΑΔूܭͱࢹ ΫΤϦ5000݅Ͱɺ͓͔͠ͳཧ༝Ͱώο τ͕ݮͬͨͷ͕ͳ͍ɻ ࢹ -
ΤϜεϦʔͰ৽ͨʹݕࡧվળ࣌ͷ౷ܭྔ֬ೝࢹ֬ೝπʔϧΛ։ൃ͠ɺલεϥΠυͷཁ݅Λຬͨ͞ͳ ͍ͷΛ͙͢ʹ֬ೝͰ͖ΔΑ͏ʹͨ͠ɻ1.͕֬ೝͰ͖ΔΑʹ$47ग़ྗΛߦͬͨɻώοτͪΖ Μɺ࣮ࡍͷϨεϙϯεͷࢹνΣοΫͷͨΊͷUPQLΛग़ྗɻ·ͨɺௐࠪͷͨΊʹΫΤϦͷܗଶૉղੳ݁ Ռ༩͓ͯ͘͠ͱݪҼΛಛఆ͍͢͠ɻ ྫ ݕࡧج൫Ҡߦ࣌ͷࢹ֬ೝπʔϧͷಋೖ Query hits_before hits_after topk_before
topk_after tokens_before tokens_after warn ඓਫͰͳ͍෭ඓߢԌ͋Γ·͔͢ 4888 4885 ݕࡧ݁JSON(লུ) ݕࡧ݁JSON(লུ) ඓਫ / ෭ / ඓߢ / Ԍ ඓਫ / ෭ඓߢԌ 0 ศൿ 2103 3242 ݕࡧ݁JSON(লུ) ݕࡧ݁JSON(লུ) ศൿ ศൿ / ศൿ 0 ݂ѹ 6000 123 ݕࡧ݁JSON(লུ) ݕࡧ݁JSON(লུ) ݂ѹ / ݂ѹ ݂ѹ 1 -
FTLFFQFSͰԼهͷεςʔδʹׂ͞ΕΔ ઃఆϑΝΠϧͷόϦσʔγϣϯ ඥͮ͘NBQQJOH fi MFଘࡏ͢Δ͔ ඞਢϑΟʔϧυຬͨ͞Ε͍ͯΔ͔ ࣄલνΣοΫ JOEFY͕࣮ࡍʹ࡞ΕΔ͔ Ұ࣌తͳJOEFYΛ࣮ࡍʹ࡞
BMJBTͱʹඥͮ͘JOEFYଘࡏ͢Δͷ͔ ࣮ߦεςʔδ ࣮ࡍʹఆٛϑΝΠϧͷঢ়ଶΛಉظͤ͞Δ ࣄޙνΣοΫ ఆٛϑΝΠϧʹ͋ΔJOEFYBMJBT͕࡞ΒΕ͔ͨ -
ΤϜεϦʔͷϒϩάͰ ݕࡧʹؔ͢ΔهࣄΛ ॻ͍ͯ·͢ IUUQTXXXNUFDICMPH w ݕࡧϞσϧʹόϯσΟοτΞϧΰϦζϜΛΈࠐΉ w &MBTUJDTFBSDIʹ͓͚Δ,VSPNPKJ4VEBDIJҠߦ w λΠτϧͷଟ༷ੑΛߟྀͨ͠ϦϥϯΩϯά
w -VDFOFͷ*OEFYߏͷίʔυϦʔσΟϯά w --3Λͬͨҩྍ༻ޠෳ߹ޠׂ -
ΤϜεϦʔͰҩྍݕࡧʹ͓͚ΔݕࡧΛ͞Βʹྑ͍ͷʹ͍ͯؒ͘͠Λੵۃ࠾༻தͰ͢ɻ ࠓޙͷΤϜεϦʔͷݕࡧͷνϟϨϯδ w ݕࡧͷϥϯΩϯά࠷దԽ w ݕࡧͷύʔιφϥΠζ w ݕࡧΛࢧԉ͢ΔΞϧΰϦζϜͷ։ൃ 2VFSZ6OEFSTUBOEJOH
গ͠ͰڵຯΛ࣋ͬͨํԼهϦϯΫ͔ΒPOͰ͓Ͱ͖Εͱࢥ͍·͢ɻ IUUQTKPCTNDPNFOHJOFFS ࠾༻ SFDSV*UNFOU