Elasticsearchによる 全文検索の実装 in Rails

Transcript

1. ElasticsearchʹΑΔ શจݕࡧͷ࣮૷ in Rails #railsdm by FUJI Goro (gfx)

2. ࠓ೔࿩͢͜ͱ • ΢ΣϒαʔϏεͰશจݕࡧΛఏڙ͢Δͱ͖ʹ ͱ͖ʹߟ͑Δ͜ͱ • ElasticsearchʹΑΔશจݕࡧʹ͓͚Δ඼࣭ͷ ੍ޚʹ͍ͭͯ

3. ࠓ೔࿩͞ͳ͍͜ͱ • Elasticsearch vs ଞͷશจݕࡧΤϯδϯ • ϚωʔδυαʔϏε vs ࣗલ •

   ಛఆͷ elasticsearch client library ͷ࿩ • e.g. elasticsearch-rails, searchkick, elastomer-client

4. ൃදऀʹ͍ͭͯ • ໊લ: gfx / ౻ޗ࿠ • ৘ใڞ༗αʔϏεKibelaΛ։ൃ͍ͯ͠Δ • Kibela͸

   Ruby on Rails੡αʔϏε • લճͷrailsdmͰ͸ʮϚϧνςφϯτɾ΢ΣϒΞϓϦέʔ γϣϯͷ࣮ફʯͱ͍͏ൃදΛͨ͠ • KibelaͰ͸ Amazon Elasticsearch Service Λར༻

5. ΢ΣϒαʔϏεͰશจݕࡧΛ ఏڙ͢Δͱ͖ʹߟ͑Δ͜ͱ

6. શจݕࡧ in ΢ΣϒαʔϏε • ඼࣭Λ্͛Δʹ͸ఔ౓ίετֻ͕͔Δ • ≒ίετΛֻ͚Δ΄Ͳʹ඼࣭Λ্͛ΒΕΔ • Ͳͷ͘Β͍ίετΛֻ͚ΒΕΔ͔Ͱ΍Δ͜ͱ͕ ͔ͳΓมΘΔ

   • ίετΛֻ͚ΒΕͳ͍ͳΒͦ΋ͦ΋શจݕࡧ͸ ෆཁ͔΋͠Εͳ͍

7. ݕࡧͷ඼࣭ • ݕࡧͷ඼࣭͸Ұൠʹʮద߹཰ʯͱʮ࠶ݱ཰ʯ ͰݟΔ • ద߹཰͸ʮਖ਼֬ੑʯͱ΋͍͏ • ࠶ݱ཰͸ʮ໢ཏੑʯͱ΋͍͏

8. ద߹཰ vs ࠶ݱ཰ • ద߹཰:ʮݕࡧ͞Εͨద߹จॻͷ਺ ÷ ݕࡧ݁Ռͷจॻͷ ਺ʯ • ద߹཰͕ߴ͍ͱʮݕࡧ݁Ռͷଟ͕͘ద߹ੑ͕ߴ͍ʯ

   • ࠶ݱ཰:ʮݕࡧ͞Εͨద߹จॻͷ਺ ÷ શର৅จॻதͷਖ਼ ղจॻͷ਺ʯ • ࠶ݱ཰͕ߴ͍ͱʮద߹ੑ͸ͱ΋͔͘औΓ͜΅͠͸ͳ͍ʯ

9. ద߹཰ͱ࠶ݱ཰ͷࢉग़ • ԿΛ࣋ͬͯʮద߹ʯͱ͢Δ͔͸Ϣʔβʔͷ಄ͷதʹ ͷΈ͋Δ • ≒ ಉ͡ݕࡧΩʔϫʔυͰ΋Ϣʔβʔ͝ͱʹٻΊΔ ΋ͷ͸ҟͳΔՄೳੑ͕͋Δ • ࣮ࡍͷαʔϏεͰ͸௚઀ଌఆ͢Δ͜ͱ͸ෆՄೳ

   • ⇢ϢʔβʔͷߦಈΛ෼ੳͯ͠ධՁ͢Δඞཁ͕͋Δ

10. ద߹཰ͱ࠶ݱ཰Ͱॏࢹ͢Δͷ͸ʁ • Ұൠʹద߹཰ͱ࠶ݱ཰͸τϨʔυΦϑͷؔ܎͕͋ Δͱ͍ΘΕΔ • ͲͪΒ͕ॏཁ͔͸αʔϏεͷੑ࣭ʹΑΔ • KibelaͷΑ͏ͳاۀ಺ͷจॻݕࡧͰ͸ʮऔΓ͜΅ ͠ ≒

    όάʯͱೝࣝ͞ΕΔ • ͭ·Γ࠶ݱ཰͸ʮ࠷௿ݶकΔ΂͖඼࣭ʯͰ͋Δ

11. ElasticsearchʹΑΔશจݕࡧ ʹ͓͚ΔݕࡧείΞͷߟ͑ํ

12. Elasticsearchͱ͸ • શจݕࡧΤϯδϯ • SQLͷLIKEݕࡧͱͷҧ͍: • ܗଶૉղੳޙͷ୯ޠͰݕࡧͰ͖Δ • ਖ਼نԽ͞Εͨ୯ޠͰݕࡧͰ͖Δ •

    ෳࡶͳείΞʹجͮ͘ιʔτ͕Ͱ͖Δ

13. Elasicsearch༻ޠ RDBMS Table Record Column Elasticsearch Index Document Field ※

    Elasticsearch v5·Ͱ͸ table = type ͱઆ໌͞Ε͖͕ͯͨ v6 Ͱtype͸ඇ঑ྭɺ v7 Ͱ࡟আ͞ΕΔͷͰ஫ҙ

14. ܗଶૉղੳ

15. ܗଶૉղੳͯ͠ݕࡧ • શจݕࡧͷߴ଎ԽͷͨΊʹసஔΠϯσΫεͳͲͷ ΞϧΰϦζϜΛ࢖͍͍ͨ • సஔΠϯσΫεͷͨΊʹೖྗ͞ΕΔจষΛద౰ͳ ୯ҐͰ෼ׂ͢Δඞཁ͕͋Δ • ೔ຊޠͷΑ͏ʹ୯ޠͷ۠੾Γ͕͸͖ͬΓ͠ͳ͍ݴ ޠͷ৔߹N

    Gram and/or ܗଶૉղੳͰ෼ׂ͢Δ

16. N Gram • N͸௨ৗ2͔3 • 2 gram ͷ৔߹ɺʮ͜Μʹͪ͸ʯΛ • [“͜Μ”,

    “Μʹ”, “ʹͪ”, “ͪ͸”] ʹ෼͚Δ

17. ܗଶૉղੳ • ʮ౦ژ౎ʹҾͬӽͨ͠ʯΛ • [“౦ژ౎”, “ʹ”, “Ҿͬӽ͠”, “ͨ”] ͳͲʹ෼ׂ ͢Δ

    • ඼ࢺʢ໊ࢺ, ܗ༰ࢺʣ৘ใ͕ར༻Ͱ͖ΔͷͰɺ ޙͷਖ਼نԽͰͦͷ৘ใΛར༻

18. LIKEݕࡧͱͷࠩ: ܗଶૉղੳฤ • “౦ژ౎ʹҾͬӽͨ͠” LIKE “%ژ౎%” • Ϛον͢Δ • [“౦ژ౎”,

    “ʹ”, “Ҿͬӽ͠”, “ͨ”].include?(“ژ ౎”) • Ϛον͠ͳ͍

19. ܗଶૉղੳͱN Gramͷࠩ • ͨͱ͑͹ʮژ౎ʯͰʮ౦ژ౎ʯΛؚΉจॻΛ… • ܗଶૉղੳϕʔεͩͱݕࡧͰ͖ͳ͍ • ͭ·Γద߹཰ͷ໘Ͱ༏Ε͍ͯΔ • N

    GramϕʔεͩͱݕࡧͰ͖Δ • ͭ·Γ࠶ݱ཰ͷ໘Ͱ༏Ε͍ͯΔ

20. ਖ਼نԽ

21. ͳͥਖ਼نԽ͕ඞཁ͔ • ܗଶૉղੳʴసஔΠϯσΫεʹΑΔݕࡧͷ໛ࣜ Խ: [“Ҿͬӽ͠”, “ͨ”].include?(“Ҿͬӽ͠”) • “Ҿӽ”, “Ҿӽ͠” ΋ಉ༷ʹݕࡧ͍ͨ͠

    ⇢ ਖ਼نԽ

22. ܗଶૉղੳͱਖ਼نԽ • ܗଶૉղੳث͕ࣙॻͱ඼ࢺ৘ใΛ࢖ͬͯਖ਼نԽ͢Δ • Elasticsearchͷ৔߹kuromoji plugin͕೔ຊޠͷܗଶૉղੳ ͱਖ਼نԽΛαϙʔτ • kuromoji_baseform: “ҿΈ”

    ⇢ “ҿΉ” • kuromoji_stemmer: “αʔόʔ” ⇢ “αʔό” • kuromoji_number: “ඦԁ” ⇢ “100ԁ”

23. είΞϦϯά

24. ݕࡧॱͷॏཁੑ • ͨͱ͑͹ɿʰژ౎ʱͰʰ౦ژ౎ʱͱ͍͏จॻ ͸ώοτͯ͠΄͍͕͠ɺʰژ౎ʱͰώοτ͢ Δจॻ͕͕͋ΔͳΒͦͪΒΛ্Ґʹ͍࣋ͬͯ ͖͍ͨ • ͭ·Γߴ͍࠶ݱ཰Λҡ࣋ͭͭ͠ݕࡧ݁Ռͷ্ Ґ͸ʮΑΓద߹͢ΔͱࢥΘΕΔʯจॻʹͨ͠ ͍

25. ୯ޠ෼ׂ๏ʹΑΔॏΈ෇͚ • ܗଶૉղੳͰ෼ׂ͢Δͱద߹཰͸ߴ͘ͳΓ͕ ͕ͪͩ࠶ݱ཰͸௿͘ͳΓ͕ͪ • N GramͰ෼ׂ͢Δͱ࠶ݱ཰͸ߴ͘ͳΓ͕ͪͩ ͕ద߹཰͸௿͘ͳΓ͕ͪ • ⇢είΞϦϯάͷࡍʹॏΈ෇͚Λ͢Ε͹Α͍

26. ElasticsearchͰͷ࣮૷ํ๏ • elasticsearch-model Ͱͷσʔλιʔεఆٛ UJUMF͸LVSPNPKJͰ ෼ׂ͢Δ UJUMF@OHSBN͸/
    (SBNͰ෼ׂ͢Δ

27. ϑΟʔϧυ͝ͱͷॏΈ෇͚ • ElasticsearchͰ͸ϑΟʔϧυ͝ͱʹॏΈ෇͚ ΛઃఆͰ͖Δ

28. ͦͷଞͷείΞϦϯάख๏ • Phrase Match / ϑϨʔζϚον • Field Value Factor

    / ϑΟʔϧυ܎਺ • Decay / είΞͷݮਰ

29. Phrase Match • Twitterݕࡧ΍GoogleݕࡧͰμϒϧΫΥʔτͰғΜͩͱ͖ʹ ʮϑϨʔζͦͷ΋ͷʯ͕ݕࡧର৅ʹͳΔͷ͕Phrase Match • Kibelaͷ৔߹ɺϑϨʔζʹϚονͨ͠ΒείΞΛϒʔετ ͍ͯ͠Δ •

    ྫ:ʮঁਆసੜʯͰݕࡧ͢ΔͱʮਅɾঁਆసੜIII NOCTURNEʯͷ΄͏͕ʮҟੈքʹঁਆͱͯ͠సੜ͠ ͨʯΑΓ΋είΞ͕ߴ͘ͳΔ

30. Field Value Factor • ಛఆͷϑΟʔϧυͷ஋ͰείΞΛϒʔετͤ͞ Δػೳ • Kibelaͷ৔߹ɺϥΠΫ਺ͱτϥοΫόοΫ਺Λ Field Value

    Factorͱͯ͠൓ө͍ͤͯ͞Δ • ͭ·ΓʮΑ͘ϥΠΫ͞ΕΔจॻʯʮΑ͘Ϧ ϯΫ͞ΕΔจॻʯͷείΞ͕ߴ͍

31. Decay • Field Value FactorͷٯͰɺಛఆϑΟʔϧυ஋ ͰείΞΛݮਰͤ͞Δػೳ • KibelaͰ͸ɺจॻͷλΠϜελϯϓΛར༻͠ ͕ͯ࣌ؒܦͭ΄ͲʹείΞ͕ݮਰ͢ΔΑ͏ʹ ͍ͯ͠Δ

32. DecayͷΠϝʔδ • origin = now / timestamp͸աڈͷҰ఺ͱ͢Δ

33. ·ͱΊ • શจݕࡧͷ඼࣭͸ʮద߹཰ʯʮ࠶ݱ཰ʯʮε ίΞϦϯάʯͰߟ͑Δ • ʮద߹཰ʯͱʮ࠶ݱ཰ʯ͸୯ޠ෼ׂ๏ʹΑͬ ͯվળͰ͖Δ • ʮείΞϦϯάʯ͸༷ʑͳཁૉ͕͋ΔͷͰશ จݕࡧΤϯδϯͷυΩϡϝϯτΛख़ಡ͢Δ