全文検索エンジン「Elasticsearch」の概要とprismatixでの活用事例

Transcript

1.  QSJTNBUJYࣄۀ෦
   தଜོߒ શจݕࡧΤϯδϯʮ&MBTUJDTFBSDIʯͷ֓ཁͱ
   QSJTNBUJYͰͷ׆༻ࣄྫ
2. ࣗݾ঺հ  தଜɹོߒ ΫϥεϝιουɹQSJTNBUJY
   ࣄۀ෦ 
 ݕࡧαʔϏε։ൃ୲౰ 
 
 ओͳۀ຿಺༰
   ɾ&MBTUJDTFBSDI 
 ɾαʔόʔαΠυ +BWB
3.  ຊηογϣϯͷ֓ཁ
4. αϚϦʔ  w &MBTUJDTFBSDI
   ʹ͍ͭͯ
   w &MBTUJDTFBSDI
   ͱ͸
   w &MBTUJDTFBSDI
   ͷಛ௃ɾϢʔεέʔε
   w શจݕࡧʹ͍ͭͯ
   w "NB[PO
   0QFO4FBSDI
   4FSWJDF
   ʹ͍ͭͯ
   w QSJTNBUJY
   Ͱͷ׆༻ࣄྫ
5. ૝ఆࢹௌऀ  w&MBTUJDTFBSDIʹڵຯ͕͋Δํ
   wશจݕࡧʹ͍ͭͯ஌Γ͍ͨํ
   w&MBTUJDTFBSDIΛ༻͍ͨαʔϏεఏڙʹڵຯ͕͋Δํ
6.  Elasticsearch ͱ͸
7. &MBTUJDTFBSDI
   ͱ͸  &MBTUJD͕ࣾఏڙ͍ͯ͠Δ
   &MBTUJD
   4UBDL
   
   ʹؚ·ΕΔશจݕࡧٴͼ෼ੳΤϯδϯͰɺ༷ʑ ͳσʔλΛϦΞϧλΠϜʹݕࡧɾ෼ੳɾՄࢹԽ ͢Δ͜ͱ͕ՄೳͰ͢ɻ
   &MBTUJD
   4UBDL
   ʹؚ·ΕΔϓϩμΫτ
   • Elasticsearch ɿ ৺ଁ෦ͱͳΔJSONϕʔεͷݕࡧ/෼ੳΤϯδϯ • Kibana : ݕࡧɺՄࢹԽ༻ͷπʔϧ • Beats ɿ ΞϓϦ΍Πϯϑϥͷ౷ܭ৘ใ౳ͷσʔλऩूπʔϧ • Logstash ɿ σʔλऩूύΠϓϥΠϯ
8.  Elasticsearch ͷಛ௃
9. &MBTUJDTFBSDI
   ͷಛ௃  w εέʔϥϏϦςΟ
   w ෼ࢄݕࡧ
   w εΩʔϚϨε
   w ։ൃऀϑϨϯυϦʔ
   w શจݕࡧ
10. εέʔϥϏϦςΟᶃ  &MBTUJDTFBSDI͸୆Ҏ্ͷϊʔυͰΫϥελʔΛߏ੒ ͠ɺͭͷ·ͱ·Γͱͯ͠σʔλΛॲཧ͠·͢ɻ ϊʔυ͸&MBTUJDTFBSDIͷ Πϯελϯε
11. εέʔϥϏϦςΟᶄ  .BTUFS
    ϊʔυ %BUB
    ϊʔυ *OHFTU
    ϊʔυ ϊʔυʹ͸༷ʑͳ໾ׂΛׂΓ౰ͯΔ͜ͱ͕ՄೳͰ͢ɻ໾ׂ͝ͱʹϊʔ υ਺Λௐ੔͢Δ͜ͱͰਫฏํ޲ͷεέʔϧ͕Մೳ
    ར༻ঢ়گʹԠͯ͡
    εέʔϧ͕Մೳ γϯϓϧͳϊʔυ
    ߏ੒
12. ෼ࢄݕࡧ  σʔλΛ෼ࢄͯ͠อ࣋͢Δ͜ͱͰɺେྔσʔλͰ΋ߴ଎ ͳݕࡧ͕ՄೳɻϊʔυؒͰϨϓϦΧΛอ͍࣋ͯ͠Δͷ Ͱɺো֐࣌ͷ෮چ΋ૣ͍ɻ
13. εΩʔϚϨε  ࣄલͷεΩʔϚఆٛແ͠ʹσʔλΛొ࿥ՄೳͰ͢ɻ
    ొ࿥͞Εͨσʔλ಺༰Λ෼ੳ͠ɺ&MBTUJDTFBSDI͕ࣗಈ Ͱఆٛ͠·͢ɻ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
14. ։ൃऀϑϨϯυϦʔ
    ᶃ  w 3&45
    "1*
    Ͱ֤छૢ࡞͕Մೳ
    w $36%
    w Ϋϥελʔɾϊʔυͷઃఆ
    w $MJFOU
    ΋༷ʑͳݴޠͰఏڙ
    w +BWB
    w 1)1
    w 1ZUIPO
    w 3VCZ
    w FUD
15. ։ൃऀϑϨϯυϦʔ
    ᶄ  %PDLFSΠϝʔδ͕ఏڙ͞Ε͍ͯͯ؆୯ʹར༻Մೳɻ
    ϩʔΧϧͰͷ։ൃ΍ݕূ΋%PDLFS্Ͱߦ͑·͢ɻ
16. ։ൃऀϑϨϯυϦʔ
    ᶅ  ݕࡧɾՄࢹԽ༻πʔϧͷ,JCBOBʹ͸ɺ&MBTUJDTFBSDIͷΤϯυϙΠϯτʹ؆୯ʹϦ ΫΤετՄೳͳ%FW
    5PPMT
    ͕ఏڙ͞Ε͍ͯͯϒϥ΢β͔ΒΞΫηεՄೳ
17. શจݕࡧᶃ  ෳ਺ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻ ʮϑΝΠϧ໊ݕࡧʯ΍ʮ୯ҰϑΝΠϧ಺ͷจࣈྻݕࡧʯͱҟͳΓɺ ʮෳ਺จॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛର৅ͱͨ͠ݕࡧʯ ࢀߟ: https://ja.wikipedia.org/wiki/%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2
18. શจݕࡧᶄ  ߴ଎ͳશจݕࡧΛ࣮ݱ͢ΔͨΊɺ&MBTUJDTFBSDIͰ͸
    จॻొ࿥࣌ʹసஔΠϯσοΫεΛ࡞੒͠·͢ɻ
19. શจݕࡧᶅ  ొ࿥͢ΔจॻΛݴޠॲཧʹֻ͚·͢ɻ
    ݴޠॲཧͰ͸ෆཁͳจࣈͷআڈ΍খจࣈʹ౷Ұͨ͠Γ͠ɺɹ ୯ޠຖʹ۠੾Γ·͢ɻ
20. શจݕࡧᶆ  Ͳͷ୯ޠ͕Ͳͷจॻʹଘࡏ͢Δ͔ͷ
    ࡧҾ సஔΠϯσοΫε Λ࡞੒͠·͢ɻ
21. શจݕࡧᶇ  ݕࡧ࣌ʹ͸ݕࡧϫʔυΛݴޠॲཧʹֻ͚ɺసஔΠϯσοΫε͔Β Ұக͢ΔจॻΛݟ͚ͭ·͢ɻ
    ୯ޠ୯ҐͰΠϯσοΫεΛ࡞੒͢ΔͨΊɺߴ଎ͳશจݕࡧ͕Մೳ
22.  ೔ຊޠܗଶૉղੳϓϥάΠϯ
23. ೔ຊޠͷݴޠॲཧᶃ  ӳޠ͸εϖʔε۠੾ΓͰ୯ޠΛநग़ͨ͠ΓݴޠॲཧΛߦ ͑·͕͢ɺ೔ຊޠͰ͸ҟͳΔରԠ͕ඞཁͰ͢ɻ 5IJT
    JT
    B
    QFO
    ˠ
    5IJT
    JT
    
    B
    
    QFO
    ͜Ε͸ϖϯͰ͢
    ˠ
    ʁʁʁ
24. ೔ຊޠͷݴޠॲཧᶄ  ೔ຊޠ༻ͷݴޠղੳϓϥάΠϯ͕ఏڙ͞Εͯ·͢ɻ
    εϖʔε۠੾ΓͰ͸ͳ͘ɺࣙॻΛར༻ͨ͠ํ๏ʹͳΓ·͢ɻ
    ར༻ํ๏͸&MBTUJDTFBSDIͷσΟϨΫτϦͰɺίϚϯυ࣮ߦ ͢Δ͜ͱͰಋೖՄೳͰ͢ɻ $sudo bin/elasticsearch-plugin install analysis-kuromoji ࢀߟ
    
    IUUQTXXXFMBTUJDDPHVJEFFOFMBTUJDTFBSDIQMVHJOTDVSSFOUBOBMZTJTLVSPNPKJIUNM
25. &MBTUJDTFBSDI
    ͷϢʔεέʔε  • WebαΠτͷݕࡧػೳ • ϩά΍Πϕϯτσʔλͷอଘɾ෼ੳ • ػցֶशͰϦΞϧλΠϜʹϞσϧΛ࡞੒ • ηΩϡϦςΟ෼ੳ • ஍ཧ৘ใΛར༻ͯ͠ͷۭؒݕࡧ • Ҩ఻ࢠσʔλͷ෼ੳ
26.  Amazon OpenSearch Service
27. "NB[PO
    0QFO4FBSDI
    4FSWJDF  w&MBTUJDTFBSDI
    
    ͔ΒϑΥʔΫ
    wϚωʔδυαʔϏε
    wσϓϩΠ
    w؅ཧ
    wෳ਺ͷΫΤϦݴޠαϙʔτ
    wΠϕϯτϞχλϦϯάɾΞϥʔτ
28. "NB[PO
    0QFO4FBSDI
    4FSWJDF  Ϛωδϝϯτίϯιʔϧ͔Β؆୯ʹ࡞੒͕ՄೳͰɺ֤छઃ ఆมߋ΍ϞχλϦϯάػೳ΋ఏڙ͞Ε͍ͯ·͢ɻ
29.  prismatix ʹ͍ͭͯ
30. QSJTNBUJYͱ͸  w &$
    
    $3.
    ΦϜχνϟωϧ"1*ϓϥοτϑΥʔϜ
    w ϚΠΫϩαʔϏε
    
    Ϋϥ΢υωΠςΟϒ
31. QSJTNBUJYͱ͸  wൢചνϟωϧͱόοΫΦϑΟεγεςϜͷϋϒ ͱͯ͠Քಇ
    w&$$3.ʹඞཁͳػೳ܈Λબ୒తʹಋೖՄೳ
    wϏδωεͷن໛΍αʔϏεɾϑΣʔζʹ߹Θ ͤͯ࠷దͳߏ੒Ͱར༻Մೳ
    
32.  Elasticsearchͷ׆༻ํ๏
33. Ϧιʔε  QSJTNBUJYͷ"1*͸Ϧιʔεࢦ޲ΞʔΩςΫνϟ 30" ʹج͍ͮͯઃ ܭ͍ͯ͠·͢ɻ
    Ϧιʔεͱ͸"1*Λ௨ͯ͡ૢ࡞ՄೳͳॏཁੑΛ࣋ͬͨσʔλͰɺ 30"͸ϦιʔεΛத৺ʹߟ͑ΔΞʔΩςΫνϟͰ͢ɻ
    w ঎඼αʔϏε
    w ঎඼Ϧιʔε
    
    ࡏݿϦιʔε
    w ձһαʔϏε
    w ձһϦιʔε
    
    ͓ؾʹೖΓϦιʔε
34. ׆༻ํ๏ᶃ  αΠτΛߏங͢Δࡍɺඥͮ͘େྔͷϦιʔεΛߜΓࠐΈͭ ͭɺར༻͍߲ͨ͠໨͚ͩΛऔಘ͢Δͷ͸େม
    w ঎඼໊ɾઆ໌จͰશจݕࡧ͍ͨ͠
    w ϨϏϡʔ਺͕ཉ͍͠
    w ࡏݿ͕ͳ͍঎඼͸ඇදࣔʹ͍ͨ͠
    w ݕࡧʹҰக͢Δ঎඼਺
    w ΧςΰϦҰཡ
    w FUD
35. ׆༻ํ๏ᶄ  QSJTNBUJYͰ͸֤Ϧιʔεૢ࡞࣌ʹ,JOFTJT
    %BUB
    4USFBN
    Λ ར༻ͯ͠ߴ଎ʹ&MBTUJDTFBSDI΁ू໿
36. ׆༻ํ๏ᶅ  &MBTUJDTFBSDI΁ͷݕࡧϦΫΤετΛ୅ߦ͢ΔݕࡧαʔϏε Λఏڙ͠ɺू໿ͨ͠ෳ਺ͷϦιʔεΛԣஅͯ͠ݕࡧ͕Մೳ ݕࡧαʔϏε "1*ϦΫΤετ ݕࡧϦΫΤετ Ϩεϙϯε Ϩεϙϯε
37. ׆༻ํ๏ᶆ  Ϧιʔεຖʹ༷ʑͳ"1*Λఏڙ͓ͯ͠Γɺར༻༻్ʹԠͨ͡ ϦΫΤετύϥϝʔλΛ༻ҙ ݕࡧαʔϏε ݕࡧϖʔδ ళฮϖʔδ ঎඼ϖʔδ ձһϖʔδ FUD FUD "1*ϦΫΤετ Ϩεϙϯε
38.  ͍͞͝ʹ
39. ͍͞͝ʹ  w &MBTUJDTFBSDIΛར༻͢Δ͜ͱͰߴ଎ͳશจݕࡧ͕Մೳ
    w %PDLFSΠϝʔδ͕഑෍͞Ε͍ͯΔͷͰڵຯ͋Δํ͸৮ͬͯΈͯ ͍ͩ͘͞
    w IUUQTXXXEPDLFSFMBTUJDDPSFMBTUJDTFBSDI
    w &MBTUJDTFBSDIͷৄ͍͠ར༻ํ๏ʹ͍ͭͯ͸ެࣜαΠτ΍ฐࣾ ϒϩάΛ֬͝ೝ͍ͩ͘͞
    w IUUQTXXXFMBTUJDDPHVJEFJOEFYIUNM
    w IUUQTEFWDMBTTNFUIPEKQUBHTFMBTUJDTFBSDI