シラサギ勉強会 - Elasticsearch

全文検索とはなんぞやから入って、シラサギでのElasticsearchの応用例まで広く浅く解説。

Transcript

1. http://www.web-tips.co.jp/ Copyright © 2014- Web Tips Co.,Ltd All Rights Reserved. シラサギ勉強会 Elasticsearch 2017/9/15 株式会社ウェブチップス 中野 英雄
2. Elasticsearchとは？ 2
3. 3 全⽂検索サーバーとして知られていますが 全⽂検索サーバーって？
4. 4 データベースの⼀つである NoSQL データベースに分類されるデータベース
5. ACID特性とCAP定理 5
6. 6 詳しくは: http://masawan-guitar.hatenablog.com/entry/2016/08/14/163447
7. 7 ElasticsearchはCP型のデータベース ただし、 https://discuss.elastic.co/t/elasticsearch-and-the-cap- theorem/15102/3によると、not fully Pでnot fully Aでnot fully Cであ る
8. 転地インデックス 通常のDBと全⽂検索を分かつもの 8
9. 9 だいたいのDB（MongoDBを含む） B-Treeインデックス 全⽂検索 転地インデックス
10. 10 http://gihyo.jp/dev/serial/01/search-engine/0003 ⽐較的以下のページの解説が分かりやすい
11. ⾔語処理 全⽂検索を特徴づけるもの 11
12. 揺れ • 英語 • 単複/3⼈称: man ⇔ men • 現在と過去: run ⇔ ran • ⽇本語 • 半⾓と全⾓ • アラビア数字と漢数字 • 送り仮名: ⾒積もり ⇔ ⾒積り⇔ ⾒積 • フォルダーとフォルダ • 略語: ⾃販機 ⇔ ⾃動販売機 12
13. インデックス時の正規化 vs 検索時の展開 • インデックス時の正規化 • DB格納前に「正規語」に統⼀して格納する • アカデミックにいうなら、⾒出し語（lemma）といった⽅がいいけど… • 検索時の展開 • 検索時に可能な組み合わせでOR検索する • 例: 「⾒積もり OR ⾒積り OR ⾒積」で検索 • どちらがいいかはケース・バイ・ケース • 例: マツケン 13
14. フレーズ検索 • 形態素解析 • ⽇本語形態素解析により「東京」「特許」「許可局」に分割される。 • このため「特許」で検索した際、「東京特許許可局」を含む⽂書が ヒットする（再現率UP） • では「東京特許許可局」を検索すると？ 14
15. フレーズ検索 15 東京 AND 特許 AND 許可局？
16. フレーズ検索 16 「東京」と「特許」が隣接し、「特 許」と「許可局」が隣接する⽂書に マッチする これを「フレーズ検索」と呼ぶ
17. フレーズ検索 • 隣接って？ • 必ずしも隣り合っている必要があるかは、全⽂検索エンジンの設定に よる。 • 例えば「レディーガガ」で検索した場合に「レディー・ガガ」にマッ チするように、1つ⾶ばしぐらいなら隣接しているとみなす検索エンジ ンの⽅が多い。 17
18. Elasticsearch 18
19. 公式情報 • 公式ページ • https://www.elastic.co/products/elasticsearch • Support Matrix • https://www.elastic.co/jp/support/matrix • ※InstallationにはOracle JDK version 1.8.0_131の利⽤が推奨されている • Getting Started • https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html • GitHub • https://github.com/elastic/elasticsearch • License • Apache License 19
20. クラスタ構成 20 https://gist.github.com/yano3/3f5abc9eba0c1ad6a0508056961b273c
21. SHIRASAGIでのElasticsearch の設定 21
22. ⽇本語設定 項⽬名 英語名 例 形態素解析 kuromoji ⽂字の正規化 icu_normalizer ㌀ → アパート、ｱﾊﾟｰﾄ → アパート 踊り字の正規化 kuromoji_iteration_mark 時々 → 時時、こゝろ→こころ 活⽤形の正規化 kuromoji_baseform 飲み → 飲む ※連⽤形 → 終⽌形 助詞などの除去 kuromoji_part_of_speech 寿司がおいしいね → 「寿司」「おいしい」だ け残して、「が」と「ね」を削除 頻出語句で検索に 有⽤でない⾔葉を 除去 ja_stop これ、それ、あれ、しかし、私 漢数字の正規化 kuromoji_number ⼀〇〇〇（漢数字のゼロ）→ 1000 ⻑⾳の除去 kuromoji_stemmer プリンター → プリンタ 22 http://qiita.com/shin_hayata/items/41c07923dbf58f13eec4
23. 添付ファイル • Ingest Attachment Plugin • https://www.elastic.co/guide/en/elasticsearch/plugins/master/ing est-attachment.html • 内部ではApache Tikaを使ってテキストを抽出 23