Solr勉強会2015

BTC主催技術勉強会（Solr⼊⾨編）技術勉強会（Solr⼊⾨編）株式会社ビッグツリーテクノロジー＆コンサルティング SI事業部⾼安厚思 1 Copyright (C)
2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 アジェンダ ▌⾃⼰紹介 ▌1
全⽂検索とは ▌2 Apache Solrとは（30分クッキング） ▌3 Apache Solrの中⾝ ▌4 Apache Solrを利⽤するためのプログラム（Java編） ▌5 Apache Solr利⽤時のポイント 2 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 ⾃⼰紹介⾼安厚思
▌ 活動領域・キーワード ▌２０年にわたり、ソフトウエアエンジニアリングを適⽤したシステム開発やコンサルティングに携わる。 ▌最新技術を適切に利⽤した、柔軟なシステム構成の構築、品質管理を中⼼として技術マネージメントなどを主要テーマとして活動。 ▌開発⽅法論、アーキテクチャ設計コンサルティング、システム全体設計を得意分野とする。 ▌東京電機⼤学⾮常勤講師、SQuBOK設計開発領域検討委員、 ITSS-DS検討委員 ▌資格 ▌ネットワークスペシャリスト ▌アプリケーションエンジニア（現システムアーキテクト） ▌プロジェクトマネージャ ▌ITストラテジスト ▌情報セキュリティスペシャリスト ▌MCSE ▌MCSD 3 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 対外活動 n最近の著書、訳書 ▌
「システム設計の謎を解く（ソフトバンク）」 ▌ 「StrutsによるWebアプリケーションスーパーサンプル（ソフトバンク）」 ▌ 「Seasar⼊⾨[（ソフトバンク）」 ▌ 「Javaルールブック（エクスメディア） ▌ 「ITアーキテクトのためのシステム設計実践ガイドアーキテクチャ編（⽇経 BP）」など。 n連載記事執筆 ▌ ⽇経SYSTEMS誌「Webアーキテクチャ再⼊⾨」 n講演 ▌ SODEC ミッションクリティカル開発 ▌ ⽇本テクノセンターセミナー講師 ▌ UML Forum講師 ▌ ⽇経BP社 ITアーキテクトのためのシステム設計フォーラム特別講演講師 ▌ Developers Summit 2013 Summer ▌ QCon 2014 ▌ ITpro Active製品選択⽀援セミナー 4 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Solrに関する事例 ▌Solrは2012年から案件で利⽤ 5
マルチメディアコンテンツ販売会社向けコンテンツの検索に利⽤特徴として、複数単語による状況によるスコア操作設定されているフィールドに対する順位付けの後、ページ内で並べ替えをおこなう公共図書館における書誌の検索特徴として、複数単語による状況によるスコア操作 Hadoopによるインデックス作成 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 全⽂検索とは ▌単語を検索キーとして、対象の⽂書を⾒つけ出す操作 ▌DBでも単語をまとめたテーブルに対してLike検索をすることで
実現可能︖ 7 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 単語数が増えた場合の性能の問題（前⽅⼀致ならインデックスが使われる場合あり） DBMSに格納する処理、検索する処理をアプリケーションで書く必要がある。単語にはゆれがある（スペースの有り無し、全⾓半⾓、変化など）そのため、DBMSより専⽤の検索エンジンミドルウェアを利⽤すべき。（OracleText、Groongaなどもその対象）

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 転置インデックス ▌⾼速に検索するために、単語と⽂書IDを結びつけるインデックスを利⽤する。このインデックスを「転置インデックス」と呼ぶ
8 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 単語⽂書ID Solr 1,2,4 検索エンジン 2,6 Google 2,8 Yahoo 2,9 天気 12,13 転置インデックスによって⾼速な検索を実現している。⼀⽅で、単語の切り出し⽅が重要となる。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 検索の精度 ▌単語を⼊⼒して検索した場合に検索される⽂書に対して、適切かどうかという意味で精度が重要となる
9 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 正解集合検索結果重なりあったところが正しい検索結果の⼀部本来検索されないといけないが検索結果に含まれない検索されてはいけない内容が検索された（＝ノイズ）この2つの集合（円）が⼀致することが理想だが、難しい。トレードオフになることが多いため、この2つのどちらを優先するかが重要

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 再現率と適合率 ▌前⾴の内容は学問的に研究されており、検索の精度を表す指標として、「再現率」と「適合率」がある
10 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 検索結果に含まれた正解集合（個数）再現率＝正解集合全体（個数）検索結果に含まれた正解集合（個数）適合率= 検索結果全体（個数）前⾴と同様に再現率と適合率はトレードオフになることが多いため、この2つのどちらを優先するかが重要

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 ⽇本語の取り扱い ▌⽇本語の検索は単語の区切りが明確ではなく、転置インデックスを作成しにくい
▌単語の区切りによって、適合率・再現率が変わるためどのようにするかが検索精度を決定する 11 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 形態素解析辞書をもとに単語を分類し、単語を分割する（例東京都⇒東京、都） Ngram 意味を意識せずに⽂字で分割する。（Nの⽂字のパターンで作る）（例東京都⇒東京、京都）

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 ⾔葉のゆれへの対応 ▌⾃然⾔語を取り扱うため、表現の揺れを意識しないと再現率が低くなる
▌標準的な表現を決めて、インデックスに格納する ▌インデックス作成、検索時に標準的な表現に変換して利⽤する 12 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. l 旧字対応 l ⾳便対応 l 半⾓・全⾓ l ⼤⽂字・⼩⽂字 l かな・カタカナ l 漢字（読み仮名）・送り仮名 l 略語 l 動詞変化 l 単数・複数 l 検索対象外（助詞等）

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Apache Solrの特徴 Apache
Solrとは ▌ApacheのLucenceのサブプロジェクト ▌現状のバージョンは5.2.1 ▌Full Javaで実装されており、Webコンテナで動作する ▌HTTPによるリクエストを実現しており、各⾔語から利⽤可能 ▌容易に導⼊できる割にスケールしやすい 14 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Apache Solrの特徴ファセットによる絞り込み
▌検索対象の情報に対して、グループ化して検索条件を絞り込む⽅法を「ファセット」と呼ぶ ▌Solrにおいて、ファセットを利⽤した絞り込みは重要な役割を持つ 15 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. Solrでは、 l フィールドの値 l 条件クエリー l 範囲（数値、⽇付）等を元に絞り込みの値及び対象件数を取得できる

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Apache Solrの特徴スコアリング
▌検索結果はLuceneが持つスコアリングロジックによってスコア化された結果順に結果が戻される（sortオプションを使うと別の結果となる） ▌スコアリングは、TF-IDFに基づいて計算される ▌このスコアリングロジックに⼀部カスタマイズをすることが可能 16 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. TF（Term Frequency）出現頻度を表す指標。「多くでてくる単語がその⽂書の特性を表している」という考え⽅に基づく。 = 対象となる単語の出現回数/⽂書におけるすべての単語数 IDF（Inverse Document Frequency）単語が共通で利⽤されていないかを表す指標。「共通ででてくる単語は⽂書の特性を表していない」という考え⽅に基づく。 = log（(全⽂書数/単語が含まれている⽂書数)) + 1

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Apache Solrの特徴検索単位と分散検索
▌検索をおこなうスキーマは⼀つしかもてないが、⼀つのサーバに対して、複数の検索集合を作ることができる ▌この検索集合の単位をコアと呼ぶ ▌複数の検索集合を取り扱うサーバ構成をマルチコアと呼ぶ ▌同⼀のスキーマであれば複数コアに対して検索することが可能（分散検索） ▌同時アクセス数に対応するために、同⼀のインデックスをリプリケーションできる 17 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） Apache Solr30分間クッキング Copyright (C) 2015 Atsushi Takayasu All
Rights Reserved. 18

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 導⼊ ▌ダウンロードして、起動するまで 19
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 1. http://ftp.riken.jp/net/apache/lucene/solr/4.10.3/から solr-4.10.3.zip をダウンロードする 2. 何らかのツールで解凍する 3. 以下のコマンドを⽤いて、起動する cd example java -jar start.jar

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 管理コンソールの利⽤⽅法 ▌管理コンソールにアクセスする 20
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. http://localhost:8983/solr/ にブラウザでアクセスする。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 デフォルトの動作とデモ環境 ▌先ほどのコマンド実⾏ではデフォルトの動作 21
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. SOLRHOMEはsolrディレクトリとなる。 cd example java -Dsolr.solr.home=multicore -jar start.jar デモでは、2つのコアを利⽤するため、マルチコアを利⽤する。 SOLRHOMEはmulticoreディレクトリとなる。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 ⼀つ⽬のデモ ▌Wikipediaからタイトルを取得（ MediaWiki
API） ▌タイトルから記事本⽂とカテゴリを取得 ▌Solrインデックスを作成 22 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. タイトルクローラ Wikipedia 記事クローラタイトルファイル index この⽅法は時間がかかるので、あらかじめ作成してあるインデックスを利⽤します。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 管理コンソールのデモ ▌対象のフォルダをコピーする（conf/dataともに） ▌Solrを再起動する
▌管理コンソールを起動してwikiがあることを確認する ▌Queryの例 ▌Schema Browser ▌Analysis (形態素とNgramの違い） 23 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 ⼆つ⽬のデモ ▌空間検索を利⽤するデモ ▌駅データ.jp(http://www.ekidata.jp/)のデータを加⼯して、
CSVを作成 ▌実際にインデックシングもデモします。 24 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. ※ 空間検索にはJTS Topology Suiteが必要となるためダウンロードし、 example/lib/extにjts-1.13.jar、jtsio-1.13.jar をコピーする必要があります。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 インデックシング ▌station⽤の設定ファイルなどを配置し、Solrを再起動する（この状態ではデータは空）
▌管理コンソールから、対象のコアであるstationを選択する ▌DocumentTypeをCSVとする ▌DocumentsにCopy&Pasteする ▌Submit Documentボタンを押す 25 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 Apache Solr アーキテクチャ
▌Apache Solrのアーキテクチャは以下の通り 27 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. インタフェース層 SolrCore searchHandler updateHandler index レスポンスライタ solr-config.xml schema.xml リクエストレスポンス Apache Solr⼊⾨ p017 より引⽤・加⼯クエリーパーサ

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 SearchHandler ▌デフォルトでも設定されており、検索(select)・更新(update)などがある。
▌カスタマイズすることができる（solr-config.xmlにて設定） 29 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. <requestHandler name="/query" class="solr.SearchHandler"> パラメータ指定 </requestHandler> 例サーチコンポーネント <searchComponent name="query" class="solr.QueryComponent" /> <searchComponent name="facet" class="solr.FacetComponent" /> <searchComponent name="mlt" class="solr.MoreLikeThisComponent" /> <searchComponent name="highlight" class="solr.HighlightComponent" /> <searchComponent name="stats" class="solr.StatsComponent" /> <searchComponent name="debug" class="solr.DebugComponent" />

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 設定ファイル ▌Solrコアの設定ファイルは2つ ▌solr-config.xml
▌schema.xml 30 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. solr-config.xml p Solrコアの設定ファイル p サンプルからコピーすると動作する p キャッシュの設定やリクエストハンドラの設定などを変更したい場合に本ファイルを変更する schema.xml p 検索対象の情報をどのように格納するかを定義する設定ファイル p Create table⽂のようなもの p 型定義や変換処理を定義できる

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 デモのスキーマファイル（wiki） 31 Copyright
(C) 2015 Atsushi Takayasu All Rights Reserved. <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> <field name="title" type="text_ja" indexed="true" stored="true"/> <field name="description" type="text_ja_html" indexed="true" stored="true"/> <field name="category" type="string" indexed="true" stored="true" multiValued="true"/> <uniqueKey>id</uniqueKey> 〜中略 <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false"> <analyzer> <tokenizer class="solr.JapaneseTokenizerFactory" mode="search"/> <filter class="solr.JapaneseBaseFormFilterFactory"/> <filter class="solr.JapanesePartOfSpeechStopFilterFactory" tags="lang/stoptags_ja.txt" /> <filter class="solr.CJKWidthFilterFactory"/> <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_ja.txt" /> <filter class="solr.JapaneseKatakanaStemFilterFactory" minimumLength="4"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldType> <fieldType name="text_ja_html" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false"> <analyzer> <charFilter class="solr.HTMLStripCharFilterFactory"/> 〜以下略

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 デモのスキーマファイル（station） 32 Copyright
(C) 2015 Atsushi Takayasu All Rights Reserved. <field name="station_cd" type="string" indexed="true" stored="true" multiValued="false" required="true"/> <field name="station_g_cd" type="string" indexed="true" stored="true" multiValued="false" /> <field name="station_name" type="text_ja" indexed="true" stored="true" multiValued="false" /> <field name="line_cd" type="string" indexed="true" stored="true" multiValued="false" /> <field name="pref_cd" type="string" indexed="true" stored="true" multiValued="false" /> <field name="post" type="string" indexed="true" stored="true" multiValued="false" /> <field name="add" type="text_ja" indexed="true" stored="true" multiValued="false" /> <field name="point" type="location_rpt" indexed="true" stored="true" multiValued="false" /> 〜中略 <fieldType name="location_rpt" class="solr.SpatialRecursivePrefixTreeFieldType" spatialContextFactory="com.spatial4j.core.context.jts.JtsSpatialContextFactory" distErrPct="0.025" maxDistErr="0.000009" units="degrees" /> 〜以下略

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 変換処理 ▌再現率を⾼めるために、インデックス作成時及び検索時に変換をおこなう。
33 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 検索⽂字列複数単語 CharFilter Tokenizer TokenFilter 検索⽂字列複数単語単語単位⽂字単位で変換する単語に区切る単語単位で変換する n MappingCharFilter n HTMLStripCharFitler n JapaneseTokenizer n WhitespaceTokenizer n NGramTokenizer n JapaneseBaseFormFilter n CJKWidthFilter n LowerCaseFilter

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 インデックス作成 ▌管理コンソールやCurlコマンドなどによってインデックスを作成することは可能だが、プログラム⾔語を⽤いて作成することも可能
35 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. SolrServer server = new HttpSolrServer("http://localhost:8983/solr/wiki/"); private static List<SolrInputDocument> list = new ArrayList<>(); SolrInputDocument input = new SolrInputDocument(); input.setField("title", model.getTitle()); input.setField("description", model.getHtml()); for (String category : model.getCategories()) { input.addField("category", category); } list.add(input); if (list.size() > COMMIT_COUNT) { server.add(list); server.commit(); list.clear(); } コミットには⼀定コストがかかるので、まとめて実施するのがセオリー

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 検索単純なパターン（全件） 36
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. HttpSolrServer server = new HttpSolrServer("http://localhost/solr/wiki/"); @Test public void test() { SolrQuery query = new SolrQuery(); query.setQuery("*:*"); try { QueryResponse res = server.query(query); SolrDocumentList list = res.getResults(); System.out.println("かかった時間(ms): "+res.getElapsedTime()); System.out.println("検索件数: "+list.getNumFound()); System.out.println("開始位置: "+list.getStart()); list.forEach(doc -> System.out.println("取得したタイトル: "+doc.getFieldValue("title"))); } catch (SolrServerException e) { e.printStackTrace(); } } かかった時間(ms): 131 検索件数: 94503 開始位置: 0 取得したタイトル: 反転幾何学取得したタイトル: 地球の想い〜ほしの想い〜取得したタイトル: 富⾥スイカロードレース⼤会取得したタイトル: 南富⼭駅取得したタイトル: ⻑尾忠綱取得したタイトル: ⼤島建彦取得したタイトル: 有本義明取得したタイトル: 平城・相楽ニュータウン取得したタイトル: ⼤路恵美取得したタイトル: 相澤奈美テストプログラム実⾏結果 SolrDocumentListは ArrayList<SolrDocument>を継承している。 *:*は検索対象フィールド:検索⽂字列を表す。

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 検索複雑な場合 ▌検索で複雑なことを考える場合、検索式がどのようになるかを考える
必要がある ▌いきなりプログラムを書くのではなく、管理コンソールを利⽤して検索式を検討してから、その検索式をAPI（SolrQuery）でマッピングする ▌検索語の処理については、単純な場合と同様 37 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. l 開始位置 l 取得件数 l ソート順 l 取得フィールド l フィルタクエリー l ファセット l クエリーパーサ l ハイライト

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 検索の精度を⾼める ▌検索の精度を⾼めるために、複数フィールドを組み合わせて検索をおこなう
39 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 例）⽇本語の取り扱いとして、NGramと形態素の2つのフィールドを利⽤例）タイトルと本⽂のフィールドを利⽤例）漢字と読み仮名のフィールドを利⽤これらのフィールドの組み合わせとブーストを組み合わせて検索の精度を⾼める

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 インデックス作成と検索 ▌インデックス作成と検索のサーバは規模が⼤きくなる場合、分けた⽅が良い。
▌データ件数が多い場合（1000万件が⽬安）、複数台数に分けて分散検索を検討する 40 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. コア1 A コア1 S コア1 A コア2 A コア1 S コア2 A コア2 S コア2 S コア-Z A 分散検索振り分け振り分けコアのswap コア1 作成コア2 作成検索インデックス作成上記構成をSolrの機能として拡張させたのが「Solr Cloud」（Solr4.0〜)

BTC主催技術勉強会（Solr⼊⾨編） 1 2 3 4 5 性能特性 ▌転置インデックスがあるため、単語が含まれている⽂書を⾒つける等に性能が良い
▌ツリーインデックスなどではないため、DBとは異なる性能特性を持つ ▌開始位置が深くなるにつれて、取得に時間がかかるようになる（deep paging 問題） ▌分散検索をする場合は、分散検索を統合する検索サーバにメモリ上のオーバヘッドかかり、deep paging問題は深刻。（Googleにおいても深いページは表⽰できない） 41 Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

Solr勉強会2015

Solr勉強会2015

More Decks by takayasu

Other Decks in Technology

Featured

Transcript