Tweet
Tweet

Slide 1

Slide 1 text

国土交通省のデータをSolrで検索 株 式 会 社 ネ ク ス ト 秀 野 亮 @ r y o 0 3 0 1 

Slide 2

Slide 2 text

自己紹介 秀野 亮 株式会社ネクスト @ryo0301 不動産･住宅情報サイト HOME'S http://www.homes.co.jp/ 最近の仕事 Solr -> AWS -> DQ10 

Slide 3

Slide 3 text

発表の概要 Lucene/Solr4の新しい(地理)空間検索  http://wiki.apache.org/solr/SolrAdaptersForLuceneSpatial4 上記の機能を使ったデモとその説明 国交省のデータ -> PostGIS -> Solr 

Slide 4

Slide 4 text

デモ:想定した機能 地図上の小学校から、その学区内の物件を検索 小学校をクリック 学区を表示 学区内の物件を表示 地図上の指定した範囲の物件を検索 おまけ 内部的には同じ機能 

Slide 5

Slide 5 text

デモ:環境 バージョン(5月時点の最新版) Solr4.3.0 PostGIS2.0.3 データ 東京都のデータ POLYGON：学区 POINT：小学校、公園、公共施設、バス停 ※物件代わりに利用 

Slide 6

Slide 6 text

デモ:やります 少々お待ちください 

Slide 7

Slide 7 text

デモ:実演中… 

Slide 8

Slide 8 text

事前知識 説明の前に軽く事前知識を・・・ 

Slide 9

Slide 9 text

事前知識：ジオメトリデータ 点：駅/物件など POINT MULTIPOINT 線：路線など LINESTRING MULTILINESTRING 面：市区町村/学区など POLYGON MULTIPOLYGON 

Slide 10

Slide 10 text

事前知識：WKB/WKT形式 WKB Well Known Binary 0101000000000000000000F03F000000000000F03F PostgreSQL(PostGIS)にはWKB形式で格納 WKT Well Known Text MULTIPOLYGON(((0 0,10 0,10 10,0 10,0 0)),((5 5,7 5,7 7,5 7, 5 5))) Solrへのインポート、検索クエリはWKT形式で行う 

Slide 11

Slide 11 text

事前知識：Intersects Intersects 交差するデータを検索する関数 

Slide 12

Slide 12 text

環境:データの流れ &$ TIQQHTRM 1PTU(*4 HFPNLNM LNMT 4 4PMS %*) ࠃަল 

Slide 13

Slide 13 text

環境:SHAPE -> PostGIS &$ TIQQHTRM 1PTU(*4 HFPNLNM LNMT 4 4PMS %*) ࠃަল 

Slide 14

Slide 14 text

環境:SHAPE -> PostGIS 国土交通省のデータを使って、緯度経度から市区町村までを取り出す  http://qiita.com/masuidrive/items/21a282c7bf54fd6a4985 

Slide 15

Slide 15 text

環境:PostGIS -> Solr &$ TIQQHTRM 1PTU(*4 HFPNLNM LNMT 4 4PMS %*) ࠃަল 

Slide 16

Slide 16 text

環境:PostGIS -> Solr PostGIS -> DIH DIHでDBから一括インポート select *, ST_AsText(geom) from school_district; ST_AsText関数でWKB→WKT変換 DIH -> Solr SpatialRecursivePrefixTreeFieldType geohashで階層的にインデックスを保持 WKT形式でインポート 

Slide 17

Slide 17 text

環境:PostGIS -> Solr schema.xml 

Slide 18

Slide 18 text

環境:PostGIS -> S3 &$ TIQQHTRM 1PTU(*4 HFPNLNM LNMT 4 4PMS %*) ࠃަল 

Slide 19

Slide 19 text

環境:PostGIS -> S3 geom2kml select ST_AsKml(geom) from school_district; ST_AsKml関数でKML形式に変換 ERBでKMLファイルを生成 MULTIPOLYGONデータ(学区)が対象 kml2s3 KMLファイルをAmazon S3にアップロード 

Slide 20

Slide 20 text

環境:PostGIS -> S3 ST_AsKml関数の出力結果(MULTIPOLYGON) 139.763459000000012,35.6... 139.763459000000012,35.663246999999998 

Slide 21

Slide 21 text

環境:Solr/S3 -> Google Map &$ TIQQHTRM 1PTU(*4 HFPNLNM LNMT 4 4PMS %*) ࠃަল 

Slide 22

Slide 22 text

環境:Solr/S3 -> Google Map KmlLayer 学区の範囲をGoogleMap上に表示 S3上のKMLファイルのURLを指定するだけ Solrでの検索 小学校検索 (geo:[10,20 TO 30,40]) 小学校→学区検索 (POINT→MULTIPOLYGON) 学区→物件検索 (MULTIPOLYGON→POINT) 指定範囲検索 (POLYGON→POINT) 

Slide 23

Slide 23 text

実際のクエリ 小学校→学区検索 (POINT→MULTIPOLYGON) fq=geo:"Intersects(POINT(139.7343+35.6364))" 学区→物件検索 (MULTIPOLYGON→POINT) fq=geo:"Intersects(MULTIPOLYGON(((139.737202 35.640305,139.737358 35.640414,...305))))" ※geoフィールドに対して検索 

Slide 24

Slide 24 text

注意点:必要なライブラリ Spatial4J https://github.com/spatial4j/spatial4j geospatial JTS http://sourceforge.net/projects/jts-topo-suite/ spatial polygon support 

Slide 25

Slide 25 text

注意点:必要なライブラリ Solr adapters Lucene spatial Spatial4J JTS 

Slide 26

Slide 26 text

注意点:インデクシング遅い MULTIPOLYGONのインデクシングが遅い 驚きの遅さ PostGISに間引きしてくれる関数があったような… 

Slide 27

Slide 27 text

EOP ありがとうございました。 

Slide 28

Slide 28 text

蛇足 ネクストでは、 ヌルスタックエンジニアを 募集しています！