Rroongaの全文検索性能

61st Ruby/Rails勉強会@関西 LT 2014/05/31

Transcript

1. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaの全⽂ 検索性能 Naoya(@naoa̲y) 61st�Ruby/Rails勉強会@関⻄�LT 2014/05/31
2. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 自⼰紹介 Naoya�(@naoa̲y) 大学は情報系 ✓ 新卒で3年半ほど⾦融系のユーザSI でインフラSE ✓ 現在は3年半ほどITと無縁の仕事 ✓ Ruby歴は実働数⽇ほど ✓ ✓
3. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 国産の全⽂検索 エンジン Groongaって 知ってますか？
4. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Groongaって？ C⾔語で書かれた⾼速な全⽂検 索ライブラリ/サーバ MySQLのストレージエンジンとし て実装されたMroonga ✓ Rubyらしい記法でRubyから全⽂検 索できるRroonga ✓ ✓
5. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 個⼈でMroonga でそこそこ大規模 な全⽂検索Web サービスを作りま した。
6. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Groongaは少 ないハードウェ ア資産でもかな り⾼速な全⽂検 索ができる！
7. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 デスクトップ向 けの全⽂検索ア プリをRubyで 作りたい！
8. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaって？ Rroongaのほかにサーバがな くともローカルのみで⾼速な全 ⽂検索機能が実現可能 ✓ アプリに組み込みやすい。イメ ージとしてはSQLiteみたいな もの ✓
9. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaの利用例 るりまサーチ Rubyのリファレンスマニュアルを 検索できるWebアプリ�http:// docs.ruby-lang.org/ja/search/ ✓ ✓ Milkode ソースコード検索エンジン、検索ア プリ�http:// milkode.ongaeshi.me/�(るびま 0045号に記事掲載) ✓ ✓
10. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 実際のところ Rroongaっ てどのくらい 速いの？
11. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rubyだし ⾔うほどじ ゃ・・・？
12. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 試してみ よう！
13. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証環境 MacBook�Air CPU�1.4GHzデュアルコアIntel� Core�i5 ✓ Memory�4GB ✓ SSD�128GB ✓ ✓
14. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証⽅法 ⽇本語Wikipediaのカテゴリ上 位100件を検索 ✓ カテゴリ上位100件で⽇本語 Wikipediaのタイトルと本⽂を 全⽂検索 ✓ 検証プログラム�http:// github.com/naoa/rroonga- wikipedia-bench ✓
15. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証1 ⽇本語Wikipedia�1万件�XML� 168MB SQLite3 Rroonga カテゴリ 2314� msec 47�msec 本⽂ 103� msec 6�msec
16. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証2 ⽇本語Wikipedia�5万件�XML� 512MB SQLite3 Rroonga カテゴリ 9339� msec 88�msec 本⽂ 341� msec 30�msec
17. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証3 ⽇本語Wikipedia�183万件(全件)� XML�17GB Rroonga カテゴリ 1601�msec 本⽂ 56�msec
18. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証4 ⽇本語Wikipedia�366万件(全件 *2)�XML�33GB Rroonga カテゴリ 3087�msec 本⽂ 113�msec
19. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 検証5 ... ✓
20. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 MacBook� Airのディスク が逼迫したの でここまで！
21. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Mroongaでの経験 則から⾔うとこの数 倍ぐらいなら⾼速に 全⽂検索できると思 います。(⽇本語で Bigramの場合。)
22. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Mroongaを使った全 ⽂検索のWebサービ スでは、最大で 400GB超、1000万 レコード超でもサーバ 1台でそこそこ⾼速に 検索できています。
23. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaで は、⾼速な全⽂ 検索のほかに位 置情報検索機能 もあります。
24. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 先⽇、Heroku でRroongaが 使えるビルドパ ックがリリース されています。
25. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 Rroongaを 使ってみた くなりまし たよね？
26. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 おわりに 2014/6/27(⾦)19:00から神 ⼾でGroongaに関する勉強会 をします。 ✓ Groongaに興味が沸いた⽅は 是非参加してください！ ✓
27. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 おわりに Rroonga,Rabbit等の作者、 Ruby/Groongaコミッタの須 藤さん(@ktou)が東京から来て くれます！ ✓ 2014/6/28(土)に大阪で Groongaに関するイベントが できればと考えています。 ✓ 会場提供等に協⼒していだける ⽅がいたら嬉しいです。 ✓
28. Rroongaの全⽂検索性能 Powered�by�Rabbit�2.1.2 ありがと うござい ました