検索番長のおしごと

不動産テック勉強会#4 2016/11/25

Transcript

1. 検 索 番 長 の お し ご と 2 0 1 6 / 1 1 / 2 5
2. 1 植竹 剛人 (うえたけ たけひと) 株式会社 一休 技術基盤部 エンジニア • パフォーマンスのことなんかは高い比率で携 わります。 • 情報セキュリティ責任者だったり。 • なんかいろいろやります。 SNSとか • Twitterはやっていないので、本名でFBとかさ がすと出てきます。 自己紹介
3. 2 もともとはDBエンジニア パフォーマンス・チューニングの人です 自己紹介
4. 3 社内では無鉄砲と評判。 自己紹介
5. 4 会社紹介
6. 5 会社紹介 予約サービス ＋ EC
7. 6 会社紹介 類似競合サービス
8. 7 会社紹介 オンプレ Windowsプラットフォーム • クラウドに移行中。 → の人々と日々楽しく過ごしています 今年からヤフーグループに入りました。
9. ここまでで30秒の予定
10. 9 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ 今日話したいこと
11. 10 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ 今日話したいこと 今日は宿泊の検索を中心に
12. 11 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ
13. 12 条件検索がタイムアウトするんだけど！
14. 13 条件検索がタイムアウトするんだけど！ 背景 • 大規模リプレイス • リアルタイムの在庫、料金を参照した検索にした。 • これに伴ってメインの検索のSQLが長大に • 試しにA4用紙に小さいフォントで印字すると7mになっていた。
15. 14 条件検索がタイムアウトするんだけど！ 問題 • SQLクエリタイムアウト(30秒)が頻発。 • 他の検索でも10秒くらいかかるのが多数。
16. 15 宿泊予約データ構造 宿泊施設 部屋 プラン 日別料金 日別在庫
17. 16 条件検索がタイムアウトするんだけど！ 解決方法 • 札束でひっぱたく。 • Masterマシンには ViolinMemoryを導入。 • Slaveマシン全台に IoDriveを導入。 • ひとまず金で延命。
18. 17 条件検索がタイムアウトするんだけど！ 解決方法 • 札束でひっぱたく。 • Masterマシンには ViolinMemoryを導入。 • Slaveマシン全台に IoDriveを導入。 • ひとまず金で延命。 オンプレならIoDriveは買い。
19. 18 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ
20. 19 キーワード検索の内容がおかしい！
21. 20 キーワード検索の内容がおかしい！ 背景 • 大規模リプレイス • このタイミングで、Solr1.3を導入。 • 辞書メンテを嫌って n-gramで実装 • 検索結果が不思議。
22. 21 キーワード検索の内容がおかしい！ 問題 • TDRを検索して、四国の施設がマッチする。 • 「蓼科」を探したら軽井沢の施設がでてきたと、創業社長が怒った。
23. 22 キーワード検索の内容がおかしい！ 解決方法 • 形態素解析に移行。辞書はひとまず手動メンテ。 • ノイズになりうる情報をフィールドから除外。 • ユーザーの求める形に合わせていった。 • スキーマに含めるフィールドの見直し • 重み付けの調整 • 上位1000キーワードまで検証しながら調整
24. 23 キーワード検索の内容がおかしい！
25. 24 キーワード検索の内容がおかしい！ ユーザーが何を欲しているかをよく知って 辞書や重み付けでコントロール
26. 25 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ
27. 26 最安値が更新されないんだけど！
28. 27 最安値が更新されないんだけど！ 背景 • 最安値はバッチで算出 • バッチサーバと呼ばれる単一マシンにデータをもってきて加工していた。 • 宿泊施設様は競合を意識して値付けをすることもあるわけで、更新が遅いとチャン スロスにもなりえる。
29. 28 最安値が更新されないんだけど！ 問題 • 最安値がデータ更新をしてから3時間経過しても検索結果画面に反映されない。
30. 29 最安値が更新されないんだけど！ 解決方法 • 最安値の算出を検索Slave側で分散同時並行実行するようにバッチ処理を再作成 • 処理をデータの近くに寄せて、大量のデータをネットワーク越しにやりとりし ないようにした。 • → 結果、3時間 → 8分にまで処理時間を短縮。
31. 30 最安値が更新されないんだけど！ 解決方法 • 最安値の算出を検索Slave側で分散同時並行実行するようにバッチ処理を再作成 • 処理をデータの近くに寄せて、大量のデータをネットワーク越しにやりとりし ないようにした。 • → 結果、3時間 → 8分にまで処理時間を短縮。 ・データの近くに処理を寄せる ・処理の同期並列化
32. 31 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ
33. 32 条件検索でまだタイムアウトエラーがでるんだけど！！ 背景 • 予約可能期間がビジネス起因で半年から1年に伸びた。 • 日別系データの量が増大 • 新規事業が立ち上がり、施設数がごっそり増えた。 • パーソナライズ検索の導入。
34. 33 条件検索でまだタイムアウトエラーがでるんだけど！！ 問題 • 大エリア検索で遅いときに11秒程度かかる。平均でも5秒くらい。 • IOの急激な増大。 • 有効活用されないクエリキャッシュ、データキャッシュ。 • 冗長なデータ構造による、無駄なIOの発生。 • もう、SQLチューニングやインデックス付与などの小手先対応では逃げられない。
35. 34 条件検索でまだタイムアウトエラーがでるんだけど！！ 解決方法 • 条件検索をまるごとSolr5.4に移行。 • 在庫、料金がリアルタイムに検索結果と同期している必要はない。 • 日別情報をダイナミックフィールドとして横持ちすることで、データの冗長化 を抑制。スキーマレス万歳。 • 結果として日別料金のテーブルだけで130GBあったが、移行後のSolrスキーマ は2GBしかない。IOも極小。
36. 35 条件検索でまだタイムアウトエラーがでるんだけど！！ 解決方法 • 条件検索をまるごとSolr5.4に移行。 • 在庫、料金がリアルタイムに検索結果と同期している必要はない。 • 日別情報をダイナミックフィールドとして横持ちすることで、データの冗長化 を抑制。スキーマレス万歳。 • 結果として日別料金のテーブルだけで130GBあったが、移行後のSolrスキーマ は2GBしかない。IOも極小。 11秒 → 1秒以内 RDBは検索が不得意と認識する。
37. 36 サイト内検索周りの課題解決 • 条件検索がタイムアウトエラーするんだけど！ • キーワード検索の内容がおかしい！ • 最安値が更新されないんだけど！ • 条件検索でまだタイムアウトエラーがでるんだけど！！ まとめ
38. 37 まとめ IOが大きい キーワード検索 大量データ処理 大量データからの検索 オンプレならIODrive入れる 辞書を作ってユーザーニーズに マッチさせる データの近くに処理を持っていく 検索をRDBにやらせる必要がなけ れば、SolrやESに移行する。
39. ご静聴ありがとうございました！