Upgrade to Pro — share decks privately, control downloads, hide ads and more …

OpenSearchで実現する ホットペッパーグルメの検索基盤

Recruit PRO
November 18, 2026

OpenSearchで実現する ホットペッパーグルメの検索基盤

2026/10/21に、OpenSearch Tokyo Meetup #2で発表した蜂須賀の資料になります。

Recruit PRO

November 18, 2026

Transcript

40 slides
  1. 地図検索とは 地図上で店舗‧施設‧スポット‧住所などを探し、位置やルートを確認できる機能の総称。 Google マップや Yahoo!地図に代表され、キーワード検索‧カテゴリ検索(飲⾷店、ATM 等)‧現在地 周辺検索などを通じて、⽬的地までのナビゲーションや営業時間‧⼝コミといった付随情報まで⼀度 に得られるのが⼀般的。 1 2

    3 渋⾕ カフェ ランチ ATM ☕ 駐⾞場 ☕ ◦◦カフェ 渋⾕店 ★ 4.3 徒歩 4分 ‧ 営業中 △△珈琲 渋⾕ ★ 4.1 徒歩 7分 ‧ ¥¥ キーワード‧カテゴリで検索 地図上にピンで結果表⽰ 詳細‧⼝コミ‧ルート案内 検索 可視化 情報取得‧ナビ 11 © Recruit Co., Ltd. All Rights Reserved
  2. 地図検索の⼿法 地図検索は⼤きく「全件を順に調べる線形探索」と「事前にデータを区切って⾼速に絞り込む空間イ ンデックス」の2系統に分かれる。後者はさらに「地図を矩形セルに切るグリッド系」と、領域を再帰 的に分割する⽊構造系に⼤別される。 ▍ 主な⼿法 ① 線形探索 ② 空間インデックス(事前にデータを区切って絞り込む)

    グリッド系 — 地図を矩形セルに切る 全件を順にチェック 計算量 O(N) / 実装は単純 データ⼤規模では遅い ⽊構造系 — 領域を再帰的に分割 代表例 代表例 Geohash R-tree H3 BKD-tree S2 Quadtree セルIDで瞬時にバ ケット引き 枝刈りで探索範囲 を絞る 密度の偏りに強い 12 © Recruit Co., Ltd. All Rights Reserved
  3. 席押さえでは Amazon OpenSearch Service を利⽤ Amazon OpenSearch Service とは オープンソース由来

    3つの検索を1つで AWSフルマネージド Elasticsearch から派⽣したOSS検索エン ジン。内部はLuceneで全⽂検索が⾼速 全⽂検索‧地理空間(geo)検索‧ベクト ル検索を同じ基盤でまかなえる スケール‧可⽤性‧運⽤をAWSが担当。 ⾃前のクラスタ運⽤が不要 © Recruit Co., Ltd. All Rights Reserved
  4. 地図検索にも対応 OpenSearchは緯度経度を扱う geo_point / geo_shape 型を提供し、内部のLuceneが BKD-tree(⽊ 構造系の空間インデックス) で索引する。 集約、可視化においてもgeohash_grid系のクエリが⽤意されており、⽬的に合わせて柔軟に選べる

    ① データ型 ② 索引構造 ③ 集約‧可視化 geo_point / geo_shape BKD-tree(Lucene) geohash_grid 系 root bbox • 点(point) + 図形(shape) bbox 点∕図形を bbox で再帰分割 緯度経度‧ポリゴンを直接インデックス グリッドセルごとに件数を集約 ヒートマップ‧ズーム可変表⽰ 14 © Recruit Co., Ltd. All Rights Reserved
  5. スロットとQueryProxyの役割の違い 各スロットは施策‧A/Bテストごとの要求に応えるロジック層、QueryProxy は検索全体で共通する汎 ⽤的な機能をまとめている。 スロット 位置付け 粒度 主な処理 QueryProxy 施策‧A/Bテストごとの要求に応えるロジック層

    横断で利⽤する機能をまとめた層 施策やA/Bテストごとに⼀つ 検索種別ごとに⼀つ(ベクトル検索、全⽂検索) 地図検索以外でも利⽤ 検索種別判定‧スコア集約‧Reranking‧シノニム展開‧ レスポンス整形 OpenSearchへの検索‧embedding 18 © Recruit Co., Ltd. All Rights Reserved
  6. 席押さえ機能における検索フロー 検索リクエストを5ステップで処理。スロット が前後の業務処理を、QueryProxy が検索実⾏を担 う。 ① 前処理 ② 検索実⾏ ③

    集約 ④ リランキング ⑤ 後処理‧返却 【スロット】 【QueryProxy】 【スロット】 【スロット】 【スロット】 • ベクトル‧全⽂のスコア をRRFでマージ • 学習モデルで最終スコア 計算 • 店舗/ユーザー特徴量を ⾮同期ロード • 距離‧空席‧特徴量を統 合してソート • リクエストを内部クエリ に変換 • 検索種別を判定 • シノニム展開 • embedding⽣成 • 全⽂検索/ベクトル検索 を実⾏ • レスポンス整形 • JSONで返却 • 検索種別ごとに異なるモ デルを使⽤ API = 業務ロジック QueryProxy = 検索実⾏エンジン 19 © Recruit Co., Ltd. All Rights Reserved
  7. 検索クエリ⾃体はSearch Templateを利⽤ QueryProxy が OpenSearch に投げる検索は、あらかじめ登録しておいたSearch Templateを利⽤ し、パラメータを埋めて実⾏する形になっている。 全体構造:QueryProxy が検索テンプレートを実⾏する

    スロット QueryProxy 条件を組み⽴て パラメータをOpenSearchに投げる OpenSearch パラメータとテンプレートを元に クエリをレンダリングし 検索を実⾏ Search Templateで使われているMustacheはロジックをほとんど持たないため、コードが肥⼤化し、管理が難しくなる。 そこでJinjaを噛ませて、Mustacheをモジュール化し、可読性、保守性を確保。レンダリングをして⽣成したMustacheを登録 → 重複が減り、変更箇所が局所化され、レビューもしやすくなった 20 © Recruit Co., Ltd. All Rights Reserved
  8. クエリ上の⼯夫 「席押さえ」の検索では、近い店かどうか(店舗情報)と、空いているか(空席情報) の両⽅を同時に満たす必要がある。2つは更新の頻度が異なる 店舗情報 更新:低頻度 空席情報 更新:⾼頻度 • 店名‧住所‧店舗ベクトル‧店舗のジャンルなど •

    席の空き状況‧予約枠 • 基本的に⼤きくは変わらない • 予約が⼊る度、キャンセルされる度に変わる • 付随するデータは⼤きい • 付随するデータは⽐較的⼩さい 課題:検索では両⽅を組み合わせたいが、LuceneのセグメントはImmutableなので、空席情報だけ更新みたいなことがで きず、店舗情報の⼤きさに引っ張られて書き込みのコストが⾼くなる © Recruit Co., Ltd. All Rights Reserved
  9. OpenSearchの内部:インデックスの構造 OpenSearchの内部はLucene。インデックスはイミュータブルなセグメントの集まり で、更新は新セグメントの作成になる。だから⼀部だけの更新が難しい。 インデックス(Index) イミュータブル セグメントは書き換え不可 セグメント(Segment) セグメント(Segment) doc doc

    doc doc doc doc doc doc 追記で書く 新規docは新セグメントとして追加 マージで整理 ⼩さいセグメントを⼤きく統合 インデックス ⊃ セグメント ⊃ ドキュメント の⼊れ⼦構造 © Recruit Co., Ltd. All Rights Reserved
  10. join fieldで店舗を親‧空席を⼦にする OpenSearch の join field(親⼦関係) で、店舗と空席を別ドキュメントのまま関連づ けることで、空席情報の更新の際は空席ドキュメントのみ更新されるように 同⼀シャード(routingで固定) ①

    routingで同⼀シャードに配置 親⼦は必ず同じシャードに置く(joinの前提) 店舗ドキュメント(親) 店名‧住所‧緯度経度 ② ⼦は親IDを持つ 空席(⼦)のparentに店舗IDを⼊れて関連づけ 空席(⼦) 空席(⼦) parent=店舗ID parent=店舗ID ③ ⼦の更新は親に影響しない ⾼頻度の空席更新でも店舗情報は再作成不要 © Recruit Co., Ltd. All Rights Reserved
  11. has_child で「空席がある店舗」を絞り込む join field の親⼦関係を使うと、⼦(空席)の条件に合う親(店舗)を検索できる。これ で「近い」かつ「空いている」を1回のクエリで表現できる。 空席(⼦)の条件にマッチした店舗だけ返る 1つのクエリ 親(店舗)の条件 地図範囲内(近い)

    + ⼦(空席)の条件 指定時間に空きあり • 店舗A 空きあり → 結果に含む has_child ◦ 店舗B 空きなし → 除外 • 店舗C 空きあり → 結果に含む ◦ 店舗D 空きなし → 除外 ポイント:親の地理条件と⼦の空き条件を1クエリに合流。「近くにあって、いま⼊れる店」を⼀度で絞り込める(フィルタ⾃体は軽 量) © Recruit Co., Ltd. All Rights Reserved
  12. ⼦の要素を取ってくると重くなる 「どの空席が当たったか」中⾝まで取り出すクエリを当初書いていた。 しかし, inner_hits は親のヒット件数に⽐例して重くなる ことが計測で発覚し、要件 調整の上、削除した。 親ヒット(店舗)ごとに⼦の再検索が⾛る 店舗ヒット inner_hits

    ⼦を再検索 店舗ヒット inner_hits ⼦を再検索 応答時間 なし (80msくらい) あり (250msくらい) 店舗ヒット inner_hits ⼦を再検索 上はhas_childだけ、下はinner_hits 付き 親が N 件ヒット → ⼦検索が N 回。全セグメントを再スキャンし、件 数に⽐例してコスト増 ⼦ドキュメントが必要なケースが発⽣したら、クエリをもう⼀度叩くか、他のデータストアを検討予定 © Recruit Co., Ltd. All Rights Reserved
  13. 「実は予約が埋まっていた」という体験が発⽣する懸念 予約は完了しているのに、検索結果は遅延の間 古い空き状況のまま。次のユーザーが「空いてる」と 思って席押さえに進み、最後に弾かれる可能性がある t1: Aが予約完了 ユーザーA (予約する) 検索エンジン (空席状態)

    ユーザーB (検索する) t2: 連携の遅延ウィンドウ t3: Bが検索→席押さえ 連携の遅延ウィンドウ 予約完了 → DB書込 状態: 空席のまま (遅延中) 空席のまま 状態: 満席に更新 検索 → 空いて⾒える 席押さえNG 遅延ウィンドウが短いほど、検索結果と実態のズレが⼩さく、負体験が減る 28 © Recruit Co., Ltd. All Rights Reserved
  14. 連携の⼿法:バッチ vs ストリーミング データ連携には⼤きく 定期バッチ と ストリーミング(逐次反映) がある。鮮度要件から後者を選んだ。 ① バッチ連携

    ② ストリーミング連携(CDC) 定期実⾏でまとめて反映 実装は単純 反映間隔のぶん鮮度が遅れる(分〜時間) 過去の連携では⼤体20分ほどかかっていた 変更が起きるたびに逐次反映 低遅延(秒オーダー) ピークにも追従できる → 採⽤ 30 © Recruit Co., Ltd. All Rights Reserved
  15. 書き込みアーキテクチャ: SNS + SQS + Lambda オンプレ予約管理基盤や店舗情報管理基盤から SNS にメッセージを発⾏。SQS で受けて

    Lambdaで整形 し、OpenSearch のインデックスを更新する。 31 © Recruit Co., Ltd. All Rights Reserved
  16. SNS を起点に:将来の配信先追加に備える 配信先を1つに固定せず、将来の⽤途追加に備えて fan-out を可能にするため。 ① fan-out で複数サブスクライバに同時配信 ストリーミング配信の起点として最適 •

    1メッセージを複数のサブスクライバに同時配信(fan-out)できる • OpenSearchのマイグレーション時など複数ストアへのダブルライトも容易に 実現できる • 検索⽤ SQS に加え、将来の分析⽤ S3 / 監査ログ等を後付けしやすい • 送信元(オンプレ)は配信先を意識する必要がない 32 © Recruit Co., Ltd. All Rights Reserved
  17. SQS で受ける:障害時もメッセージを失わない SNS から直接 Lambda を起動するのではなく、間に SQS を挟むことで 障害時の復旧容易性を確保。 ②

    キューによる滞留‧再処理でメッセージを失わない 障害が起きてもメッセージを取りこぼさない • Lambda 障害時もメッセージは SQS に滞留 → 復旧後にそのまま再処理 • DLQ で処理失敗メッセージを切り分け、原因調査後に再投⼊も可能 • ピーク時のスパイクをキューが吸収し下流の負荷を平準化 33 © Recruit Co., Ltd. All Rights Reserved
  18. 並⾏制御:version_type でバージョンを管理する OpenSearch にはバージョン番号で更新を制御する仕組みがある。version_type=externalを使って 連携元 のバージョンを渡し、古いものは拒否できる。 internal(既定) external(連携向け) OpenSearch がバージョンを⾃動で増やす

    同時更新の衝突検出に使う 連携元がバージョン番号を渡す 現在より新しい時だけ受理、古いものは拒否 version_type: external の判定(現在のバージョン = 100 のとき) 届いたバージョン 105 105 > 100(新しい) 受理してドキュメント更新 届いたバージョン 95 95 < 100(古い) 拒否(409)→ 適⽤しない 34 © Recruit Co., Ltd. All Rights Reserved
  19. 標準の external では制御しきれない external は次の2つを前提にしている。店舗‧空席はどちらもこの前提に収まらない。 external の前提 ① 1ドキュメント=1つのバージョン ②

    毎回フル置換 店舗:バージョンが1本にならない 空席:多段で書きたい 複数の書き⼿が別フィールドを部分更新 → 単⼀のバージョンにまとめられない(前提①②に反する) 作成 → 店舗情報を追記、と段階的に書く → 毎回フル置換の前提②に反する それぞれに合った書き込み⽅を⾃前で⽤意する © Recruit Co., Ltd. All Rights Reserved
  20. 空席: 更新時にスクリプト(Painless)でバージョン判定 OpenSearch 上で動く スクリプト(Painless)が、イベント発⾏時間を元にしたバージョンを⾒て更 新か破棄かを決める。index/createとかでしか使えないversion_type=externalと異なり、updateでも 動作する 到着イベント Painless スクリプト

    バージョン+更新内容 incoming > current ? YES → 新しい:部分マージで更新 NO → 古い:noop で捨てる 衝突したら:409 → SQSに戻り再試⾏ のループで最終DLQに⾶ぶ © Recruit Co., Ltd. All Rights Reserved
  21. 店舗: バージョンを共有できないので別の値を使う 空席は書き⼿が1つだったので“共通のバージョン”で新旧を判定できた。だが店舗は複数の書き⼿が 同じドキュメントを更新するため全員で共有できるバージョンが無い。したがってOpenSearchで⾃動 採番されている seq_no / primary_term で並列制御する。 店舗マスタ更新

    特徴量バッチ ベクトルバッチ 店舗ドキュメント 1件 複数の書き⼿が同じドキュメントを同時に更新 ↓ Painlessもしくはversion_type = external ✗ 各書き⼿が別々のバージョンを持ち寄る → 揃わない‧⽐べられな い(どのバージョンを正とするか決められない) seq_no / primary_term ✓ OpenSearch が1つのバージョンを⾃動採番。各書き⼿は「読んだ バージョンのままか?」だけ⾒て書く 衝突(バージョンが変わった)→ 409で弾かれる → 読み直して再適⽤ 並列に投げつつ seq_no/primary_term の楽観ロックで巻き戻りを防ぐ © Recruit Co., Ltd. All Rights Reserved
  22. チューニングのためstats API を利⽤して内部指標を観測 シャード構成‧書き込み⽅式のチューニングは、内部指標を確認しないと効果と副作⽤を判断できな い。標準メトリクスではセグメント数などの情報が不⾜するため、定期的に stats API を呼び出して取 得する Lambda

    を⽤意している。 標準メトリクスで⾒える範囲と stats API で補完する指標 標準メトリクス(CloudWatch)で⾒える範囲 CPU‧JVM‧検索/書き込みレートなどクラスタ全体の指標 EventBridge Lambda 定期実⾏ 指標取得 → stats API で補完する指標 インデックス別のセグメント数‧マージ状況‧ホットスレッド OpenSearch stats API _stats / _nodes/stats hot_threads © Recruit Co., Ltd. All Rights Reserved CloudWatch Logs 分析基盤 蓄積 BigQuery 等で可視化
  23. まとめ 1 検索基盤を OpenSearch で構築 3 ストリーミングでデータ連携 • 地図検索‧席押さえをマネージドで実現 •

    複雑な要件を少ない実装コストで対応 • SNS→SQS→Lambda で near real-time に反映 • 予約の偏りや遅延の影響を抑制 2 検索リクエストのアーキテクチャ 4 書き込みと並⾏制御 • Router→スロット→Query Proxy→OpenSearch • 前処理 → 検索→集約→リランキング→レスポン ス • 空席は単⼀の書き⼿、バージョンで新旧を判定 • 店舗は複数の書き⼿、seq_no / primary_term で 制御 検索性能を維持しながら、データ連携の速度と書き込みの整合性を両⽴させた。 チューニングは相互に影響するため、インデックス単位のメトリクスと Lucene の内部挙動を確認しながら進めると良い。 © Recruit Co., Ltd. All Rights Reserved

More Decks by Recruit

Other Decks in Technology