検索リランキングを事業成果につなげる 評価・改善戦略

DMMでは、検索結果のパーソナライズ改善を目的に、複数の検索・レコメンドシグナルを活用した検索リランキングに取り組んできました。その中で、埋め込み類似度などを用いたスコア活用から、複数の観点を組み合わせて順位そのものを最適化する取り組みへと進める中で、オフライン評価・AB テスト・事業 KPI の間にあるギャップに直面しました。

本発表では、検索リランキングの AB テストで得られた失敗と改善を題材に、ランキング改善を事業成果につなげるための評価・改善戦略を紹介します。モデルやランキング指標の改善をどのように事業指標と接続するか、また局所的な最適化やカニバリを避けるために何を見て意思決定するべきかについて、実践から得た学びを共有します。

Transcript

1. 検索リランキングを事業成果につなげる 評価‧改善戦略 〜ランキング最適化と AB テストの失敗から得た学び〜 DMM.com 検索Growthチーム ⽥代 真⽣
2. ⾃⼰紹介 ⽥代 真⽣ (Masaki Tashiro) 業務：検索チーム パーソナライズを通した売上改善を担当。 趣味：サッカー、ランニング (チームの有志メンバーで今週末15km⾛ります) ▪ ▪
3. 本⽇お伝えしたいこと 検索リランキング施策の改善を通して得られた ランキング改善における評価指標に関する知見を共有 • nDCGを指標として利用する際に注意が必要なこと • 検索経由売上改善とカニバリの関係性についての考察
4. Agenda • 背景：LightGBM LTRの導入 • 課題：オフライン評価指標とメインKPIの不一致 • 取り組み：評価指標の見直し • 結果：メインKPIの改善 • 考察：検索経由売り上げの向上とカニバリ
5. 検索クエリは「1,2単語」がメイン。 単語のみでは、真にユーザーが欲しい商品を 特定できない。 ▪ ▪ 過去の⾏動やクエリ背後の⽂脈から需要を 予測する必要がある。 ▪ 背景：検索パーソナライズの必要性 クエリだけでは絞り込み困難 → 検索リランキングによる最適化
6. 背景：検索リランキングの変遷 より幅広く、かつ最適化されたランキング情報を考慮したいというニーズへ。 Two-Tower User × Item ベクトル Hybrid + Query × Item ベクトル LightGBM LTR ランキングの直接最適化
7. 背景：Learning to Rank の導⼊ PoCでは⼤きな性能向上 オフライン評価指標 (nDCG) において、 既存モデルを⼤きく上回る結果を達成。 期待を胸に、ABテスト‧本番実装へ。
8. 課題：サブ指標は改善、しかしARPUが横ばい なぜ、クリックや購⼊の確率は上がっているのに「売上」が増えないのか？ nDCG@5 CVR ARPU
9. 課題：安売り商品による指標ハック 購買単価の傾向 Low 平均購買単価の低下 モデルの盲点 セールの商品は安価で、ユーザーの注意を 惹きやすい。 結果としてモデルが「安価な商品」を 上位に表⽰しやすくなっていた。 平均購買件数は稼げるが 1件あたりの単価が落ち、ARPUが相殺された。 ▪ ▪ ▪
10. 課題：セール開始後から成績が悪化 • ⼤型セール開始後からテスト群の平均購買価格が⼤きく低下 • それを追う形でARPUも減少 (図はイメージ)
11. 取り組み：安売りによる指標ハックへの対策 • Gainの見直し(学習・評価) • オフライン評価の見直し(評価) • 推論ロジックの見直し(推論)
12. 取り組み：Gain (重み) の⾒直し 単純な重要度設定から、データに基づいた設定へ変更。 アクション 旧重み設定 新設定 (購買確率ベース) 購買 7 1.0 カート追加 7 P(購買 | カート追加) お気に⼊り 3 P(購買 | お気に⼊り) 末端閲覧 1 P(購買 | 末端閲覧) → 重みを⼤幅に低減 ※購買を重視しクリック稼ぎにならないように モデルの学習がより複雑になり、Early Stopping までの epoch 数が増加した。
13. 取り組み：オフライン評価指標の拡充 従来の nDCG ランキング順位の 正しさを評価 (安売りに気付けない)。 上位平均価格 上位に安価な商品が 偏っていないかを 監視指標として追加。 price-DCG 価格の重みを加味した DCG指標を導⼊し、 売上のポテンシャルを 評価。
14. 取り組み：評価データセット設計の⾒直し 評価データのベース 検索結果として実際に 表⽰した商品と それに対するユーザーの クリック‧購⼊ログを 紐付けたデータを使⽤。 時期：セール網羅性 PoC段階で、特定の近い ⽇付で評価していたの を、セール期間の前‧中 ‧後フェーズを評価に含 めるよう⾒直した。 スパン：評価の安定化 検証(val)データのスパン を3⽇に延⻑。 ⽇次変動に 左右されない、安定した 評価‧改善を実現した。
15. 取り組み：推論ロジックの⾒直し 単なる購買確率ではなく、「期待売上」を最⼤化するスコアリングへ。 LightGBMの予測スコアに価格を掛け合わせる。 LightGBMの予測スコアはシグモイド関数を通して出力 価格は三乗根の値を掛け合わるようにした。まずは軽めの考慮からする意図 ▪ ▪ ▪ New Score = F(Old Score) × G(Price) 期待売上 = P(Purchase) × Price 上位平均価格、price-DCGを確認して調整。 ▪ 「モデルによる購買確率の向上」という純粋なメリットのみを抽出する意図。 ▪
16. 結果：メインKPIの改善 UP CVR & ARPU 購買商品の単価を維持しつつ、 無駄な安売りを防⽌。 CVR がさらに向上。 より購買意欲にマッチした商品を提⽰。 結果として、メインKPI である ARPU も向上。 ▪ ▪ ▪
17. 考察：カニバリに関する考察 検索の改善が、プラットフォーム全体へ与える影響
18. 考察の背景：検索改善とカニバリ プラットフォーム全体の視点 検索の改善によって、検索経由の売上が向上 しPF全体の売り上げが向上するのが理想 検索の売上が上がると、推薦（レコメンド） の売上が下がることが多い。 これは推薦で買っていたはずだったはずの 商品が検索閲覧の段階で購買されるため。 ▪ ▪ ▪ 本施策では、カニバリを抑えつつPF全体の 売上を伸ばすことに成功。 ▪
19. 考察：本施策のKPIの動きの振り返り KPIの傾向 検索経由売上増加 推薦経由売上微減 CVR 向上 ARPU 向上 ※ARPU = CVR × ARPPU 「⾮CVユーザー」の転換 これまで何も買わずに離脱していたユーザーが、 検索改善により商品を購⼊（CV化）。 このCV化がPF全体売上の向上につながった。
20. 考察：検索経由売上改善の2つのパターン 後者のパターンの売上増加は、プラットフォーム全体売上の純粋な上昇圧⼒になる。 1. CVユーザーの購買増加 既存の購買ユーザーが、 検索経由で買う量が増える ※ カニバリが発⽣しうる 2. ⾮CVユーザーの転換 これまで買わなかったユーザーが、 検索で⾒つけて購⼊する。 ※ 純増‧カニバリなし
21. 考察：数値例による実験結果の再現 コントロールモデル (現状) User 推薦売上 検索売上 全体売上 A 1,500円 1,500円 3,000円 B 500円 500円 1,000円 C 0円 0円 0円 D 0円 0円 0円 平均 500円 500円 1,000円 テストモデル (施策適⽤後) CVR (2/4⼈) 50.0% ARPPU 2,000円 User 推薦売上 検索売上 全体売上 A 1,000 ▼ 2,000 ▲ 3,000(カニバリ) B 500 500 1,000 C 0 500 ▲ 500(新規CV) D 0 0 0 平均 375 -125 750 +250 1,125 +125 ARPU (全体) 1,000円 CVR (3/4⼈) 75.0% ▲ ARPPU 1,500円 ▼ ARPU (全体) 1,125円 ▲ 指標変化の因果メカニズム（実証結果と⼀致） 検索経由売上 500 → 750 推薦経由売上 500 → 375 PF全体のCVR 50% → 75% 全体ARPPU 2.0k → 1.5k 全体ARPU 1.0k → 1.125k カニバリを超えCの純増分 売上を押し上げ 低単価な新規購⼊者(C)の 増加で希釈化 ⾮購⼊者(C)が検索で 商品を⾒つけ購⼊ Aの購⼊経路が推薦から 検索へ移⾏ 既存の移⾏(A) + 新規発⽣(C) により増加
22. まとめ ご清聴ありがとうございました オフライン指標（nDCG）の最適化に潜む罠 指標を事業KPIに合わせずに使うと、安価な商品による「ハック」が起き、メインKPIが低迷するリスクがある。 「学習‧推論‧評価」の⾒直しによって事業KPIが向上する⽅向で改善を進めた Gain⾒直し（学習）、価格を考慮した推論（推論）、価格を考慮した評価指標（評価）の追加。 カニバリの構造に関する考察 ユーザーを「⾮CVからCVへ」転換させる改善はPF全体の売上改善に直接的に寄与する。 ▪ ▪ ▪
23. 参考資料 • DMM Data Blog, 「LightGBM LambdaMARTによる検索リアルタイムリラ ンキングの導入」, Zenn, 2026/04/09 https://zenn.dev/dmmdata/articles/2e8a0c127caa1d • DMM Data Blog, 「検索機能 vs 推薦機能のカニバリゼーションに関す る新考察」, Zenn, 2026/05/18 https://zenn.dev/dmmdata/articles/1e2bc59c66f158