DMM が目指す検索レコメンドの世界観と事業インパクトに対する戦略

「どうすれば検索レコメンドの成果を事業成長に直結させられるのか？」「改善効果を社内にどう伝えれば理解を得られるのか？」こうした課題意識は，多くの検索レコメンドの現場に共通する悩みではないでしょうか。

本セッションでは，DMM が展開する多種多様なサービスにおいて，検索レコメンドを真に事業貢献の柱とするために，どのような課題意識を持つべきか，その探求の入り口に焦点を当てます。 事業インパクトを見据えた KPI マネジメントの必要性，部門横断で成果を追求する上での組織的な障壁，そしてステークホルダーとのコミュニケーションにおける初期の難しさなど，DMMが日々直面し，「何が本質的な問題なのか？」を問い続けている論点とその解決の糸口を共有します。

Transcript

1. DMM が目指す検索レコメンドの世界観と事 業インパクトに対する戦略 
 1 1 
 DMM.com
 西潟 一生

3. - 本人の主観が一部含まれます 
 
 - 所属企業を代表する 発言・意見 ではありません 
 
 - サービスの特性上，表現が曖昧になる表記や発言があります 
 
 - 本セッションで伝えた事実は，将来変わる可能性があります 
 免責事項

4. 本セッションで 伝えること/伝えないこと
 伝えること 
 
 - DMM のサービスと検索レコメンドの関 係性
 
 - 検索レコメンドチームが直面してきた 課題と，これまでの取り組み
 - プロダクト面
 - ビジネス面
 伝えないこと 
 
 - ビジネス課題に対する具体的な解き方
 - 2回目以降のイベントで語りたい
 
 - 検索レコメンドの具体的な実装や，本 セッションの課題に対する詳細なアプ ローチ
 
 - 情報検索，推薦の定量的な評価方法

5. © DMM.com 5 - ビジネスに貢献できている？
 
 - ステークホルダーに価値を感じてもらえている？
 
 - KPI に対して整合する実装ができている？
 
 - オンラインテストの結果が持続している？
 良質な書籍，論文はあるが，現場感を話し合う機会が欲しい！ 
 懇親会の時間を長めに取っている 
 イベント実施のモチベーション 

6. 検索レコメンドが導入されているサービス 
 6 6
7. © DMM.com PPV（Pay Per View） 
 - DMM ブックス など
 
 買っていただければいただけるほど売上向上するサービス。 買ったものがハズレだった時のダメージは大きい。試し読み ができるとは言え，購入する時は慎重になる。 
 7 SVOD（Subscription Video on Demand） 
 - DMM TV など
 
 入会と，その後の契約継続で売上向上するサービス。視聴したい作品 が継続的に配信されること，それがユーザーに正しく訴求されるように なっていることが重要
 

8. 検索（レコメンド）チームの始まり 
 8 8
9. © DMM.com 9 当時も今も ARPU（一人あたりの売上） がメイン KPI になるケースは多い
 
 売上金額順がデフォルトソートである状態から スタートした

10. © DMM.com 10 おすすめ順（検索エンジンのスコア）に変えること ですぐに結果が出る（ARPU 上がる）と思った
 
 各フィールドのパラメータ調整をするだけで，実際 に定性的にはかなり良くなっているように見えた
 
 特に人名での検索は劇的に改善されたように見 えた

11. © DMM.com 11 ARPU を上げるために適切だったか？
 以下のどちらに対しての施策？
 - キーワード検索 → Similarity の改善 
 - カテゴリ検索 
 
 今回のケースにおいて，売上が向上するシナリオ は何？
 ↓
 商品を発見できなかったことによる機会損失を防 げた時（1つのシナリオ） 
 Similarity の改善と 
 Relevancy の改善 

12. © DMM.com キーワード検索の Similarity 改善（特に固有名詞 の改善）は 対 ARPU 性能が低いと判断
 
 ユーザーにタグ付けすることで，キーワード検索/ カテゴリ検索全体を，ユーザーの嗜好性に寄せる 方向に変更し，前述のシナリオに一致させる
 
 Relevancy の改善 → ARPU の改善 
 12 Similarity の改善と 
 Relevancy の改善 

13. 検索レコメンドの組織づくり 
 13 13
14. © DMM.com ML エンジニアと 
 検索レコメンドの親和性 
 - 検索側はエンジンの仕様を理解していないと ケイパビリティが限定的
 
 - レコメンド側はテーブルデータや Embedding 周りに技術力あれば，とても親和性高い
 
 - ML エンジニアを検索のシノニムや表記揺れ など Similarity の改善に投入したら組織が存 続できなかったかもしれない
 14
15. © DMM.com - インフラだけで十分な数がいるチームが完成（組 織全体からは十分人がいそうに見える）
 
 - インフラと ML の技術スタックが違いすぎる
 - 売上に直結する検索で，売上貢献できる組 織にできない
 
 - ML エンジニアに古典的なフィールドの重み付け チューニングやルールベースな改善させるとエン ゲージメント下がる
 検索チームの組織づくり の難しさ
 15
16. © DMM.com 開発組織として目指すべき ところ
 - Similarity の改善は検索の分かりやすい改 善。ともすると，ルールベースなインフラ的改 善
 
 - Relevancy の改善は実装と評価の難易度が 高く，その価値を理解してもらうことも難易度 が高い
 
 - 開発組織が従来持っていた KPI と異なる KPI で戦うためには早期に相互理解が必要
 16
17. ビジネスサイドとの折衝 
 17 17
18. © DMM.com ビジネスサイドの気持ちに 
 寄り添うために解くべき課題 
 - AB テストで ARPU や GMV に対して影響し ていない施策に価値はあるのか？
 - CTR/CVR 上がり，ARPU 若干下がった 施策はリリースしたくない
 - 中長期的には効果あるかもしれない or そもそも品質が悪くて ARPU まで影響 しなかった疑念
 
 - AB テストの効果の持続性の合意形成。売上 を上げる組織が売上実績について解像度が 低いのは辛い
 18
19. © DMM.com ビジネスサイドの気持ちに 
 寄り添うために解くべき課題 
 - サブ KPI 向上が中長期的にメイン KPI に及 ぼす効果は？
 
 - 中長期的な効果を計測するには？
 - LTV と先行 KPI の関係について深ぼる
 - 定期的に全装備解除して AB する
 - ホールドアウトグループの設定
 - 常に機会損失を生むためビジネス サイドの理解は得られにくい
 19
20. © DMM.com まとめと展望 
 20 早期に解決しないと組織の存続に関わる
 
 1. 検索レコメンドが介入可能な KPI の設計やそのた めの実装
 2. 適切な人員のアサイン。特に検索。
 3. ビジネスサイドとの貢献価値や施策リリース判定 の合意
 4. 3 のためのデータやダッシュボード整備
 
 次回以降は上記について深堀っていきたい
 
 本日の内容についてブログも書いてます
 http://bit.ly/4mCXLRE