Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ユーザーの動機推定と行動分析による検索精度改善戦略

CyberAgent
December 15, 2021

 ユーザーの動機推定と行動分析による検索精度改善戦略

検索はユーザーが目的の番組や作品を探す上で欠かせない機能であり、ABEMAではWAUの20%以上のユーザーが利用しています。

しかし導入後の検索機能には様々な改善課題がありました。

課題を解決し検索精度を向上させるために、検索改善プロジェクトを発足しました。

本プロジェクトでは1年間、ユーザーの検索動機の推定や行動ログの分析を行い、問題点の洗い出しとその問題点を解決するための施策を提案・実現し検索機能を改善していきました。

本セッションでは、ABEMAで実際に行った取り組みを例に、検索導入後にどのようにして精度向上を行ってきたか、そして今後のABEMAの検索機能の展望を紹介します。

https://developer.abema.io/2021/sessions/RpgonAmlPE/?utm_medium=social&utm_source=slideshare

CyberAgent

December 15, 2021
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. 検索指標について 代表的なサービス品質指標(オンライン指標)の例 • 検索実行UU数 • 検索利用率 • 検索CTR • 検索結果ページでの離脱数

    • 検索結果のクリックは1stビューか • 検索実行から作品をクリックするまでの 時間 • 検索実行から作品をクリックするまでの タップ数((遷移数) • 0件ヒット率 • 0件ヒット数 • 検索結果ありCTR • 検索結果なしCTR • 検索CTVR etc...
  2. ユーザが検索する動機について 分析に用いたセグメント(一部) • 検索しているユーザのプロダクトに対する熟練度 • どの時間帯に検索しているか • 検索キーワードを入力するまでの経緯 • 検索キーワードの種別

    ABEMAにおける検索を利用する動機(一部) • 視聴したい作品が決まってからABEMAを起動して検索する • もうすぐ放映する番組を視聴したいから検索を利用する • 番宣を見て気になったら検索を利用する • ABEMAを一通り回遊した後に検索を利用する
  3. 0件ヒットに対して実際に取り組んだ話 『レールガン』と打って『とあ る科学の超電磁砲』がヒット しない 『作品の読み仮名』を 検索の参照に追加 「オオカミくんには騙されな い♥」の「♥」が「❤」でヒットし ない 『リクエスト時』『インデックス

    時』に正規化を 適切にかける対応 番組がインデックスされてい るはずなのに検索にヒットし ない Analyzerを変更/N-gram の 粒度を変更することによって 対応 case.1 case.2 case.3 問題 対応 成果: 1年間 ほど 検索CTRを中心に改善していた結果、当初より10%以上 検索CTRは向上した。 特定時期を切り出すと、それ以上に向上している時期もあったが、サービスの性質上 配信されてる コンテンツに左右されるため、総合的に見た結果として10%程度向上した。
  4. 並び順を改善するにはスコアを改良する • どういうスコアが良い並び順なのか検討する必要がある ◦ ABEMAの例 ▪ よく視聴されている作品が上位に来るべきか ▪ 最近試聴されている作品が上位に来るべきか ▪

    新しさを考慮に入れるべきか • 具体的にはどういうことをすれば良いか ◦ 参照フィールドの重みを変更する ◦ 作品自体の人気度なども考慮する
  5. 自己紹介 みんな自己紹介してるの? So YAMAGUCHI / @wktk0 19新卒 / Project Manager

    データサイエンティストとしてABEMAの番組編成 に関する分析設計やBI担当. Growth Engineer として、検索精度の改善の土 台作りを担当. 現在、検索改善プロジェクトのマネジメント, ABEMA全体の探索行動全般の改善に従事. Appendix