ユーザーの動機推定と行動分析による検索精度改善戦略

検索はユーザーが目的の番組や作品を探す上で欠かせない機能であり、ABEMAではWAUの20%以上のユーザーが利用しています。

しかし導入後の検索機能には様々な改善課題がありました。

課題を解決し検索精度を向上させるために、検索改善プロジェクトを発足しました。

本プロジェクトでは1年間、ユーザーの検索動機の推定や行動ログの分析を行い、問題点の洗い出しとその問題点を解決するための施策を提案・実現し検索機能を改善していきました。

本セッションでは、ABEMAで実際に行った取り組みを例に、検索導入後にどのようにして精度向上を行ってきたか、そして今後のABEMAの検索機能の展望を紹介します。

https://developer.abema.io/2021/sessions/RpgonAmlPE/?utm_medium=social&utm_source=slideshare

Transcript

2. agneda 1. 検索の役割 2. 検索指標の決定 3. 課題の明確化 4. 課題の優先度付け 5. ABEMAでの改善例 6. まとめ/展望
3. 検索の役割 CHAPTER　01
4. 一般的な検索機能の役割 検索の役割 ユーザが欲しい情報を「正確に」「短時間」「簡単」に提供すること ABEMA検索の役割 ユーザが視聴したい目的の番組/作品を「素早く発見できる機能」を提供すること
5. 検索機能の説明 シリーズ名: 会社は学校じゃねぇんだよ エピソード名: 叛逆と成功の企業 番組名: 会社は学校じゃねぇんだよ 新世代逆襲編 #1~3 ABEMAでは、「シリーズ名・エピソード名・番組名・キャスト名」を対象とした検索キーワードに 対応しています。 キャスト名 ’
6. 検索機能の説明 ABEMAはテレビとビデオのハイブリッドサービスであ り、検索結果も現在は二つ用意しています 難しい点 ・テレビとビデオで配信している作品が違う ・同じ作品でもテレビとビデオで配信期間が異なる ・またジャンルによって、重要な粒度が違う
7. 検索機能の説明 ABEMAでは、3つの検索手段を提供しています history suggest direct
8. 検索機能の説明 ABEMAにおける検索が見る範疇
9. 検索指標 CHAPTER　02
10. 検索指標について 代表的なサービス品質指標(オンライン指標)の例 • 検索実行UU数 • 検索利用率 • 検索CTR • 検索結果ページでの離脱数 • 検索結果のクリックは1stビューか • 検索実行から作品をクリックするまでの 時間 • 検索実行から作品をクリックするまでの タップ数((遷移数) • 0件ヒット率 • 0件ヒット数 • 検索結果ありCTR • 検索結果なしCTR • 検索CTVR etc...
11. ABEMA検索の指標 検索CTR 検索CTVR クリック 視聴
12. 課題の可視化 CHAPTER　03
13. 検索利用方法の調査 『目的の作品』に到達するまでの経路調査 検索キーワード 目的の作品 ?
14. 検索利用方法の調査 例1: 「Dr. STONE 第一期 1話」 に検索経由で辿り着くケース 例2: 「機動戦士Zガンダム 13話」 に検索経由で辿り着くケース
15. 検索行動フローの認識 行動ログを用いた検索行動の可視化 可視化手法: Sunburst (例) 検索トップから検索手段:history経由で再 生ページまで遷移したユーザの割合が全体 の24%ということ
16. 検索行動フローの認識 新規/継続ユーザの検索行動遷移
17. ユーザが検索する動機について プロダクト/機能 ユーザ動機 使う 「動機を知ること」 検索する 「検索クエリの意図を知ること」 「検索をする動機」 検索機能
18. ユーザが検索する動機について ABEMAの起動後から検索するまでのクラスタ
19. ユーザが検索する動機について 分析に用いたセグメント(一部) • 検索しているユーザのプロダクトに対する熟練度 • どの時間帯に検索しているか • 検索キーワードを入力するまでの経緯 • 検索キーワードの種別 ABEMAにおける検索を利用する動機(一部) • 視聴したい作品が決まってからABEMAを起動して検索する • もうすぐ放映する番組を視聴したいから検索を利用する • 番宣を見て気になったら検索を利用する • ABEMAを一通り回遊した後に検索を利用する
20. 検索行動にユーザ動機を加えたフロー図 ・ログ計測ポイントの可視化 ・増加/削減すべきポイントの可視化 検索行動フローの認識
21. 検索行動フローの認識 (例) 「見つかった→無い→わからない」 (改善点) 検索の順番 もしくは UI/UXの課題 (例) 「無い→再検索」 (改善点) 0件ヒットの課題
22. 課題の優先度決め CHAPTER　04
23. 改善点の優先度決め リソースが無限にあれば、改善点を全て解決できますが現実はそうではないです。
24. 改善点の優先度決め 検索CTRを向上させることを 目的として、それを実現するため 「目的の要素」「施策の要素」 のツリー図を作成 現在のリソースや使える工数などを 加味して着手する目的の要素を決定
25. 具体的な改善例 CHAPTER　05
26. 0件ヒット 検索キーワードを入力した結果 が0件になる状態 検索結果画面 検索CTRを分解した際の0件ヒットについて
27. 0件ヒット ABEMAの0件ヒットキーワードを分解
28. 0件ヒットキーワードのモニタリング 検索結果が0件のキーワードをモニタリングする
29. 0件ヒットに対して実際に取り組んだ話 『レールガン』と打って『とあ る科学の超電磁砲』がヒット しない 『作品の読み仮名』を 検索の参照に追加 「オオカミくんには騙されな い♥」の「♥」が「❤」でヒットし ない 『リクエスト時』『インデックス 時』に正規化を 適切にかける対応 番組がインデックスされてい るはずなのに検索にヒットし ない Analyzerを変更/N-gram の 粒度を変更することによって 対応 case.1 case.2 case.3 問題 対応 成果: 1年間 ほど 検索CTRを中心に改善していた結果、当初より10%以上 検索CTRは向上した。 特定時期を切り出すと、それ以上に向上している時期もあったが、サービスの性質上 配信されてる コンテンツに左右されるため、総合的に見た結果として10%程度向上した。
30. 検索結果の並び順の改善 検索結果の並び順の改善は、検索意図に沿った検索内容 に分類 (ゴール) ユーザが検索キーワードを入力して検索した結果 複数の作品を 返した場合に、ユーザが想定した作品が上位に来ることが望ましい 0 1 0 1 2
31. 並び順 改善のためのモニタリング 検索キーワードごとに結果の何番目が平均的にクリックされたかを表している 1stビュー ポジション
32. 並び順を改善するにはスコアを改良する • どういうスコアが良い並び順なのか検討する必要がある ◦ ABEMAの例 ▪ よく視聴されている作品が上位に来るべきか ▪ 最近試聴されている作品が上位に来るべきか ▪ 新しさを考慮に入れるべきか • 具体的にはどういうことをすれば良いか ◦ 参照フィールドの重みを変更する ◦ 作品自体の人気度なども考慮する
33. 並び順の改善のために取り組んだ話 直近数日間の「検索キーワードとそのキーワードでクリックされた作品」をペア化, 翌日以降、そのキーワードで検索した際にクリックされやすい作品のスコアをブースト 🔎 会社は学校じゃねぇんだよ 🔎 じゃねえ 🔎 下克上 click 🔎 じゃねえ 直近数日 検索実行時 キーワードでクリックされやすい 作品はスコアをブースト
34. まとめ CHAPTER　06
35. まとめ
36. 展望 現在、今後 ABEMA検索の行っている展望 今まで取り組んできた領域 今後、取り組んできたい領域
38. ABEMAの検索システムについて Solr 作品データ 形態素解析で転置インデックスを作成 N-gramで転置インデックスを作成 検索結果 2つの転置インデックス に対して同時に検索する 形態素解析の検索結果の方が boostされるようにして統合 Appendix
39. 自己紹介 みんな自己紹介してるの? So YAMAGUCHI / @wktk0 19新卒 / Project Manager データサイエンティストとしてABEMAの番組編成 に関する分析設計やBI担当. Growth Engineer として、検索精度の改善の土 台作りを担当. 現在、検索改善プロジェクトのマネジメント, ABEMA全体の探索行動全般の改善に従事. Appendix