Slide 1
Slide 1 text
No content
Slide 2
Slide 2 text
agneda
1. 検索の役割
2. 検索指標の決定
3. 課題の明確化
4. 課題の優先度付け
5. ABEMAでの改善例
6. まとめ/展望
Slide 3
Slide 3 text
検索の役割
CHAPTER 01
Slide 4
Slide 4 text
一般的な検索機能の役割
検索の役割
ユーザが欲しい情報を「正確に」「短時間」「簡単」に提供すること
ABEMA検索の役割
ユーザが視聴したい目的の番組/作品を「素早く発見できる機能」を提供すること
Slide 5
Slide 5 text
検索機能の説明
シリーズ名: 会社は学校じゃねぇんだよ
エピソード名: 叛逆と成功の企業
番組名: 会社は学校じゃねぇんだよ 新世代逆襲編 #1~3
ABEMAでは、「シリーズ名・エピソード名・番組名・キャスト名」を対象とした検索キーワードに
対応しています。
キャスト名
’
Slide 6
Slide 6 text
検索機能の説明
ABEMAはテレビとビデオのハイブリッドサービスであ
り、検索結果も現在は二つ用意しています
難しい点
・テレビとビデオで配信している作品が違う
・同じ作品でもテレビとビデオで配信期間が異なる
・またジャンルによって、重要な粒度が違う
Slide 7
Slide 7 text
検索機能の説明
ABEMAでは、3つの検索手段を提供しています
history suggest direct
Slide 8
Slide 8 text
検索機能の説明
ABEMAにおける検索が見る範疇
Slide 9
Slide 9 text
検索指標
CHAPTER 02
Slide 10
Slide 10 text
検索指標について
代表的なサービス品質指標(オンライン指標)の例
● 検索実行UU数
● 検索利用率
● 検索CTR
● 検索結果ページでの離脱数
● 検索結果のクリックは1stビューか
● 検索実行から作品をクリックするまでの
時間
● 検索実行から作品をクリックするまでの
タップ数((遷移数)
● 0件ヒット率
● 0件ヒット数
● 検索結果ありCTR
● 検索結果なしCTR
● 検索CTVR
etc...
Slide 11
Slide 11 text
ABEMA検索の指標
検索CTR
検索CTVR
クリック 視聴
Slide 12
Slide 12 text
課題の可視化
CHAPTER 03
Slide 13
Slide 13 text
検索利用方法の調査
『目的の作品』に到達するまでの経路調査
検索キーワード 目的の作品
?
Slide 14
Slide 14 text
検索利用方法の調査
例1: 「Dr. STONE 第一期 1話」
に検索経由で辿り着くケース
例2: 「機動戦士Zガンダム 13話」
に検索経由で辿り着くケース
Slide 15
Slide 15 text
検索行動フローの認識
行動ログを用いた検索行動の可視化
可視化手法: Sunburst
(例)
検索トップから検索手段:history経由で再
生ページまで遷移したユーザの割合が全体
の24%ということ
Slide 16
Slide 16 text
検索行動フローの認識
新規/継続ユーザの検索行動遷移
Slide 17
Slide 17 text
ユーザが検索する動機について
プロダクト/機能
ユーザ動機
使う
「動機を知ること」
検索する
「検索クエリの意図を知ること」
「検索をする動機」
検索機能
Slide 18
Slide 18 text
ユーザが検索する動機について
ABEMAの起動後から検索するまでのクラスタ
Slide 19
Slide 19 text
ユーザが検索する動機について
分析に用いたセグメント(一部)
● 検索しているユーザのプロダクトに対する熟練度
● どの時間帯に検索しているか
● 検索キーワードを入力するまでの経緯
● 検索キーワードの種別
ABEMAにおける検索を利用する動機(一部)
● 視聴したい作品が決まってからABEMAを起動して検索する
● もうすぐ放映する番組を視聴したいから検索を利用する
● 番宣を見て気になったら検索を利用する
● ABEMAを一通り回遊した後に検索を利用する
Slide 20
Slide 20 text
検索行動にユーザ動機を加えたフロー図
・ログ計測ポイントの可視化
・増加/削減すべきポイントの可視化
検索行動フローの認識
Slide 21
Slide 21 text
検索行動フローの認識
(例)
「見つかった→無い→わからない」
(改善点) 検索の順番 もしくは UI/UXの課題
(例)
「無い→再検索」
(改善点) 0件ヒットの課題
Slide 22
Slide 22 text
課題の優先度決め
CHAPTER 04
Slide 23
Slide 23 text
改善点の優先度決め
リソースが無限にあれば、改善点を全て解決できますが現実はそうではないです。
Slide 24
Slide 24 text
改善点の優先度決め
検索CTRを向上させることを
目的として、それを実現するため
「目的の要素」「施策の要素」
のツリー図を作成
現在のリソースや使える工数などを
加味して着手する目的の要素を決定
Slide 25
Slide 25 text
具体的な改善例
CHAPTER 05
Slide 26
Slide 26 text
0件ヒット
検索キーワードを入力した結果
が0件になる状態
検索結果画面 検索CTRを分解した際の0件ヒットについて
Slide 27
Slide 27 text
0件ヒット
ABEMAの0件ヒットキーワードを分解
Slide 28
Slide 28 text
0件ヒットキーワードのモニタリング
検索結果が0件のキーワードをモニタリングする
Slide 29
Slide 29 text
0件ヒットに対して実際に取り組んだ話
『レールガン』と打って『とあ
る科学の超電磁砲』がヒット
しない
『作品の読み仮名』を
検索の参照に追加
「オオカミくんには騙されな
い♥」の「♥」が「❤」でヒットし
ない
『リクエスト時』『インデックス
時』に正規化を
適切にかける対応
番組がインデックスされてい
るはずなのに検索にヒットし
ない
Analyzerを変更/N-gram の
粒度を変更することによって
対応
case.1 case.2 case.3
問題
対応
成果: 1年間 ほど 検索CTRを中心に改善していた結果、当初より10%以上 検索CTRは向上した。
特定時期を切り出すと、それ以上に向上している時期もあったが、サービスの性質上 配信されてる
コンテンツに左右されるため、総合的に見た結果として10%程度向上した。
Slide 30
Slide 30 text
検索結果の並び順の改善
検索結果の並び順の改善は、検索意図に沿った検索内容 に分類
(ゴール)
ユーザが検索キーワードを入力して検索した結果 複数の作品を
返した場合に、ユーザが想定した作品が上位に来ることが望ましい
0
1
0
1
2
Slide 31
Slide 31 text
並び順 改善のためのモニタリング
検索キーワードごとに結果の何番目が平均的にクリックされたかを表している
1stビュー
ポジション
Slide 32
Slide 32 text
並び順を改善するにはスコアを改良する
● どういうスコアが良い並び順なのか検討する必要がある
○ ABEMAの例
■ よく視聴されている作品が上位に来るべきか
■ 最近試聴されている作品が上位に来るべきか
■ 新しさを考慮に入れるべきか
● 具体的にはどういうことをすれば良いか
○ 参照フィールドの重みを変更する
○ 作品自体の人気度なども考慮する
Slide 33
Slide 33 text
並び順の改善のために取り組んだ話
直近数日間の「検索キーワードとそのキーワードでクリックされた作品」をペア化,
翌日以降、そのキーワードで検索した際にクリックされやすい作品のスコアをブースト
🔎 会社は学校じゃねぇんだよ
🔎 じゃねえ
🔎 下克上
click
🔎 じゃねえ
直近数日 検索実行時
キーワードでクリックされやすい
作品はスコアをブースト
Slide 34
Slide 34 text
まとめ
CHAPTER 06
Slide 35
Slide 35 text
まとめ
Slide 36
Slide 36 text
展望
現在、今後 ABEMA検索の行っている展望
今まで取り組んできた領域
今後、取り組んできたい領域
Slide 37
Slide 37 text
No content
Slide 38
Slide 38 text
ABEMAの検索システムについて
Solr
作品データ
形態素解析で転置インデックスを作成
N-gramで転置インデックスを作成
検索結果
2つの転置インデックス
に対して同時に検索する
形態素解析の検索結果の方が
boostされるようにして統合
Appendix
Slide 39
Slide 39 text
自己紹介
みんな自己紹介してるの?
So YAMAGUCHI / @wktk0
19新卒 / Project Manager
データサイエンティストとしてABEMAの番組編成
に関する分析設計やBI担当.
Growth Engineer として、検索精度の改善の土
台作りを担当.
現在、検索改善プロジェクトのマネジメント,
ABEMA全体の探索行動全般の改善に従事.
Appendix