Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

agneda 1. 検索の役割 2. 検索指標の決定 3. 課題の明確化 4. 課題の優先度付け 5. ABEMAでの改善例 6. まとめ/展望

Slide 3

Slide 3 text

検索の役割 CHAPTER 01

Slide 4

Slide 4 text

一般的な検索機能の役割 検索の役割 ユーザが欲しい情報を「正確に」「短時間」「簡単」に提供すること ABEMA検索の役割 ユーザが視聴したい目的の番組/作品を「素早く発見できる機能」を提供すること

Slide 5

Slide 5 text

検索機能の説明 シリーズ名: 会社は学校じゃねぇんだよ エピソード名: 叛逆と成功の企業 番組名: 会社は学校じゃねぇんだよ 新世代逆襲編 #1~3 ABEMAでは、「シリーズ名・エピソード名・番組名・キャスト名」を対象とした検索キーワードに 対応しています。 キャスト名 ’

Slide 6

Slide 6 text

検索機能の説明 ABEMAはテレビとビデオのハイブリッドサービスであ り、検索結果も現在は二つ用意しています 難しい点 ・テレビとビデオで配信している作品が違う ・同じ作品でもテレビとビデオで配信期間が異なる ・またジャンルによって、重要な粒度が違う

Slide 7

Slide 7 text

検索機能の説明 ABEMAでは、3つの検索手段を提供しています history suggest direct

Slide 8

Slide 8 text

検索機能の説明 ABEMAにおける検索が見る範疇

Slide 9

Slide 9 text

検索指標 CHAPTER 02

Slide 10

Slide 10 text

検索指標について 代表的なサービス品質指標(オンライン指標)の例 ● 検索実行UU数 ● 検索利用率 ● 検索CTR ● 検索結果ページでの離脱数 ● 検索結果のクリックは1stビューか ● 検索実行から作品をクリックするまでの 時間 ● 検索実行から作品をクリックするまでの タップ数((遷移数) ● 0件ヒット率 ● 0件ヒット数 ● 検索結果ありCTR ● 検索結果なしCTR ● 検索CTVR etc...

Slide 11

Slide 11 text

ABEMA検索の指標 検索CTR 検索CTVR クリック 視聴

Slide 12

Slide 12 text

課題の可視化 CHAPTER 03

Slide 13

Slide 13 text

検索利用方法の調査 『目的の作品』に到達するまでの経路調査 検索キーワード 目的の作品 ?

Slide 14

Slide 14 text

検索利用方法の調査 例1: 「Dr. STONE 第一期 1話」 に検索経由で辿り着くケース 例2: 「機動戦士Zガンダム 13話」 に検索経由で辿り着くケース

Slide 15

Slide 15 text

検索行動フローの認識 行動ログを用いた検索行動の可視化 可視化手法: Sunburst (例) 検索トップから検索手段:history経由で再 生ページまで遷移したユーザの割合が全体 の24%ということ

Slide 16

Slide 16 text

検索行動フローの認識 新規/継続ユーザの検索行動遷移

Slide 17

Slide 17 text

ユーザが検索する動機について プロダクト/機能 ユーザ動機 使う 「動機を知ること」 検索する 「検索クエリの意図を知ること」 「検索をする動機」 検索機能

Slide 18

Slide 18 text

ユーザが検索する動機について ABEMAの起動後から検索するまでのクラスタ

Slide 19

Slide 19 text

ユーザが検索する動機について 分析に用いたセグメント(一部) ● 検索しているユーザのプロダクトに対する熟練度 ● どの時間帯に検索しているか ● 検索キーワードを入力するまでの経緯 ● 検索キーワードの種別 ABEMAにおける検索を利用する動機(一部) ● 視聴したい作品が決まってからABEMAを起動して検索する ● もうすぐ放映する番組を視聴したいから検索を利用する ● 番宣を見て気になったら検索を利用する ● ABEMAを一通り回遊した後に検索を利用する

Slide 20

Slide 20 text

検索行動にユーザ動機を加えたフロー図 ・ログ計測ポイントの可視化 ・増加/削減すべきポイントの可視化 検索行動フローの認識

Slide 21

Slide 21 text

検索行動フローの認識 (例) 「見つかった→無い→わからない」 (改善点) 検索の順番 もしくは UI/UXの課題 (例) 「無い→再検索」 (改善点) 0件ヒットの課題

Slide 22

Slide 22 text

課題の優先度決め CHAPTER 04

Slide 23

Slide 23 text

改善点の優先度決め リソースが無限にあれば、改善点を全て解決できますが現実はそうではないです。

Slide 24

Slide 24 text

改善点の優先度決め 検索CTRを向上させることを 目的として、それを実現するため 「目的の要素」「施策の要素」 のツリー図を作成 現在のリソースや使える工数などを 加味して着手する目的の要素を決定

Slide 25

Slide 25 text

具体的な改善例 CHAPTER 05

Slide 26

Slide 26 text

0件ヒット 検索キーワードを入力した結果 が0件になる状態 検索結果画面 検索CTRを分解した際の0件ヒットについて

Slide 27

Slide 27 text

0件ヒット ABEMAの0件ヒットキーワードを分解

Slide 28

Slide 28 text

0件ヒットキーワードのモニタリング 検索結果が0件のキーワードをモニタリングする

Slide 29

Slide 29 text

0件ヒットに対して実際に取り組んだ話 『レールガン』と打って『とあ る科学の超電磁砲』がヒット しない 『作品の読み仮名』を 検索の参照に追加 「オオカミくんには騙されな い♥」の「♥」が「❤」でヒットし ない 『リクエスト時』『インデックス 時』に正規化を 適切にかける対応 番組がインデックスされてい るはずなのに検索にヒットし ない Analyzerを変更/N-gram の 粒度を変更することによって 対応 case.1 case.2 case.3 問題 対応 成果: 1年間 ほど 検索CTRを中心に改善していた結果、当初より10%以上 検索CTRは向上した。 特定時期を切り出すと、それ以上に向上している時期もあったが、サービスの性質上 配信されてる コンテンツに左右されるため、総合的に見た結果として10%程度向上した。

Slide 30

Slide 30 text

検索結果の並び順の改善 検索結果の並び順の改善は、検索意図に沿った検索内容 に分類 (ゴール) ユーザが検索キーワードを入力して検索した結果 複数の作品を 返した場合に、ユーザが想定した作品が上位に来ることが望ましい 0 1 0 1 2

Slide 31

Slide 31 text

並び順 改善のためのモニタリング 検索キーワードごとに結果の何番目が平均的にクリックされたかを表している 1stビュー ポジション

Slide 32

Slide 32 text

並び順を改善するにはスコアを改良する ● どういうスコアが良い並び順なのか検討する必要がある ○ ABEMAの例 ■ よく視聴されている作品が上位に来るべきか ■ 最近試聴されている作品が上位に来るべきか ■ 新しさを考慮に入れるべきか ● 具体的にはどういうことをすれば良いか ○ 参照フィールドの重みを変更する ○ 作品自体の人気度なども考慮する

Slide 33

Slide 33 text

並び順の改善のために取り組んだ話 直近数日間の「検索キーワードとそのキーワードでクリックされた作品」をペア化, 翌日以降、そのキーワードで検索した際にクリックされやすい作品のスコアをブースト 🔎 会社は学校じゃねぇんだよ 🔎 じゃねえ 🔎 下克上 click 🔎 じゃねえ 直近数日 検索実行時 キーワードでクリックされやすい 作品はスコアをブースト

Slide 34

Slide 34 text

まとめ CHAPTER 06

Slide 35

Slide 35 text

まとめ

Slide 36

Slide 36 text

展望 現在、今後 ABEMA検索の行っている展望 今まで取り組んできた領域 今後、取り組んできたい領域

Slide 37

Slide 37 text

No content

Slide 38

Slide 38 text

ABEMAの検索システムについて Solr 作品データ 形態素解析で転置インデックスを作成 N-gramで転置インデックスを作成 検索結果 2つの転置インデックス に対して同時に検索する 形態素解析の検索結果の方が boostされるようにして統合 Appendix

Slide 39

Slide 39 text

自己紹介 みんな自己紹介してるの? So YAMAGUCHI / @wktk0 19新卒 / Project Manager データサイエンティストとしてABEMAの番組編成 に関する分析設計やBI担当. Growth Engineer として、検索精度の改善の土 台作りを担当. 現在、検索改善プロジェクトのマネジメント, ABEMA全体の探索行動全般の改善に従事. Appendix