コンピュータビジョンを活用した新しい未来のテレビの形

by CyberAgent

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

上岡将也（かみおかまさや）株式会社AbemaTV 開発本部 Abema Data Center Machine Learning Engineer コンピュータビジョンを活用した動画像解析システムの開発・運用を担当

Slide 3

Slide 3 text

アジェンダこれまで 1. 推薦における問題設定 2. Image Embeddingの活用 3. 距離学習を用いたVideo Embeddingの学習これから 1. 新しい未来のテレビの業務・課題 2. Media Analyzerと Media Database 3. コンピュータビジョンを活用した新しい未来のテレビの形

Slide 4

Slide 4 text

Slide 5

Slide 5 text

推薦における問題設定 CHAPTER　1-1

Slide 6

Slide 6 text

ABEMAにおける推薦多様な趣味嗜好を持ったユーザに対してパーソナライズしたコンテンツを提供特徴 ● 視聴ログベースの推薦アルゴリズムを採用課題 ● コンテンツのコールドスタート問題 ● 視聴数は少ないが、好みに合うコンテンツが推薦候補に上がらない 1-1 推薦における問題設定

Slide 7

Slide 7 text

ABEMAにおける推薦多様な趣味嗜好を持ったユーザに対してパーソナライズしたコンテンツを提供特徴 ● 視聴ログベースの推薦アルゴリズムを採用課題 ● コンテンツのコールドスタート問題 ● 視聴数は少ないが、好みに合うコンテンツがレコメンド候補に上がらないコンテンツベースの推薦アルゴリズムの検討 1-1 推薦における問題設定

Slide 8

Slide 8 text

コンテンツに紐づくメディアデータ ● 映像 ● 音声 ● 画像サムネイル ● タイトル ● 番組詳細 ● ... 1-1 推薦における問題設定

Slide 9

Slide 9 text

● 映像 ● 音声 ● 画像サムネイル ● タイトル ● 番組詳細 ● ... 特徴 ● ABEMAにおけるコンテンツ = 映像 + 音声 ● 番組やジャンルごとの表記揺れの問題がないコンテンツに紐づくメディアデータ 1-1 推薦における問題設定

Slide 10

Slide 10 text

● 映像 ● 音声 ● 画像サムネイル ● タイトル ● 詳細 ● ... 特徴 ● ABEMAにおけるコンテンツ = 映像 + 音声 ● 番組やジャンルごとの表記揺れの問題がないコンテンツに紐づくメディアデータ映像データから特徴量を抽出し、推薦に活用 ※ 今回は... 1-1 推薦における問題設定

Slide 11

Slide 11 text

番組詳細ページ（Item-to-Item） 1-1 推薦における問題設定

Slide 12

Slide 12 text

番組詳細ページ（Item-to-Item） 1-1 推薦における問題設定

Slide 13

Slide 13 text

推薦システムの概略２段階の処理 ● Candidate Generator ○ すべての番組から推薦候補を絞る ● Ranker ○ 絞った推薦候補から最終的な推薦結果を得る（並び替える） 1-1 推薦における問題設定

Slide 14

Slide 14 text

Slide 15

Slide 15 text

問題設定まとめ Item-to-Item推薦でのCandidate Generatorに映像データから抽出した特徴量を活用 1-1 推薦における問題設定

Slide 16

Slide 16 text

Image Embeddingの活用 CHAPTER　1-2

Slide 17

Slide 17 text

手法 1-2 Image Embeddingの活用映像から抽出した特徴量が有効かどうかを確かめるため、シンプルな手法を採用

Slide 18

Slide 18 text

手法 1-2 Image Embeddingの活用映像から抽出した特徴量が有効かどうかを確かめるため、シンプルな手法を採用 Video Embeddingの類似度の高いものを推薦候補に

Slide 19

Slide 19 text

散布図（1/4） 1-2 Image Embeddingの活用オフライン評価

Slide 20

Slide 20 text

散布図（2/4）コメディドラマ 1-2 Image Embeddingの活用オフライン評価

Slide 21

Slide 21 text

散布図（3/4）アオハル❤LINE 1-2 Image Embeddingの活用オフライン評価

Slide 22

Slide 22 text

散布図（4/4）声優の実写 1-2 Image Embeddingの活用オフライン評価

Slide 23

Slide 23 text

被視聴数別の精度被視聴数の少ないコンテンツで精度向上 1-2 Image Embeddingの活用オフライン評価

Slide 24

Slide 24 text

ABテスト ● 時期 ○ 2020年3月 ● 評価指標 ○ CTVR オンライン評価 1-2 Image Embeddingの活用

Slide 25

Slide 25 text

オンライン評価：ABテスト結果アニメや映画など見た目によってユーザーの趣味嗜好が左右されるジャンルで CTVRが向上課題恋愛番組やバラエティなどの実写ジャンルでCTVRが低下 1-2 Image Embeddingの活用オンライン評価

Slide 26

Slide 26 text

オンライン評価：ABテスト結果アニメや映画など見た目によってユーザーの趣味嗜好が左右されるジャンルで CTVRが向上課題恋愛番組やバラエティなどの実写ジャンルでCTVRが低下実際に一部ジャンルで本番適用中 1-2 Image Embeddingの活用オンライン評価

Slide 27

Slide 27 text

距離学習を用いた Video Embeddingの学習 CHAPTER　1-3

Slide 28

Slide 28 text

視聴ログを活用した距離学習距離学習クエリの動画共視聴されにくい動画共視聴されやすい動画赤線はクエリの動画に対する推薦の境界を表し内側が推薦候補になるクエリの動画距離学習によってユーザの共視聴しやすい動画が推薦の対象になる v1 v2 1-3 距離学習を用いたVideo Embeddingの学習

Slide 29

Slide 29 text

ABテスト ● 時期 ○ 2020年12月 ● 評価指標 ○ CTVR 1-3 距離学習を用いたVideo Embeddingの学習オンライン評価

Slide 30

Slide 30 text

ABテスト結果課題である恋愛番組やバラエティなどでCTVRが低下課題学習時にVisual以外の要因で共視聴したコンテンツをPositive Pairとしてしまっている 1-3 距離学習を用いたVideo Embeddingの学習オンライン評価

Slide 31

Slide 31 text

詳しく知りたい方は... 近日公開予定の秋葉原ラボ技術報告 vol.4 で報告予定 ※ 手法や評価、システム構成などの詳細をまとめています。 1-3 距離学習を用いたVideo Embeddingの学習

Slide 32

Slide 32 text

まとめと今後の改善 ● まとめ ○ 画像分類データセットで学習済みのCNNで抽出した特徴量が非常に優秀 ○ 距離学習を用いた追加学習は、あまり効果がなかった ● 今後の改善 ○ Rankerへの導入 ○ 新たなコンテンツベース特徴量の検討これまで

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

新しい未来のテレビの業務・課題 CHAPTER　2-1

Slide 36

Slide 36 text

ABEMA特有のさまざまな業務新しい未来のテレビ「ABEMA」ではこれまで注力してきた推薦、検索、監視、分析以外にも ABEMA特有のさまざまな業務における課題を持っているコンテンツ・クリエイティブ制作業務 ● テレビ用の動画を見やすくコーナーごとに分割 ● 外部SNS向け動画の作成 ● 番宣素材の制作 ● サムネイル・プレビューの作成 ● ... アノテーション業務 ● CMポイント ● エンディングポイント ● ...

Slide 37

Slide 37 text

課題 ● すべての業務が手動で行われており、コストが膨大 ● すべての業務が手動で行われており、業務によっては質が低下 ● 業務が応用先ごとに行われ、メタデータが一元管理されていない

Slide 38

Slide 38 text

Media Analyzerと Media Database CHAPTER　2-2

Slide 39

Slide 39 text

MediaAnalyzerとMediaDatabaseの構想

Slide 40

Slide 40 text

MediaAnalyzerとMediaDatabaseの構想 ● Media Analyzer ○ 入稿されたコンテンツに対して自動で解析を行う分散機械学習システム ● Media Database ○ コンテンツ・クリエイティブ制作やアノテーションなどの業務で使用した時間情報に紐づくメタデータ（タイムラインメタデータ）を一元管理する Database

Slide 41

Slide 41 text

Slide 42

Slide 42 text

コンピュータビジョンを活用した新しい未来のテレビの形 CHAPTER　2-3

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Missionとサービス課題

Slide 47

Slide 47 text

Missionとサービス課題とコンピュータビジョン

Slide 48

Slide 48 text

例：サムネイル候補生成

Slide 49

Slide 49 text

現在検証中

Slide 50

Slide 50 text

まとめ ● コンテンツ・クリエイティブ制作、アノテーション業務などに課題がある ● Media Analyzer と Media Databaseでこれらの業務を改善 ● 新しい未来のテレビを実現するために解くべきコンピュータビジョンの問題は多くあるこれから