コンピュータビジョンを活用した新しい未来のテレビの形

ABEMAでは、これまで推薦・検索・分析といったデータ利活用を目的とし、コンピュータービジョン・機械学習を用いたアルゴリズムの研究・開発に取り組んできました。

そして今回新たにクリエイティブ・コンテンツ制作、素材編集領域へのデータ活用の取り組みをスタートしました。

本セッションでは、これまでの取り組みとして推薦領域での動画特徴量の活用事例をお話しした後に、サムネイルやプレビューをはじめとしたクリエイティブ・コンテンツ制作・素材編集における課題やそれに対するメディアデータとコンピュータビジョンの活用に関する今後の展望についてお話します。

https://developer.abema.io/2021/sessions/qLSPUiKbuw/?utm_medium=social&utm_source=slideshare

Transcript

2. 上岡 将也（かみおか まさや） 株式会社AbemaTV 開発本部 Abema Data Center Machine Learning Engineer コンピュータビジョンを活用した動画像解析システムの開発・運用を担当
3. アジェンダ これまで 1. 推薦における問題設定 2. Image Embeddingの活用 3. 距離学習を用いたVideo Embeddingの学習 これから 1. 新しい未来のテレビの業務・課題 2. Media Analyzerと Media Database 3. コンピュータビジョンを活用した新しい未来のテ レビの形
4. アジェンダ これまで 1. 推薦における問題設定 2. Image Embeddingの活用 3. 距離学習を用いたVideo Embeddingの学習 これから 1. 新しい未来のテレビの業務・課題 2. Media Analyzerと Media Database 3. コンピュータビジョンを活用した新しい未来のテ レビの形
5. 推薦における問題設定 CHAPTER　1-1
6. ABEMAにおける推薦 多様な趣味嗜好を持ったユーザに対してパーソナライズしたコンテンツを提供 特徴 • 視聴ログベースの推薦アルゴリズムを採用 課題 • コンテンツのコールドスタート問題 • 視聴数は少ないが、好みに合うコンテンツが推薦候補に上がらない 1-1 推薦における問題設定
7. ABEMAにおける推薦 多様な趣味嗜好を持ったユーザに対してパーソナライズしたコンテンツを提供 特徴 • 視聴ログベースの推薦アルゴリズムを採用 課題 • コンテンツのコールドスタート問題 • 視聴数は少ないが、好みに合うコンテンツがレコメンド候補に上がらない コンテンツベースの推薦アルゴリズムの検討 1-1 推薦における問題設定
8. コンテンツに紐づくメディアデータ • 映像 • 音声 • 画像サムネイル • タイトル • 番組詳細 • ... 1-1 推薦における問題設定
9. • 映像 • 音声 • 画像サムネイル • タイトル • 番組詳細 • ... 特徴 • ABEMAにおけるコンテンツ = 映像 + 音声 • 番組やジャンルごとの表記揺れの問題がない コンテンツに紐づくメディアデータ 1-1 推薦における問題設定
10. • 映像 • 音声 • 画像サムネイル • タイトル • 詳細 • ... 特徴 • ABEMAにおけるコンテンツ = 映像 + 音声 • 番組やジャンルごとの表記揺れの問題がない コンテンツに紐づくメディアデータ 映像データから特徴量を抽出し、推薦に活用 ※ 今回は... 1-1 推薦における問題設定
11. 番組詳細ページ（Item-to-Item） 1-1 推薦における問題設定
12. 番組詳細ページ（Item-to-Item） 1-1 推薦における問題設定
13. 推薦システムの概略 ２段階の処理 • Candidate Generator ◦ すべての番組から推薦候補を絞る • Ranker ◦ 絞った推薦候補から最終的な推薦結果を得る（並び替える） 1-1 推薦における問題設定
14. 推薦システムの概略 ２段階の処理 • Candidate Generator ◦ すべての番組から推薦候補を絞る • Ranker ◦ 絞った推薦候補から最終的な推薦結果を得る（並び替える） 1-1 推薦における問題設定
15. 問題設定まとめ Item-to-Item推薦でのCandidate Generatorに 映像データから抽出した特徴量を活用 1-1 推薦における問題設定
16. Image Embeddingの活用 CHAPTER　1-2
17. 手法 1-2 Image Embeddingの活用 映像から抽出した特徴量が有効かどうかを確かめるため、シンプルな手法を採用
18. 手法 1-2 Image Embeddingの活用 映像から抽出した特徴量が有効かどうかを確かめるため、シンプルな手法を採用 Video Embeddingの類似度の高いものを推薦候補に
19. 散布図（1/4） 1-2 Image Embeddingの活用 オフライン評価
20. 散布図（2/4） コメディドラマ 1-2 Image Embeddingの活用 オフライン評価
21. 散布図（3/4） アオハル❤LINE 1-2 Image Embeddingの活用 オフライン評価
22. 散布図（4/4） 声優の実写 1-2 Image Embeddingの活用 オフライン評価
23. 被視聴数別の精度 被視聴数の少ないコンテンツで精度向上 1-2 Image Embeddingの活用 オフライン評価
24. ABテスト • 時期 ◦ 2020年3月 • 評価指標 ◦ CTVR オンライン評価 1-2 Image Embeddingの活用
25. オンライン評価：ABテスト 結果 アニメや映画など見た目によってユーザーの趣味嗜好が左右されるジャンルで CTVRが向上 課題 恋愛番組やバラエティなどの実写ジャンルでCTVRが低下 1-2 Image Embeddingの活用 オンライン評価
26. オンライン評価：ABテスト 結果 アニメや映画など見た目によってユーザーの趣味嗜好が左右されるジャンルで CTVRが向上 課題 恋愛番組やバラエティなどの実写ジャンルでCTVRが低下 実際に一部ジャンルで本番適用中 1-2 Image Embeddingの活用 オンライン評価
27. 距離学習を用いた Video Embeddingの学習 CHAPTER　1-3
28. 視聴ログを活用した距離学習 距離学習 クエリの 動画 共視聴 されにくい動画 共視聴 されやすい動画 赤線はクエリの動画に対する 推薦の境界を表し内側が推薦候補になる クエリの 動画 距離学習によって ユーザの共視聴しやすい動画が 推薦の対象になる v1 v2 1-3 距離学習を用いたVideo Embeddingの学習
29. ABテスト • 時期 ◦ 2020年12月 • 評価指標 ◦ CTVR 1-3 距離学習を用いたVideo Embeddingの学習 オンライン評価
30. ABテスト 結果 課題である恋愛番組やバラエティなどでCTVRが低下 課題 学習時にVisual以外の要因で共視聴したコンテンツをPositive Pairとしてしまっている 1-3 距離学習を用いたVideo Embeddingの学習 オンライン評価
31. 詳しく知りたい方は... 近日公開予定の 秋葉原ラボ技術報告 vol.4 で報告予定 ※ 手法や評価、システム構成などの詳細をまとめています。 1-3 距離学習を用いたVideo Embeddingの学習
32. まとめと今後の改善 • まとめ ◦ 画像分類データセットで学習済みのCNNで抽出した特徴量が非常に優秀 ◦ 距離学習を用いた追加学習は、あまり効果がなかった • 今後の改善 ◦ Rankerへの導入 ◦ 新たなコンテンツベース特徴量の検討 これまで
33. アジェンダ これまで 1. 推薦における問題設定 2. Image Embeddingの活用 3. 距離学習を用いたVideo Embeddingの学習 これから 1. 新しい未来のテレビの業務・課題 2. Media Analyzerと Media Database 3. コンピュータビジョンを活用した新しい未来のテ レビの形
34. アジェンダ これまで 1. 推薦における問題設定 2. Image Embeddingの活用 3. 距離学習を用いたVideo Embeddingの学習 これから 1. 新しい未来のテレビの業務・課題 2. Media Analyzerと Media Database 3. コンピュータビジョンを活用した新しい未来のテ レビの形
35. 新しい未来のテレビの業務・課題 CHAPTER　2-1
36. ABEMA特有のさまざまな業務 新しい未来のテレビ「ABEMA」では これまで注力してきた推薦、検索、監視、分析以外にも ABEMA特有のさまざまな業務における課題を持っている コンテンツ・クリエイティブ制作業務 • テレビ用の動画を見やすくコーナーごとに分割 • 外部SNS向け動画の作成 • 番宣素材の制作 • サムネイル・プレビューの作成 • ... アノテーション業務 • CMポイント • エンディングポイント • ...
37. 課題 • すべての業務が手動で行われており、コストが膨大 • すべての業務が手動で行われており、業務によっては質が低下 • 業務が応用先ごとに行われ、メタデータが一元管理されていない
38. Media Analyzerと Media Database CHAPTER　2-2
39. MediaAnalyzerとMediaDatabaseの構想
40. MediaAnalyzerとMediaDatabaseの構想 • Media Analyzer ◦ 入稿されたコンテンツに対して自動で解析を行う分散機械学習システム • Media Database ◦ コンテンツ・クリエイティブ制作やアノテーションなどの業務で使用した時間情報に紐づくメタデータ （タイムラインメタデータ）を一元管理する Database
41. MediaAnalyzerとMediaDatabaseの構想 • Media Analyzer ◦ 入稿されたコンテンツに対して自動で解析を行う分散機械学習システム • Media Database ◦ コンテンツ・クリエイティブ制作やアノテーションなどの業務で使用した時間情報に紐づくメタデータ （タイムラインメタデータ）を一元管理する Database プロコンテンツが関わる領域への機械学習の導入には 手動と自動を組み合わせたワークフローの実現が必要不可決
42. コンピュータビジョンを活用した 新しい未来のテレビの形 CHAPTER　2-3
43. AbemaTV, Inc. All Rights Reserved
 VISION 「実現を目指す」「理想とする姿の追求」
44. AbemaTV, Inc. All Rights Reserved
 MISSION 「組織が果たすべき使命」「社会に対してどう貢献するか」
45. AbemaTV, Inc. All Rights Reserved
 MISSION 45 「組織が果たすべき使命」「社会に対してどう貢献するか」 ① ② ③
46. Missionとサービス課題
47. Missionとサービス課題とコンピュータビジョン
48. 例：サムネイル候補生成
49. 現在検証中
50. まとめ • コンテンツ・クリエイティブ制作、アノテーション業務などに課題がある • Media Analyzer と Media Databaseでこれらの業務を改善 • 新しい未来のテレビを実現するために解くべきコンピュータビジョンの問題は多くある これから
51. 仲間を募集しています。 学生インターン 中途採用