いい感じの素材選択ロジック / How to select videos for 1sec Movie

みてねのMeetup #4 1秒動画の作り方 〜深層学習とデータ分析で最高のダイジェスト動画を作る〜
https://mixi.connpass.com/event/115664/

みてねのアルバムにある大量の画像・動画から、1秒動画に利用するものをどのように選んでいるのかご紹介します。

Transcript

1. いい感じの素材選択ロジック
   2019-02-13
   みてねの Meetup #4
   1
   秒動画の作り方 ～深層学習とデータ分析で最高のダイジェスト動画を作る～
   株式会社ミクシィ 松石浩輔
   

   View Slide

2. 目次
   1.
   素材選択とは
   2.
   素材選択の考えかた
   3.
   ルールのつくりかた
   4.
   今後の課題
   

   View Slide

3. 素材選択とは
   

   View Slide

4. 素材選択とは
   みてねのアルバム
   家族のもつ画像・動画 (Medium)
   が撮影日時順に並んでいる
   一般的な家族: 1
   ヶ月に50
   点以上の Medium
   を持つ
   1
   秒動画
   3
   ヶ月分のアルバムから、20
   点の Medium
   をまとめた動画
   素材選択
   多数 (150
   点以上)
   の Medium
   の中から20
   点だけを選び出す操作
   4
   

   View Slide

5. 素材選択の考えかた
   

   View Slide

6. 素材選択の考えかた
   1.
   ルールベース
   2. Medium
   の点数づけ
   3.
   撮影日時を均等にしつつ高得点に
   6
   

   View Slide

7. 素材選択の考えかた 1.
   ルールベース
   最新のレコメンドアルゴリズムを使う、とかはしていない
   Product Owner
   の考えを反映したい
   ブラックボックスにしたくない
   正解データ、教師データが存在しない (
   作ることが難しい)
   出力の定量的な評価が難しい
   7
   

   View Slide

8. 素材選択の考えかた 2. Medium
   の点数づけ
   以下のような項目を見て、各 Medium
   に点数をつける
   みてね固有の
   メタデータ
   一般的な
   画像・動画解析
   みてね固有の
   画像・動画解析
   公開範囲
   コメント
   お気に入り
   顔検出
   人物検出
   BGM
   検出
   壊れ動画検出
   真っ暗検出
   雰囲気の例:
   「コメントが盛り上がっているので +10
   点」
   「顔がよく写っているので +20
   点」
   「動画ファイルが壊れているので -100
   点」
   8
   

   View Slide

9. 素材選択の考えかた
   3.
   撮影日時を均等にしつつ高得点に
   月ごと、日ごと、など適当な間隔で Medium
   を区切る
   各期間の Medium
   数が一定に近づくよう、高得点な Medium
   を選ぶ
   参考:
   特開2016-036078 (
   あくまで雰囲気の参考として) 9
   

   View Slide

10. ルールのつくりかた
    

    View Slide

11. ルールのつくりかた
    1. Product Owner
    やデザイナなど
    関係者にヒアリング
    2.
    ルールを試作
    3.
    ルールの出力を関係者でレビュー
    4.
    レビュー結果をもとに修正
    5.
    満足できるまで 3.
    と 4.
    を繰り返す
    リリース前のほか、 CS
    への入信など様子を見て
    のサイクルを適宜実施
    チューニング用の管理画面
    11
    

    View Slide

12. 今後の課題
    

    View Slide

13. 今後の課題
    ルールの定量的な評価と改善
    現状はほぼ定性的な評価のみ
    フォトブックや DVD
    の売上で A/B
    テストをするなどしたい
    解析項目の充実
    感情推定、年齢・性別推定、などなど
    その他
    動画の切り出し秒数の最適化
    コンテンツに応じた BGM
    の出し分け
    13
    

    View Slide

14. まとめ
    

    View Slide

15. まとめ
    素材選択 = 3
    ヶ月間にある多数の Medium
    からs20
    点を選び出す操作
    1
    秒動画の素材選択はルールベース
    素材となる Medium
    を点数付け
    撮影日時を均等にしつつ高得点な Medium
    を選ぶ
    Product Owner
    やデザイナの意見をもとに
    ルールの試作・調整とレビューを繰り返してチューニング
    今後はルールの定量的な評価に基づく改善や
    解析項目の充実に取り組みたい
    15
    

    View Slide