$30 off During Our Annual Pro Sale. View Details »

いい感じの素材選択ロジック / How to select videos for 1sec Movie

_sobataro
February 13, 2019

いい感じの素材選択ロジック / How to select videos for 1sec Movie

みてねのMeetup #4 1秒動画の作り方 〜深層学習とデータ分析で最高のダイジェスト動画を作る〜
https://mixi.connpass.com/event/115664/

みてねのアルバムにある大量の画像・動画から、1秒動画に利用するものをどのように選んでいるのかご紹介します。

_sobataro

February 13, 2019
Tweet

More Decks by _sobataro

Other Decks in Technology

Transcript

  1. いい感じの素材選択ロジック
    2019-02-13
    みてねの Meetup #4
    1
    秒動画の作り方 ~深層学習とデータ分析で最高のダイジェスト動画を作る~
    株式会社ミクシィ 松石浩輔

    View Slide

  2. 目次
    1.
    素材選択とは
    2.
    素材選択の考えかた
    3.
    ルールのつくりかた
    4.
    今後の課題

    View Slide

  3. 素材選択とは

    View Slide

  4. 素材選択とは
    みてねのアルバム
    家族のもつ画像・動画 (Medium)
    が撮影日時順に並んでいる
    一般的な家族: 1
    ヶ月に50
    点以上の Medium
    を持つ
    1
    秒動画
    3
    ヶ月分のアルバムから、20
    点の Medium
    をまとめた動画
    素材選択
    多数 (150
    点以上)
    の Medium
    の中から20
    点だけを選び出す操作
    4

    View Slide

  5. 素材選択の考えかた

    View Slide

  6. 素材選択の考えかた
    1.
    ルールベース
    2. Medium
    の点数づけ
    3.
    撮影日時を均等にしつつ高得点に
    6

    View Slide

  7. 素材選択の考えかた 1.
    ルールベース
    最新のレコメンドアルゴリズムを使う、とかはしていない
    Product Owner
    の考えを反映したい
    ブラックボックスにしたくない
    正解データ、教師データが存在しない (
    作ることが難しい)
    出力の定量的な評価が難しい
    7

    View Slide

  8. 素材選択の考えかた 2. Medium
    の点数づけ
    以下のような項目を見て、各 Medium
    に点数をつける
    みてね固有の
    メタデータ
    一般的な
    画像・動画解析
    みてね固有の
    画像・動画解析
    公開範囲
    コメント
    お気に入り
    顔検出
    人物検出
    BGM
    検出
    壊れ動画検出
    真っ暗検出
    雰囲気の例:
    「コメントが盛り上がっているので +10
    点」
    「顔がよく写っているので +20
    点」
    「動画ファイルが壊れているので -100
    点」
    8

    View Slide

  9. 素材選択の考えかた
    3.
    撮影日時を均等にしつつ高得点に
    月ごと、日ごと、など適当な間隔で Medium
    を区切る
    各期間の Medium
    数が一定に近づくよう、高得点な Medium
    を選ぶ
    参考:
    特開2016-036078 (
    あくまで雰囲気の参考として) 9

    View Slide

  10. ルールのつくりかた

    View Slide

  11. ルールのつくりかた
    1. Product Owner
    やデザイナなど
    関係者にヒアリング
    2.
    ルールを試作
    3.
    ルールの出力を関係者でレビュー
    4.
    レビュー結果をもとに修正
    5.
    満足できるまで 3.
    と 4.
    を繰り返す
    リリース前のほか、 CS
    への入信など様子を見て
    のサイクルを適宜実施
    チューニング用の管理画面
    11

    View Slide

  12. 今後の課題

    View Slide

  13. 今後の課題
    ルールの定量的な評価と改善
    現状はほぼ定性的な評価のみ
    フォトブックや DVD
    の売上で A/B
    テストをするなどしたい
    解析項目の充実
    感情推定、年齢・性別推定、などなど
    その他
    動画の切り出し秒数の最適化
    コンテンツに応じた BGM
    の出し分け
    13

    View Slide

  14. まとめ

    View Slide

  15. まとめ
    素材選択 = 3
    ヶ月間にある多数の Medium
    からs20
    点を選び出す操作
    1
    秒動画の素材選択はルールベース
    素材となる Medium
    を点数付け
    撮影日時を均等にしつつ高得点な Medium
    を選ぶ
    Product Owner
    やデザイナの意見をもとに
    ルールの試作・調整とレビューを繰り返してチューニング
    今後はルールの定量的な評価に基づく改善や
    解析項目の充実に取り組みたい
    15

    View Slide