みてねのMeetup #4 1秒動画の作り方 〜深層学習とデータ分析で最高のダイジェスト動画を作る〜 https://mixi.connpass.com/event/115664/
みてねのアルバムにある大量の画像・動画から、1秒動画に利用するものをどのように選んでいるのかご紹介します。
いい感じの素材選択ロジック2019-02-13みてねの Meetup #41秒動画の作り方 ~深層学習とデータ分析で最高のダイジェスト動画を作る~株式会社ミクシィ 松石浩輔
View Slide
目次1.素材選択とは2.素材選択の考えかた3.ルールのつくりかた4.今後の課題
素材選択とは
素材選択とはみてねのアルバム家族のもつ画像・動画 (Medium)が撮影日時順に並んでいる一般的な家族: 1ヶ月に50点以上の Mediumを持つ1秒動画3ヶ月分のアルバムから、20点の Mediumをまとめた動画素材選択多数 (150点以上)の Mediumの中から20点だけを選び出す操作4
素材選択の考えかた
素材選択の考えかた1.ルールベース2. Mediumの点数づけ3.撮影日時を均等にしつつ高得点に6
素材選択の考えかた 1.ルールベース最新のレコメンドアルゴリズムを使う、とかはしていないProduct Ownerの考えを反映したいブラックボックスにしたくない正解データ、教師データが存在しない (作ることが難しい)出力の定量的な評価が難しい7
素材選択の考えかた 2. Mediumの点数づけ以下のような項目を見て、各 Mediumに点数をつけるみてね固有のメタデータ一般的な画像・動画解析みてね固有の画像・動画解析公開範囲コメントお気に入り顔検出人物検出BGM検出壊れ動画検出真っ暗検出雰囲気の例:「コメントが盛り上がっているので +10点」「顔がよく写っているので +20点」「動画ファイルが壊れているので -100点」8
素材選択の考えかた3.撮影日時を均等にしつつ高得点に月ごと、日ごと、など適当な間隔で Mediumを区切る各期間の Medium数が一定に近づくよう、高得点な Mediumを選ぶ参考:特開2016-036078 (あくまで雰囲気の参考として) 9
ルールのつくりかた
ルールのつくりかた1. Product Ownerやデザイナなど関係者にヒアリング2.ルールを試作3.ルールの出力を関係者でレビュー4.レビュー結果をもとに修正5.満足できるまで 3.と 4.を繰り返すリリース前のほか、 CSへの入信など様子を見てのサイクルを適宜実施チューニング用の管理画面11
今後の課題
今後の課題ルールの定量的な評価と改善現状はほぼ定性的な評価のみフォトブックや DVDの売上で A/Bテストをするなどしたい解析項目の充実感情推定、年齢・性別推定、などなどその他動画の切り出し秒数の最適化コンテンツに応じた BGMの出し分け13
まとめ
まとめ素材選択 = 3ヶ月間にある多数の Mediumからs20点を選び出す操作1秒動画の素材選択はルールベース素材となる Mediumを点数付け撮影日時を均等にしつつ高得点な Mediumを選ぶProduct Ownerやデザイナの意見をもとにルールの試作・調整とレビューを繰り返してチューニング今後はルールの定量的な評価に基づく改善や解析項目の充実に取り組みたい15