Pro Yearly is on sale from $80 to $50! »

みてねのレコメンドを支える技術 / Building 1s Movie of Mitene

29f8fa629376e12157eb2a883df11c9b?s=47 _sobataro
August 22, 2018

みてねのレコメンドを支える技術 / Building 1s Movie of Mitene

29f8fa629376e12157eb2a883df11c9b?s=128

_sobataro

August 22, 2018
Tweet

Transcript

  1.   みてねのレコメンドを 支える技術 2018-08-22 Dive into mixi night! #4 みてね事業部

    開発グループ コンテンツ開発チーム 松石浩輔 (@_sobataro )
  2. 自己紹介 • 松石浩輔 (@_sobataro) • 2016年新卒 ◦ 1年目: みてねエンジニア (アプリ、サーバ、インフラ)

    ◦ 2年目〜: みてねコンテンツ開発エンジニア (サーバ、インフラ)
  3. None
  4. None
  5. None
  6. None
  7. None
  8.   コンテンツ開発チーム

  9. コンテンツ開発チームとは • 自動生成系コンテンツを 開発・運用するチーム • エンジニア3人 提供する機能 • 1秒動画 •

    自動提案フォトブック • DVD「1枚にまとめる」機能
  10. コンテンツ開発チームの提供する機能 1秒動画 • 画像・動画を 1秒ずつ繋いだ ダイジェスト動画 自動提案フォトブック • 1ヶ月分の画像から 22枚を選んで提案

    DVD「1枚にまとめる」 • 1年分の動画から ディスク1枚 (50分)ぶ んを提案
  11.   自動生成・自動提案機能の裏側 1秒動画のケース

  12. 最高の1秒動画とは チーム内でヒアリング • 子どもがよく写っている • 成長が感じられる • 盛り上がっている 実装に落とし込むための仮説 •

    顔検出された画像・動画? • 時系列順に並べる? • コメント件数が多い? 気をつけること • 仮説の難易度と優先順位 • 検証方法 • データの取り扱い
  13. 1秒動画の生成・配信処理 1. 生成対象家族の抽出 2. 素材となる画像・動画の選択 3. 動画ファイルの生成 4. 配信 素材選択ロジック

    • アップロードされた画像・動画を事前に解析しておく ◦ 顔検出、人物検出、BGM 検出など ◦ 大規模処理 (最大で37万+件/時間のアップロード、累計10億+件) • 解析結果をもとに点数付け ◦ 点数が高くなるように素材選択 顔検出: 0件 人物検出: 0件 コメント: 0件     ➔ △点 顔検出: 2件 人物検出: 2件 コメント: 3件     ➔ ◯点 顔検出: 1件 人物検出: 1件 コメント: 0件     ➔ ◻点
  14. 画像・動画解析基盤 (現行構成) • 画像・動画解析部分を microsevice として切り出している

  15. 画像・動画解析基盤 (構築中) • RDB, Redis などインフラを分離してスケーリングを容易に • SageMaker の導入

  16.   まとめ

  17. まとめ • みてねではコンテンツ自動生成・自動提案のため ML 技術を活用 ◦ 顔検出、人物検出、BGM 検出など • 大規模な画像・動画解析のため、自前の解析基盤を構築・運用

    ◦ メインのアプリサーバから基盤を分離中 • 幅広い仕事 ◦ 研究 ◦ 企画・ディレクション ◦ 開発・運用