$30 off During Our Annual Pro Sale. View Details »

みてねのレコメンドを支える技術 / Building 1s Movie of Mitene

_sobataro
August 22, 2018

みてねのレコメンドを支える技術 / Building 1s Movie of Mitene

_sobataro

August 22, 2018
Tweet

More Decks by _sobataro

Other Decks in Technology

Transcript

  1.   みてねのレコメンドを
    支える技術
    2018-08-22 Dive into mixi night! #4
    みてね事業部 開発グループ コンテンツ開発チーム
    松石浩輔 (@_sobataro )

    View Slide

  2. 自己紹介
    ● 松石浩輔 (@_sobataro)
    ● 2016年新卒
    ○ 1年目: みてねエンジニア (アプリ、サーバ、インフラ)
    ○ 2年目〜: みてねコンテンツ開発エンジニア (サーバ、インフラ)

    View Slide

  3. View Slide

  4. View Slide

  5. View Slide

  6. View Slide

  7. View Slide

  8.   コンテンツ開発チーム

    View Slide

  9. コンテンツ開発チームとは
    ● 自動生成系コンテンツを
    開発・運用するチーム
    ● エンジニア3人
    提供する機能
    ● 1秒動画
    ● 自動提案フォトブック
    ● DVD「1枚にまとめる」機能

    View Slide

  10. コンテンツ開発チームの提供する機能
    1秒動画
    ● 画像・動画を
    1秒ずつ繋いだ
    ダイジェスト動画
    自動提案フォトブック
    ● 1ヶ月分の画像から
    22枚を選んで提案
    DVD「1枚にまとめる」
    ● 1年分の動画から
    ディスク1枚 (50分)ぶ
    んを提案

    View Slide

  11.   自動生成・自動提案機能の裏側
    1秒動画のケース

    View Slide

  12. 最高の1秒動画とは
    チーム内でヒアリング
    ● 子どもがよく写っている
    ● 成長が感じられる
    ● 盛り上がっている
    実装に落とし込むための仮説
    ● 顔検出された画像・動画?
    ● 時系列順に並べる?
    ● コメント件数が多い?
    気をつけること
    ● 仮説の難易度と優先順位
    ● 検証方法
    ● データの取り扱い

    View Slide

  13. 1秒動画の生成・配信処理
    1. 生成対象家族の抽出
    2. 素材となる画像・動画の選択
    3. 動画ファイルの生成
    4. 配信
    素材選択ロジック
    ● アップロードされた画像・動画を事前に解析しておく
    ○ 顔検出、人物検出、BGM 検出など
    ○ 大規模処理 (最大で37万+件/時間のアップロード、累計10億+件)
    ● 解析結果をもとに点数付け
    ○ 点数が高くなるように素材選択
    顔検出: 0件
    人物検出: 0件
    コメント: 0件
      
     ➔ △点
    顔検出: 2件
    人物検出: 2件
    コメント: 3件
      
     ➔ ◯点
    顔検出: 1件
    人物検出: 1件
    コメント: 0件
      
     ➔ ◻点

    View Slide

  14. 画像・動画解析基盤 (現行構成)
    ● 画像・動画解析部分を microsevice として切り出している

    View Slide

  15. 画像・動画解析基盤 (構築中)
    ● RDB, Redis などインフラを分離してスケーリングを容易に
    ● SageMaker の導入

    View Slide

  16.   まとめ

    View Slide

  17. まとめ
    ● みてねではコンテンツ自動生成・自動提案のため ML 技術を活用
    ○ 顔検出、人物検出、BGM 検出など
    ● 大規模な画像・動画解析のため、自前の解析基盤を構築・運用
    ○ メインのアプリサーバから基盤を分離中
    ● 幅広い仕事
    ○ 研究
    ○ 企画・ディレクション
    ○ 開発・運用

    View Slide