みてねのレコメンドを支える技術 / Building 1s Movie of Mitene

Transcript

1. 　 みてねのレコメンドを 支える技術 2018-08-22 Dive into mixi night! #4 みてね事業部 開発グループ コンテンツ開発チーム 松石浩輔 (@_sobataro )
2. 自己紹介 • 松石浩輔 (@_sobataro) • 2016年新卒 ◦ 1年目: みてねエンジニア (アプリ、サーバ、インフラ) ◦ 2年目〜: みてねコンテンツ開発エンジニア (サーバ、インフラ)
8. 　　コンテンツ開発チーム
9. コンテンツ開発チームとは • 自動生成系コンテンツを 開発・運用するチーム • エンジニア3人 提供する機能 • 1秒動画 • 自動提案フォトブック • DVD「1枚にまとめる」機能
10. コンテンツ開発チームの提供する機能 1秒動画 • 画像・動画を 1秒ずつ繋いだ ダイジェスト動画 自動提案フォトブック • 1ヶ月分の画像から 22枚を選んで提案 DVD「1枚にまとめる」 • 1年分の動画から ディスク1枚 (50分)ぶ んを提案
11. 　　自動生成・自動提案機能の裏側 1秒動画のケース
12. 最高の1秒動画とは チーム内でヒアリング • 子どもがよく写っている • 成長が感じられる • 盛り上がっている 実装に落とし込むための仮説 • 顔検出された画像・動画？ • 時系列順に並べる？ • コメント件数が多い？ 気をつけること • 仮説の難易度と優先順位 • 検証方法 • データの取り扱い
13. 1秒動画の生成・配信処理 1. 生成対象家族の抽出 2. 素材となる画像・動画の選択 3. 動画ファイルの生成 4. 配信 素材選択ロジック • アップロードされた画像・動画を事前に解析しておく ◦ 顔検出、人物検出、BGM 検出など ◦ 大規模処理 (最大で37万+件/時間のアップロード、累計10億+件) • 解析結果をもとに点数付け ◦ 点数が高くなるように素材選択 顔検出: 0件 人物検出: 0件 コメント: 0件 　　 　➔ △点 顔検出: 2件 人物検出: 2件 コメント: 3件 　　 　➔ ◯点 顔検出: 1件 人物検出: 1件 コメント: 0件 　　 　➔ ◻点
14. 画像・動画解析基盤 (現行構成) • 画像・動画解析部分を microsevice として切り出している
15. 画像・動画解析基盤 (構築中) • RDB, Redis などインフラを分離してスケーリングを容易に • SageMaker の導入
16. 　　まとめ
17. まとめ • みてねではコンテンツ自動生成・自動提案のため ML 技術を活用 ◦ 顔検出、人物検出、BGM 検出など • 大規模な画像・動画解析のため、自前の解析基盤を構築・運用 ◦ メインのアプリサーバから基盤を分離中 • 幅広い仕事 ◦ 研究 ◦ 企画・ディレクション ◦ 開発・運用