Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
Search
_sobataro
August 22, 2018
Technology
0
1.4k
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
_sobataro
August 22, 2018
Tweet
Share
More Decks by _sobataro
See All by _sobataro
1秒動画の作り方―「家族アルバム みてね」における 動画エンコードパイプラインとその最適化事例 / 1s Movie Under the Hood
_sobataro
1
260
ステンレスのすゝめ / An Encouragement of Stainless Steel
_sobataro
0
720
サーバレスの動画・画像解析プラットフォーム Media Insights Engine さわってみた / Introduce Media Insights Engine: a serverless media analysis framework
_sobataro
1
1.2k
1秒動画のつくりかた・概要編 / Introduction of Mitene Meetup #4
_sobataro
1
1.6k
いい感じの素材選択ロジック / How to select videos for 1sec Movie
_sobataro
1
4.6k
「簡単でつかいやすい」を追求する開発の裏側 〜メディア解析基盤の話〜 / Medium analysis infrastructure to make FamilyAlbum user-friendly
_sobataro
1
1.2k
みてねのプロダクトを改善するエンジニアリング / Improve Family Album Mitene by Engineering
_sobataro
1
1.9k
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
_sobataro
0
2k
Other Decks in Technology
See All in Technology
生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf
cm_mikami
0
120
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
170
pprof vs runtime/trace (FlightRecorder)
task4233
0
170
SwiftUIのGeometryReaderとScrollViewを基礎から応用まで学び直す:設計と活用事例
fumiyasac0921
0
150
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
220
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
2
250
How to achieve interoperable digital identity across Asian countries
fujie
0
140
JAZUG 15周年記念 × JAT「AI Agent開発者必見:"今"のOracle技術で拡張するAzure × OCIの共存アーキテクチャ」
shisyu_gaku
0
130
いまさら聞けない ABテスト入門
skmr2348
1
220
「AI駆動PO」を考えてみる - 作る速さから価値のスループットへ:検査・適応で未来を開発 / AI-driven product owner. scrummat2025
yosuke_nagai
3
700
カンファレンスに託児サポートがあるということ / Having Childcare Support at Conferences
nobu09
1
330
extension 現場で使えるXcodeショートカット一覧
ktombow
0
220
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Writing Fast Ruby
sferik
629
62k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
A designer walks into a library…
pauljervisheath
209
24k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Mobile First: as difficult as doing things right
swwweet
224
10k
A better future with KSS
kneath
239
17k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
Transcript
みてねのレコメンドを 支える技術 2018-08-22 Dive into mixi night! #4 みてね事業部
開発グループ コンテンツ開発チーム 松石浩輔 (@_sobataro )
自己紹介 • 松石浩輔 (@_sobataro) • 2016年新卒 ◦ 1年目: みてねエンジニア (アプリ、サーバ、インフラ)
◦ 2年目〜: みてねコンテンツ開発エンジニア (サーバ、インフラ)
None
None
None
None
None
コンテンツ開発チーム
コンテンツ開発チームとは • 自動生成系コンテンツを 開発・運用するチーム • エンジニア3人 提供する機能 • 1秒動画 •
自動提案フォトブック • DVD「1枚にまとめる」機能
コンテンツ開発チームの提供する機能 1秒動画 • 画像・動画を 1秒ずつ繋いだ ダイジェスト動画 自動提案フォトブック • 1ヶ月分の画像から 22枚を選んで提案
DVD「1枚にまとめる」 • 1年分の動画から ディスク1枚 (50分)ぶ んを提案
自動生成・自動提案機能の裏側 1秒動画のケース
最高の1秒動画とは チーム内でヒアリング • 子どもがよく写っている • 成長が感じられる • 盛り上がっている 実装に落とし込むための仮説 •
顔検出された画像・動画? • 時系列順に並べる? • コメント件数が多い? 気をつけること • 仮説の難易度と優先順位 • 検証方法 • データの取り扱い
1秒動画の生成・配信処理 1. 生成対象家族の抽出 2. 素材となる画像・動画の選択 3. 動画ファイルの生成 4. 配信 素材選択ロジック
• アップロードされた画像・動画を事前に解析しておく ◦ 顔検出、人物検出、BGM 検出など ◦ 大規模処理 (最大で37万+件/時間のアップロード、累計10億+件) • 解析結果をもとに点数付け ◦ 点数が高くなるように素材選択 顔検出: 0件 人物検出: 0件 コメント: 0件 ➔ △点 顔検出: 2件 人物検出: 2件 コメント: 3件 ➔ ◯点 顔検出: 1件 人物検出: 1件 コメント: 0件 ➔ ◻点
画像・動画解析基盤 (現行構成) • 画像・動画解析部分を microsevice として切り出している
画像・動画解析基盤 (構築中) • RDB, Redis などインフラを分離してスケーリングを容易に • SageMaker の導入
まとめ
まとめ • みてねではコンテンツ自動生成・自動提案のため ML 技術を活用 ◦ 顔検出、人物検出、BGM 検出など • 大規模な画像・動画解析のため、自前の解析基盤を構築・運用
◦ メインのアプリサーバから基盤を分離中 • 幅広い仕事 ◦ 研究 ◦ 企画・ディレクション ◦ 開発・運用