Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
Search
_sobataro
August 22, 2018
Technology
0
1.4k
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
_sobataro
August 22, 2018
Tweet
Share
More Decks by _sobataro
See All by _sobataro
1秒動画の作り方―「家族アルバム みてね」における 動画エンコードパイプラインとその最適化事例 / 1s Movie Under the Hood
_sobataro
1
210
ステンレスのすゝめ / An Encouragement of Stainless Steel
_sobataro
0
690
サーバレスの動画・画像解析プラットフォーム Media Insights Engine さわってみた / Introduce Media Insights Engine: a serverless media analysis framework
_sobataro
1
1.1k
1秒動画のつくりかた・概要編 / Introduction of Mitene Meetup #4
_sobataro
1
1.6k
いい感じの素材選択ロジック / How to select videos for 1sec Movie
_sobataro
1
4.4k
「簡単でつかいやすい」を追求する開発の裏側 〜メディア解析基盤の話〜 / Medium analysis infrastructure to make FamilyAlbum user-friendly
_sobataro
1
1.1k
みてねのプロダクトを改善するエンジニアリング / Improve Family Album Mitene by Engineering
_sobataro
1
1.8k
みてねのレコメンドを支える技術 / Building 1s Movie of Mitene
_sobataro
0
1.8k
Other Decks in Technology
See All in Technology
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
Share my, our lessons from the road to re:Invent
naospon
0
140
手を動かしてレベルアップしよう!
maruto
0
220
Amazon Aurora のバージョンアップ手法について
smt7174
2
150
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
9
2.2k
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
100
EDRの検知の仕組みと検知回避について
chayakonanaika
12
4.9k
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
730
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
130
Active Directory攻防
cryptopeg
PRO
8
5.5k
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
220
株式会社Awarefy(アウェアファイ)会社説明資料 / Awarefy-Company-Deck
awarefy
3
11k
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Unsuck your backbone
ammeep
669
57k
Adopting Sorbet at Scale
ufuk
74
9.2k
Side Projects
sachag
452
42k
GraphQLとの向き合い方2022年版
quramy
44
14k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Faster Mobile Websites
deanohume
306
31k
The Invisible Side of Design
smashingmag
299
50k
Into the Great Unknown - MozCon
thekraken
35
1.6k
YesSQL, Process and Tooling at Scale
rocio
172
14k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Transcript
みてねのレコメンドを 支える技術 2018-08-22 Dive into mixi night! #4 みてね事業部
開発グループ コンテンツ開発チーム 松石浩輔 (@_sobataro )
自己紹介 • 松石浩輔 (@_sobataro) • 2016年新卒 ◦ 1年目: みてねエンジニア (アプリ、サーバ、インフラ)
◦ 2年目〜: みてねコンテンツ開発エンジニア (サーバ、インフラ)
None
None
None
None
None
コンテンツ開発チーム
コンテンツ開発チームとは • 自動生成系コンテンツを 開発・運用するチーム • エンジニア3人 提供する機能 • 1秒動画 •
自動提案フォトブック • DVD「1枚にまとめる」機能
コンテンツ開発チームの提供する機能 1秒動画 • 画像・動画を 1秒ずつ繋いだ ダイジェスト動画 自動提案フォトブック • 1ヶ月分の画像から 22枚を選んで提案
DVD「1枚にまとめる」 • 1年分の動画から ディスク1枚 (50分)ぶ んを提案
自動生成・自動提案機能の裏側 1秒動画のケース
最高の1秒動画とは チーム内でヒアリング • 子どもがよく写っている • 成長が感じられる • 盛り上がっている 実装に落とし込むための仮説 •
顔検出された画像・動画? • 時系列順に並べる? • コメント件数が多い? 気をつけること • 仮説の難易度と優先順位 • 検証方法 • データの取り扱い
1秒動画の生成・配信処理 1. 生成対象家族の抽出 2. 素材となる画像・動画の選択 3. 動画ファイルの生成 4. 配信 素材選択ロジック
• アップロードされた画像・動画を事前に解析しておく ◦ 顔検出、人物検出、BGM 検出など ◦ 大規模処理 (最大で37万+件/時間のアップロード、累計10億+件) • 解析結果をもとに点数付け ◦ 点数が高くなるように素材選択 顔検出: 0件 人物検出: 0件 コメント: 0件 ➔ △点 顔検出: 2件 人物検出: 2件 コメント: 3件 ➔ ◯点 顔検出: 1件 人物検出: 1件 コメント: 0件 ➔ ◻点
画像・動画解析基盤 (現行構成) • 画像・動画解析部分を microsevice として切り出している
画像・動画解析基盤 (構築中) • RDB, Redis などインフラを分離してスケーリングを容易に • SageMaker の導入
まとめ
まとめ • みてねではコンテンツ自動生成・自動提案のため ML 技術を活用 ◦ 顔検出、人物検出、BGM 検出など • 大規模な画像・動画解析のため、自前の解析基盤を構築・運用
◦ メインのアプリサーバから基盤を分離中 • 幅広い仕事 ◦ 研究 ◦ 企画・ディレクション ◦ 開発・運用