Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
1日数万件の1秒動画を安定して生成するために / How to create ten of t...
Search
nyuki
February 13, 2019
0
4.1k
1日数万件の1秒動画を安定して生成するために / How to create ten of thousands of 1sec movies with FFmpeg
nyuki
February 13, 2019
Tweet
Share
More Decks by nyuki
See All by nyuki
BigQuery で1秒動画の配信対象家族を爆速で抽出する / How to create 1sec movie schedules with bigquery
nyuki
0
4.3k
Deep Learningを用いた類似画像レコメンドのSQL on Hadoopによる実現
nyuki
2
2.6k
Featured
See All Featured
Navigating Team Friction
lara
183
14k
4 Signs Your Business is Dying
shpigford
180
21k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Adopting Sorbet at Scale
ufuk
73
9.1k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
Code Reviewing Like a Champion
maltzj
520
39k
What's new in Ruby 2.0
geeforr
343
31k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
How to Ace a Technical Interview
jacobian
276
23k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
Transcript
1日数万件の1秒動画を 安定して生成するために 株式会社ミクシィ みてね事業部 中野裕貴
自己紹介 2 • 中野裕貴(なかのゆうき) • 「みてね」に来て1年半くらい • (必要があれば書くくらいの)FFmpeg おじさん
目次 • 1秒動画の要件 • 今までの処理手順 • Filtergraph の活用 • 壊れたメディアをどうするか
3
1秒動画の要件 この写真 の作成者 U.S. Department of Agriculture は CC BY
のライセンスを許諾されています 必ずお届けしたい 1日最大数万件を処理する速度 この写真 の作成者 Andreas Praefcke は CC BY-SA のライセンスを許諾されています
構成図 送信 OpsWorks S3 SQS S3 SQS EC2 Aurora Redis
EC2 Redis アプリサーバ Transcoder Aurora 受信 送信 受信 受信 受信 送信 送信 OpsWorks Sidekiq: https://github.com/mperham/sidekiq FFmpeg: https://ffmpeg.org/
今までの処理手順 6 fade zoom resize crop rotate combine 次 次
次 次 次
今までの処理手順 7 fade zoom resize crop rotate combine 次 次
次 次 次
Filtergraph である程度まとめる Filtergraph: https://ffmpeg.org/ffmpeg-filters.html#Filtergraph-description
Filtergraph この部分
Filtergraphを抽象化したい Filtergraph クラス 各種設定はオプションで渡す (解像度や動画の⾧さなど) 処理はメソッドにまとめる (filter_graph.split.resize.fadeとかしたい)
例 画像を動画化してリサイズ、フェードインしながら表示
https://pixta.jp/tags/md[109955] デモ動画
Filtergraph である程度まとめる この画像の作成者 Twemoji v2 project は CC BY のライセンスを許諾されています
ある程度???
コマンド一撃で作成すると • どこでエラーが発生したかわからない • 結合時にエラー発生するとデバッグがたいへん • Filtergraph である程度まとめるが、ある程度のところで出力 • デバックしやすい
• ユーザさんからのお問い合わせ対応しやすい
言いたいことは メディアは壊れます!!! ということです
なぜこわれるか 壊 - 通信が途切れる - 謎の編集ソフトを通している
切り出せない 音声だけ 壊れている メタデータが 一部破損 壊
壊れたメディアを蓄積 SQS EC2 Aurora アプリサーバ EC2 Transcoder エラー発生!
壊れたメディアを蓄積 送信 SQS EC2 Aurora アプリサーバ EC2 Transcoder
壊れたメディアを蓄積 受信 SQS EC2 Aurora アプリサーバ EC2 Transcoder
壊れたメディアを蓄積 SQS EC2 Aurora アプリサーバ EC2 Transcoder broken_media テーブル
壊れたメディアを蓄積 SQS EC2 Aurora アプリサーバ EC2 Transcoder 壊れたメディア を除いて 翌日再生成
再生成でほぼすべて救えている この写真 の作成者小野慎二郎 は CC BY-SA のライセンスを許諾されています
この写真 の作成者 U.S. Department of Agriculture は CC BY のライセンスを許諾されています
1秒動画できてる!
まとめ • ある程度速度を担保しつつ、必ずお届けする • 速度の担保 • Filtergraphの活用 • 必ずお届け •
壊れたメディアの扱い