家族の思い出を形にする〜１秒動画の生成を支えるインフラアーキテクチャ

by Ojima Hikaru

Slide 1

Slide 1 text

©MIXI 家族の思い出を形にする —１秒動画の⽣成を⽀えるインフラアーキテクチャ 2025/08/07 インフラアーキテクチャ選択のジレンマ

Slide 2

Slide 2 text

©MIXI ⾃⼰紹介⽣島光 @ojima_h 2019年から『家族アルバムみてね』のSREグループで活動しています。データ分析基盤の構築、EKS移⾏、CI/CDの改善などに関わってきました。海が好きです。３児の⽗です。

Slide 3

Slide 3 text

©MIXI 『家族アルバムみてね』について * iOS‧Android™ アプリ登録者数、ブラウザ版登録者数の合計

Slide 4

Slide 4 text

©MIXI 『家族アルバムみてね』について 1秒動画フォトブック写真プリント

Slide 5

Slide 5 text

©MIXI 今⽇のテーマ１秒動画の⽣成を⽀えるインフラアーキテクチャにおける様々な⼯夫とジレンマを紹介します - ⼤量の写真‧動画データを扱う⼤規模なバッチ処理における⼯夫 - 機械学習やBigQueryなどの複数の技術スタックとの連携 - ⼤量のジョブフローをリソース効率よく処理する⼯夫

Slide 6

Slide 6 text

©MIXI 今⽇は話さなないこと１秒動画を⽣成するためのアルゴリズムなどについては話ません。 1秒動画のつくり⽅ ― 「家族アルバムみてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp BigQuery で1秒動画の配信対象家族を爆速で抽出する / How to create 1sec movie schedules with bigquery - Speaker Deck いい感じの素材選択ロジック / How to select videos for 1sec Movie - Speaker Deck 「家族アルバムみてね」年間版1秒動画2023 ⼤量配信の裏側 - Kyohei Hamada - Medium

Slide 7

Slide 7 text

©MIXI インフラアーキテクチャ概観

Slide 8

Slide 8 text

©MIXI ステージ１：画像‧動画アップロードアップロードされた写真‧動画を保存し、スコアリングなどを⾏うステージ２：対象家族抽出処理１秒動画⽣成の対象となる家族を抽出し、ジョブキューに積むステージ３：１秒動画⽣成スコアを元に素材となるメディアを選択‧ 加⼯‧結合し、最終成果物となる１秒動画を⽣成３つのステージ

Slide 9

Slide 9 text

©MIXI ステージ１：画像‧動画アップロードアップロードされた写真‧動画に対してスコアリングやタグ付け

Slide 10

Slide 10 text

©MIXI アーキテクチャ詳細メインサービス - サムネイル⽣成 - アップロード完了通知解析パイプライン - 画像‧動画に含まれる顔情報などを分析しスコアを算出 - 算出されたスコアは「メインサービス」のDBに保存 - 複数のMLモデルをジョブオーケストレータにより統合各コンポーネントはSQSにより結合 - リクエスト送信⽤とレスポンス受信⽤の２つのSQSキューのペア

Slide 11

Slide 11 text

©MIXI Amazon S3 99.999999999% の耐久性 - データを⽋損することなく保存できることが何より重要スケーラビリティ - ⼤量の画像‧動画のアップロードや閲覧のリクエストを遅延なく処理 - ⼤規模なバッチ処理の読み取り負荷に耐えられる様々な機能 - 署名付きURL：クライアントから直接アップロード - CloudFront：快適な閲覧体験

Slide 12

Slide 12 text

©MIXI 異なる技術スタックメインサービス - 単⼀のRailsアプリケーション - いくつかのAPIサーバー‧Web サーバー - ⾮常に多数のジョブワーカー - Sidekiq - Shoryuken 解析パイプライン - ジョブオーケストレーター ‒ Railsで実装 - 解析器 ‒ TensorﬂowやPyTorch などそれぞれ個別の技術で実装。リポジトリも独⽴。

Slide 13

Slide 13 text

©MIXI 異なる技術スタックバックエンド全体の管理が複雑化  - メインサービスと解析パイプラインでそれぞれ保持するデータベース間の整合性  - リポジトリごとにCI/CDを整備  - セキュリティアップデートなどのメンテナンス  サービス・リポジトリを分割することによる柔軟性と、それと引き換えの管理コスト

Slide 14

Slide 14 text

©MIXI ステージ２：対象家族抽出１秒動画⽣成の対象となる家族を抽出し、ジョブキューに積む

Slide 15

Slide 15 text

©MIXI アーキテクチャ詳細対象家族をBigQueryで抽出 - 素材が少ない家族は対象から外す - ⾮常に複雑なクエリ初めはRDBを使⽤していたが、 BigQueryへ移⾏ - DB負荷への懸念が解消 - メインサービスから分離 - 実⾏時間の劇的な短縮

Slide 16

Slide 16 text

©MIXI MySQL→BigQuery ⼀⽇１回のETL処理により、Aurora MySQL からBigQueryへデータ転送 - MySQLのデータサイズは数TB - Apache Spark を Kubernetes 上で5時間ほどかけて実⾏運⽤負荷が課題

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©MIXI アーキテクチャ詳細いくつものステップで構成 1. 素材選択 2. 回転や切り抜きなどの整形処理 3. タイトルやBGMを追加 4. etc… 各ステップは Sidekiq Job として実装全体を Sidekiq Batch により統合ジョブの並列分散実⾏により１秒動画の⽣成時間を短縮

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©MIXI Amazon EKS コンピュートリソースの安定供給が必要 - Amazon EKSを利⽤ - ジョブキューの⻑さに応じて即座にスケールアウト - スポットインスタンスの利⽤キャパシティプランニング - ノードも多数起動する - Cluster autoscaler のメモリ不⾜ - スポットインスタンスのクォータ - 定常時とは異なるリソース使⽤状況が発⽣することに注意

Slide 21

Slide 21 text

©MIXI ジョブキュー構成の⼯夫 BEFORE: - 全てのステップを単⼀のジョブキューに追加 - １つ⽬のステップで全てのジョブが完了するのを待ち、次に２つ⽬のステップで全てのジョブが完了するのを待ち‧‧ - 最終的な１秒動画が出来上がりを確認できるまでにかなりの時間が必要 - AFTER: - １つ⽬のステップだけ優先度の低いジョブキューを利⽤ - １つのジョブが全てのステップを完了したら次のジョブへ‧‧ - １秒動画の⽣成が完了次第順次配信する、といった運⽤も可能に

Slide 22

Slide 22 text

©MIXI まとめ

Slide 23

Slide 23 text

©MIXI まとめ - 信頼できる基盤に⽀えられている - Amazon S3 - Amazon EKS - 複数の技術スタックを組み合わせることのトレードオフ - MLパイプライン - BigQuery - 継続的なチューニングが⼤切 - ジョブキューの構成など