Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する？

Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する？ 2024.11.08 Fri. Kaigi on Rails2024事後勉強会@SmartHR 瀬尾智彦 SmartHR
プロダクトエンジニア

瀬尾智彦(theo)です。 2023年6月にSmartHR入社スキル管理・学習管理というプロダクトの開発を担当しています。 Rails歴は12年くらい。今日はプロポーザルを供養しにきました。

スキル管理・学習管理

https://smarthr.jp/function/skill/

https://smarthr.jp/function/learning/

「スキル管理」に学習の管理ができるフィーチャーを開発することに。開発期間はおおよそ3ヶ月。自前でスライドや動画の登録や配信ができる仕組みで動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました

スキル管理に学習管理ができるフィーチャーを開発することに。開発期間はおおよそ3ヶ月。自前でスライドや動画の登録や配信ができる仕組みで動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました

最大4GB

落ち着いて状況を整理しましょう • スキル管理というプロダクトに新たなフィーチャーとして学習管理機能を作る • ユーザーが従業員の学習用にスライドや動画を登録・配信できるシステム • 動画の登録や配信はYouTubeなど外部サービスは利用せずに自前で作る • 開発期間はおおよそ3ヶ月 •
動画は1ファイルで最大4GBまで

動画は1ファイルで最大4GB

SmartHRって技術スタックが統一されているんですよね。バックエンドはほぼすべてのプロダクトがRailsです。動画を扱ったプロダクトが他にもあるかもしれない。

SmartHRって技術スタックが統一されているんですよね。バックエンドはほぼすべてのプロダクトがRailsです。動画を扱ったプロダクトが他にもあるかもしれない。なかった😭

実現方法を考える

スキル管理には資格の証明書の写し（PDF or 画像）を保存する仕組みがあり、これを流用できないか？

スキル管理には資格の証明書の写し（PDF or 画像）を保存する仕組みがあり、これを流用できないか？ Cloud Runにはhttp/1では最大リクエスト容量が32MBまでしか受けられない制限が存在します。 https://cloud.google.com/run/quotas?hl=ja#request_limits

スキル管理には資格の証明書の写し（PDF or 画像）を保存する仕組みがあり、これを流用できないか？スキル管理ではサーバーにpumaを利用していて、http/2が利用できません。nginxを前段に立てるなどすればhttp/2が利用できますが、なるべく既存のサーバー構成は変えたくない……。 ※後から気づいたのですがthrusterを利用するという手もあったかもしれません。

社内の有識者やGoogleのサポートエンジニアに相談

社内の有識者やGoogleのサポートエンジニアに相談署名付きURL/Cookieを利用して、Cloud CDN経由でブラウザからCloud Storageに直接アップロード&配信をする方式を採用することにしました。

署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーでもリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーごとに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアクセスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja

ファイルアップロードをシーケンス図で書くとこんな感じです。 1. Rails（アプリケーションサーバー）で動画ファイル管理用のデータを事前に作成 2. Railsで署名付きURLを発行 3. ユーザー（管理者）がブラウザから直接
ファイルをアップロード他にもなりすましを防ぐための仕組みを入れたりしています。

before after

神資料 https://cloud.google.com/blog/ja/products/gcp/uploading-images-directly-to-clou d-storage-by-using-signed-url?hl=ja

これで4GBの動画ファイルでも無事にアップロードできるようになりました。よかった。

これで終わりじゃなかった

ファイルは保存できるようになったが、Railsを経由せずにストレージに保存するため、アップロードが終わったかどうかを検知できない問題

ファイルは保存できるようになったが、Railsを経由せずにストレージに保存するため、アップロードが終わったかどうかを検知できない問題 💡Cloud StorageのfinalizeイベントトリガーでCloud Functionsを起動することでアップロードの検知できるようになり解決

アップロード後処理をシーケンス図で書くとこんな感じです。 1. Cloud Storage（GCS）からfinalize イベントをトリガーにCloud Functionsを起動 2. Cloud FunctionsからRailsに後処
理開始のリクエスト 3. Railsからステータス更新などの後処理を実行いきなり配信されないようにアップロード用と配信用のバケットを分ける工夫をしています

これで動画アップロードの完了も無事検知できるようになった。よかった。

これで終わりじゃな(ry

これでアップロードは検知できるようになったが、ユーザーの環境に合わせて安全に動画を配信しなければならない問題

突然ですが、動画の形式ってどのくらいあるかご存知ですか？

コンテナとコーデック • 動画そのもの+音声+メタ情報をまとめたコンテナ（MP4とかWebMとか） • 動画を圧縮してエンコード・デコードするコーデック（H.264とかVP9とか） • 音声を圧縮してエンコード・デコードするコーデック（AACとか） MDN - ウェブ動画コーデックガイド
https://developer.mozilla.org/ja/docs/Web/Media/Formats/Containers

動画って200種類あんねん（CV:アンミカ）

動画のコーデックの深淵を覗いてしまった。現時点で対応しているコンテナはMP4とMOVのみ。コーデックは変換しないことに。（興味がある方がいたら後でお話しましょう）

これでアップロードは検知できるようになったが、ユーザーの環境に合わせて安全に動画を配信しなければならない問題配信そのものは署名付きCookieを利用して、CDN経由で CloudStorageから直接配信することで解決

署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーでもリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーごとに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアクセスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja 思い出すシリーズ

なぜ署名付きURLではなく、署名付きCookie？署名付きURLだとつらいケースがあるからです。 HLSという動画配信の規格があり、雑に言うと動画ファイルを数秒単位で細かく分割し、順番に配信していくことでネットワーク環境が悪い場合でも、快適に動画を視聴できること特徴です。ファイルを分割して配信する関係で、ファイルごとに署名が必要になる署名付きURLとは相性が悪く、将来的にHLSに対応することも考慮して、特定のパス配下のファイルは一括で署名してアクセス可能になる署名付きCookieを利用することにしました。

これで動画アップロード、完了検知、配信も無事できるようになった。よかったよかった。

まとめ

• 巨大ファイルのアップロードやダウンロードは署名付きURL/Cookieを使おう • Railsは署名付きURL/Cookieの管理など適材適所で使おう

ありがとうございました！今日の話の詳細を同じチームのメンバーがSmartHRのテックブログで公開しています！学習管理機能の開発において使った技術 https://tech.smarthr.jp/entry/2024/07/31/171330

Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する？

Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する？

Tomohiko SEO

More Decks by Tomohiko SEO

Other Decks in Technology

Featured

Transcript