$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Search
Tomohiko SEO
November 08, 2024
Technology
4
350
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Kaigi on Rails 2024事後勉強会
https://smarthr.connpass.com/event/331100/
でLTした内容です。
Tomohiko SEO
November 08, 2024
Tweet
Share
More Decks by Tomohiko SEO
See All by Tomohiko SEO
プログラミングが変える未来
asflash8
0
13
僕と小田原とRubyとRails
asflash8
0
82
Other Decks in Technology
See All in Technology
Amazon ECSとCloud Runの相互理解で広げるクラウドネイティブの景色 / Mutually understanding Amazon ECS and Cloud Run
iselegant
19
2.4k
PostgreSQL Conference Japan 2024 A4 Comparison of column-oriented access methods
nori_shinoda
0
110
LangChainとSupabaseを活用して、RAGを実装してみた
atsushii
0
140
深層学習のリペア技術の最新動向と実際 / DNN Repair Techniques for AI Performance Alignment for Safety Requirements
ishikawafyu
0
340
Kubernetes だけじゃない!Amazon ECS で実現するクラウドネイティブな GitHub Actions セルフホストランナー / CNDW2024
ponkio_o
PRO
6
430
プルリクが全てじゃない!実は喜ばれるOSS貢献の方法8選
tkikuc
17
2.2k
GeminiとUnityで実現するインタラクティブアート
hokkey621
0
540
Engineer Recruting Deck
siva_official
PRO
1
3.3k
My Generation 年配者がこの先生きのこるには (Developers CAREER Boost 2024 Edition)/My Generation How elder engineers can survive
kwappa
3
110
アジャイルテストの4象限で考える プロダクト開発の品質への向き合い方
nagano
1
270
まだチケットを手動で書いてるの?!GitHub Actionsと生成AIでチケットの作成を自動化してみた話 / 20241207 Yoshinori Katayama
shift_evolve
1
260
Autonomous Database サービス・アップデート (FY25)
oracle4engineer
PRO
0
230
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
24k
Making the Leap to Tech Lead
cromwellryan
133
9k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
2
240
Unsuck your backbone
ammeep
669
57k
Designing for humans not robots
tammielis
250
25k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
4 Signs Your Business is Dying
shpigford
181
21k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
The Cost Of JavaScript in 2023
addyosmani
45
6.9k
Practical Orchestrator
shlominoach
186
10k
Transcript
Railsで4GBのデカ動画ファイルの アップロードと配信、どう実現する? 2024.11.08 Fri. Kaigi on Rails2024事後勉強会@SmartHR 瀬尾 智彦 SmartHR
プロダクトエンジニア
瀬尾智彦(theo)です。 2023年6月にSmartHR入社 スキル管理・学習管理というプロ ダクトの開発を担当しています。 Rails歴は12年くらい。 今日はプロポーザルを供養しにきました。
スキル管理・学習管理
https://smarthr.jp/function/skill/
https://smarthr.jp/function/learning/
「スキル管理」に学習の管理ができるフィーチャーを開 発することに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
スキル管理に学習管理ができるフィーチャーを開発す ることに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
最大4GB
落ち着いて状況を整理しましょう • スキル管理というプロダクトに新たなフィーチャーとして学習管理機能を作る • ユーザーが従業員の学習用にスライドや動画を登録・配信できるシステム • 動画の登録や配信はYouTubeなど外部サービスは利用せずに自前で作る • 開発期間はおおよそ3ヶ月 •
動画は1ファイルで最大4GBまで
動画は1ファイルで最大4GB
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。 なかった😭
実現方法を考える
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか?
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? Cloud Runにはhttp/1では最大リクエスト容量が32MBまでしか 受けられない制限が存在します。 https://cloud.google.com/run/quotas?hl=ja#request_limits
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? スキル管理ではサーバーにpumaを利用していて、http/2が利用 できません。nginxを前段に立てるなどすればhttp/2が利用でき ますが、なるべく既存のサーバー構成は変えたくない……。 ※後から気づいたのですがthrusterを利用するという手もあったかもしれません。
社内の有識者やGoogleのサポートエンジニアに相談
社内の有識者やGoogleのサポートエンジニアに相談 署名付きURL/Cookieを利用して、Cloud CDN経由でブラウザ からCloud Storageに直接アップロード&配信をする方式を採用 することにしました。
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja
ファイルアップロードをシーケンス図で書くと こんな感じです。 1. Rails(アプリケーションサーバー)で動 画ファイル管理用のデータを事前に作 成 2. Railsで署名付きURLを発行 3. ユーザー(管理者)がブラウザから直接
ファイルをアップロード 他にもなりすましを防ぐための仕組みを入 れたりしています。
before after
神資料 https://cloud.google.com/blog/ja/products/gcp/uploading-images-directly-to-clou d-storage-by-using-signed-url?hl=ja
これで4GBの動画ファイルでも無事にアップロードで きるようになりました。よかった。
これで終わりじゃなかった
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題 💡Cloud StorageのfinalizeイベントトリガーでCloud Functionsを起動することでアップロードの検知できるようになり 解決
アップロード後処理をシーケンス図で書くとこ んな感じです。 1. Cloud Storage(GCS)からfinalize イベントをトリガーにCloud Functionsを起動 2. Cloud FunctionsからRailsに後処
理開始のリクエスト 3. Railsからステータス更新などの後処理 を実行 いきなり配信されないようにアップロード用と配信用 のバケットを分ける工夫をしています
これで動画アップロードの完了も無事検知できるよう になった。よかった。
これで終わりじゃな(ry
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題
突然ですが、動画の形式ってどのくらいあるかご存知 ですか?
コンテナとコーデック • 動画そのもの+音声+メタ情報をまとめたコンテナ(MP4とかWebMとか) • 動画を圧縮してエンコード・デコードするコーデック(H.264とかVP9とか) • 音声を圧縮してエンコード・デコードするコーデック(AACとか) MDN - ウェブ動画コーデックガイド
https://developer.mozilla.org/ja/docs/Web/Media/Formats/Containers
動画って200種類あんねん (CV:アンミカ)
動画のコーデックの深淵を覗いてしまった。 現時点で対応しているコンテナはMP4とMOVのみ。 コーデックは変換しないことに。 (興味がある方がいたら後でお話しましょう)
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題 配信そのものは署名付きCookieを利用して、CDN経由で CloudStorageから直接配信することで解決
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja 思い出すシリーズ
なぜ署名付きURLではなく、署名付きCookie? 署名付きURLだとつらいケースがあるからです。 HLSという動画配信の規格があり、雑に言うと動画ファイルを数秒単位で細かく分割し、順番に配 信していくことでネットワーク環境が悪い場合でも、快適に動画を視聴できること特徴です。 ファイルを分割して配信する関係で、ファイルごとに署名が必要になる署名付きURLとは相性が 悪く、将来的にHLSに対応することも考慮して、特定のパス配下のファイルは一括で署名してアク セス可能になる署名付きCookieを利用することにしました。
これで動画アップロード、完了検知、配信も無事できる ようになった。よかったよかった。
まとめ
• 巨大ファイルのアップロードやダウンロード は署名付きURL/Cookieを使おう • Railsは署名付きURL/Cookieの管理な ど適材適所で使おう
ありがとうございました! 今日の話の詳細を同じチームのメンバーがSmartHRのテックブログで公開しています! 学習管理機能の開発において使った技術 https://tech.smarthr.jp/entry/2024/07/31/171330