Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Search
Tomohiko SEO
November 08, 2024
Technology
4
370
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Kaigi on Rails 2024事後勉強会
https://smarthr.connpass.com/event/331100/
でLTした内容です。
Tomohiko SEO
November 08, 2024
Tweet
Share
More Decks by Tomohiko SEO
See All by Tomohiko SEO
プログラミングが変える未来
asflash8
0
13
僕と小田原とRubyとRails
asflash8
0
83
Other Decks in Technology
See All in Technology
Storage Browser for Amazon S3
miu_crescent
1
140
日本版とグローバル版のモバイルアプリ統合の開発の裏側と今後の展望
miichan
1
130
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
LINE Developersプロダクト(LIFF/LINE Login)におけるフロントエンド開発
lycorptech_jp
PRO
0
120
Wantedly での Datadog 活用事例
bgpat
1
440
大幅アップデートされたRagas v0.2をキャッチアップ
os1ma
2
530
20241214_WACATE2024冬_テスト設計技法をチョット俯瞰してみよう
kzsuzuki
3
450
非機能品質を作り込むための実践アーキテクチャ
knih
5
1.3k
10個のフィルタをAXI4-Streamでつなげてみた
marsee101
0
170
終了の危機にあった15年続くWebサービスを全力で存続させる - phpcon2024
yositosi
8
7.3k
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
0
110
UI State設計とテスト方針
rmakiyama
2
580
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
95
17k
Bash Introduction
62gerente
608
210k
Designing Experiences People Love
moore
138
23k
A designer walks into a library…
pauljervisheath
204
24k
Scaling GitHub
holman
458
140k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
17
2.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.1k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Statistics for Hackers
jakevdp
796
220k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Designing for humans not robots
tammielis
250
25k
How to Think Like a Performance Engineer
csswizardry
22
1.2k
Transcript
Railsで4GBのデカ動画ファイルの アップロードと配信、どう実現する? 2024.11.08 Fri. Kaigi on Rails2024事後勉強会@SmartHR 瀬尾 智彦 SmartHR
プロダクトエンジニア
瀬尾智彦(theo)です。 2023年6月にSmartHR入社 スキル管理・学習管理というプロ ダクトの開発を担当しています。 Rails歴は12年くらい。 今日はプロポーザルを供養しにきました。
スキル管理・学習管理
https://smarthr.jp/function/skill/
https://smarthr.jp/function/learning/
「スキル管理」に学習の管理ができるフィーチャーを開 発することに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
スキル管理に学習管理ができるフィーチャーを開発す ることに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
最大4GB
落ち着いて状況を整理しましょう • スキル管理というプロダクトに新たなフィーチャーとして学習管理機能を作る • ユーザーが従業員の学習用にスライドや動画を登録・配信できるシステム • 動画の登録や配信はYouTubeなど外部サービスは利用せずに自前で作る • 開発期間はおおよそ3ヶ月 •
動画は1ファイルで最大4GBまで
動画は1ファイルで最大4GB
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。 なかった😭
実現方法を考える
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか?
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? Cloud Runにはhttp/1では最大リクエスト容量が32MBまでしか 受けられない制限が存在します。 https://cloud.google.com/run/quotas?hl=ja#request_limits
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? スキル管理ではサーバーにpumaを利用していて、http/2が利用 できません。nginxを前段に立てるなどすればhttp/2が利用でき ますが、なるべく既存のサーバー構成は変えたくない……。 ※後から気づいたのですがthrusterを利用するという手もあったかもしれません。
社内の有識者やGoogleのサポートエンジニアに相談
社内の有識者やGoogleのサポートエンジニアに相談 署名付きURL/Cookieを利用して、Cloud CDN経由でブラウザ からCloud Storageに直接アップロード&配信をする方式を採用 することにしました。
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja
ファイルアップロードをシーケンス図で書くと こんな感じです。 1. Rails(アプリケーションサーバー)で動 画ファイル管理用のデータを事前に作 成 2. Railsで署名付きURLを発行 3. ユーザー(管理者)がブラウザから直接
ファイルをアップロード 他にもなりすましを防ぐための仕組みを入 れたりしています。
before after
神資料 https://cloud.google.com/blog/ja/products/gcp/uploading-images-directly-to-clou d-storage-by-using-signed-url?hl=ja
これで4GBの動画ファイルでも無事にアップロードで きるようになりました。よかった。
これで終わりじゃなかった
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題 💡Cloud StorageのfinalizeイベントトリガーでCloud Functionsを起動することでアップロードの検知できるようになり 解決
アップロード後処理をシーケンス図で書くとこ んな感じです。 1. Cloud Storage(GCS)からfinalize イベントをトリガーにCloud Functionsを起動 2. Cloud FunctionsからRailsに後処
理開始のリクエスト 3. Railsからステータス更新などの後処理 を実行 いきなり配信されないようにアップロード用と配信用 のバケットを分ける工夫をしています
これで動画アップロードの完了も無事検知できるよう になった。よかった。
これで終わりじゃな(ry
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題
突然ですが、動画の形式ってどのくらいあるかご存知 ですか?
コンテナとコーデック • 動画そのもの+音声+メタ情報をまとめたコンテナ(MP4とかWebMとか) • 動画を圧縮してエンコード・デコードするコーデック(H.264とかVP9とか) • 音声を圧縮してエンコード・デコードするコーデック(AACとか) MDN - ウェブ動画コーデックガイド
https://developer.mozilla.org/ja/docs/Web/Media/Formats/Containers
動画って200種類あんねん (CV:アンミカ)
動画のコーデックの深淵を覗いてしまった。 現時点で対応しているコンテナはMP4とMOVのみ。 コーデックは変換しないことに。 (興味がある方がいたら後でお話しましょう)
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題 配信そのものは署名付きCookieを利用して、CDN経由で CloudStorageから直接配信することで解決
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja 思い出すシリーズ
なぜ署名付きURLではなく、署名付きCookie? 署名付きURLだとつらいケースがあるからです。 HLSという動画配信の規格があり、雑に言うと動画ファイルを数秒単位で細かく分割し、順番に配 信していくことでネットワーク環境が悪い場合でも、快適に動画を視聴できること特徴です。 ファイルを分割して配信する関係で、ファイルごとに署名が必要になる署名付きURLとは相性が 悪く、将来的にHLSに対応することも考慮して、特定のパス配下のファイルは一括で署名してアク セス可能になる署名付きCookieを利用することにしました。
これで動画アップロード、完了検知、配信も無事できる ようになった。よかったよかった。
まとめ
• 巨大ファイルのアップロードやダウンロード は署名付きURL/Cookieを使おう • Railsは署名付きURL/Cookieの管理な ど適材適所で使おう
ありがとうございました! 今日の話の詳細を同じチームのメンバーがSmartHRのテックブログで公開しています! 学習管理機能の開発において使った技術 https://tech.smarthr.jp/entry/2024/07/31/171330