ハイブリッドクラウド環境で大量のバイナリファイルをバッチ処理する

ハイブリッドクラウド環境で大量のバイナリファイルをバッチ処理する pixiv Inc. kougen 2026.3.26

自己紹介名前：kougen (X: @nibankougen) 所属：ピクシブ株式会社 Rails歴3年くらい VRoid Hubサーバーサイドエンジニア等プロポーザルで不採択されたものの話しようと思ったら5 分で細かいJob管理の話をしてもあんまりいい感じの内
容にならなかったので、その大元のこんな苦労があったよという苦労自慢をします（？） 2

VRoid Hub とは？ • 3Dキャラクターのための投稿・共有プラットフォーム • 3Dモデルファイルをアップロードすることができる 3

前提 • Ruby on RailsのAPIサーバーはデータセンターで動き、3Dモデル等のファイル保存は AWSのS3を利用するハイブリッドクラウド環境 • アップロード機能にはCarrierWaveとfog-awsを利用 • 3Dモデルファイルはアップロード後に
VRoid Hubでの表示向けにテクスチャ等の最適化をしている ◦ 4 以降はこの最適化の変換処理の話

普段のアップロード時の変換データセンター AWS APIサーバー（ Sidekiq） S3 Rust製変換ソフトウェア • 5 Ruby
on Rails APIサーバーの環境にRust製変換ソフトウェアを配置

データセンター AWS APIサーバー（ Sidekiq） S3 Rust製変換ソフトウェア 6

ここまでが普段のアップロード時の変換の話

マイグレーションのための変換 • 技術の進展に伴い、新しい形式でのモデルファイルの最適化を導入した • 最新の形式に合わせるためには既存のモデルファイルを全て最新の形式で再変換する必要がある 8

データセンター AWS APIサーバー（ Sidekiq） S3 Rust製変換ソフトウェア 👆NEW!: S3からのダウンロード 9

← 圧縮しても平均9.3MB （でかい）

← 圧縮しても平均9.3MB （でかい） × 約1,870,000

😇 S3からAWSの外に出す料金が高額に……

データセンター側のSidekiqで処理していたファイル変換をAWS側でやろう！ AWS こっちでやっちゃおう！ S3

AWS S3

AWS S3 ファイルしかないため対象ファイル・ファイルパス・メタデータ APIサーバーに教えてもらわないと ← 何も知らない

AWS S3 データセンター APIサーバーファイルしかないため対象ファイル・ファイルパス・メタデータ APIサーバーに教えてもらわないと ← 何も知らない変換後のファイルサイズ等のデータを
保存したい ← 勝手にファイルを変えられると困る

AWS側にRust製変換ソフトウェアを動かすサーバーを新しく立てて、リクエスト・レスポンスパラメータで必要な情報をやり取りしよう！

データセンター AWS 変換サーバー APIサーバー（ Sidekiq） ID、ファイルパス S3 Rust製変換ソフトウェアファイルリクエスト変換後のファイルサイズ等
19 ※実際には変換サーバーの前にロードバランサー等が挟まります

結果 • 変換サーバーの料金を含めてもS3から全ファイルをダウンロードする場合の見込み料金と比較して約27%のコスト改善を実現した • 変換処理だけSidekiq JobからAWS上のサーバーに移譲した形になる • この時、ファイルの実体をRails側に落としていないが、適切にパスを更新できれば以降
CarrierWaveでそのファイルを扱う際に問題は生じない ◦ 20 保存時にはCarrierWaveのvalidationを一部切る必要はある

まとめ • データセンター側で行っていたファイル処理をAWSのサーバーで行うことでコスト最適化を実現した • 実際にはファイル処理時間次第でデータセンター側にパラメータを返す方法にはいくつか選択肢がある ◦ • 変換処理結果をAWS側に一時保存するなど
今回出てきたAWS側のサーバーアプリケーションは要件がはっきりした単機能サーバーだが、このようなアプリケーションは簡単に実装しやすい時代になった 21

ハイブリッドクラウド環境で大量のバイナリファイルをバッチ処理する

ハイブリッドクラウド環境で大量のバイナリファイルをバッチ処理する

kougen

Other Decks in Programming

Featured

Transcript