パイプラインの並行化により音量正規化を8倍高速化した話 (20230705_concurrent_normalization)

Slide 1

Slide 1 text

パイプラインの   並行化により音量正規化を   8倍高速化した話   2023/7/5 千田航己  

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© Voicy, Inc. 従来のアーキテクチャの課題   混雑時に非常に遅い   Batch Server (EC2) audio- processor DB ① 処理対象を取得  ② 音量正規化  をリクエスト  HLS変換など  処理対象のデータは  フラグが立っている  ③ 後続処理へ  短時間に大量の音源がアップロードされることがある 1件ずつ直列にリクエストを送信同期API  処理が遅い音源があると待ちが長くなる

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© Voicy, Inc. 負荷テストとキャパシティプランニング   ● audio-processorの負荷が上がるのでキャパシティの再設計が必要  ○ job-handler  ■ 並行数 → できるだけ増やしたい   ○ audio-processor  ■ Pod数 → 並行数に対応する数   ■ CPU → ひとつのオーディオファイルを処理するのに使用する最大数   ■ Memory → 用意したインスタンスの上限   処理速度とコストのバランス   audio- processor job-handler

Slide 13

Slide 13 text

© Voicy, Inc. むすび  ● 前提  ○ Voicyではアップロードされた音源をサーバー側で加工している   ● 問題点  ○ サービスの成長に伴い処理の完了が遅れるようになってきた   ■ 直列処理  ■ 時間がかかる音源があると後続の音源の待ちが長くなる   ● 対応  ○ 並行に処理することで高速化   ○ 負荷テストとキャパシティプランニング   パイプラインの並行化によりオーディオ処理を高速化  