ABEMA ログ基盤のクラウドベースリアーキテクチャの内容と運用について

Slide 1

Slide 1 text

AbemaTV, Inc. All Rights Reserved  1 AbemaTV, Inc. All Rights Reserved  1 ABEMAログ基盤のクラウドベースリアーキテクチャの内容と運用について TECH+ EXPO 2025 Winter for データ活用   株式会社 AbemaTV Development Headquarters Data Engineer 山村英貴 Hideki Yamamura

Slide 2

Slide 2 text

Slide 3

Slide 3 text

AbemaTV, Inc. All Rights Reserved  3 自己紹介山村英貴 (やまむらひでき) 株式会社サイバーエージェント2013年度新卒入社後、2019年株式会社AbemaTVに出向担当領域は、ログのインジェストに関するサーバー開発と、データパイプラインの開発・運用です。全般的に、ISUCONの学びを活かした内容になっています。 X @hidekiy GitHub @hidekiy 株式会社AbemaTV > Development Headquarters > Data Division > Data Platform Team Data Engineer

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

AbemaTV, Inc. All Rights Reserved  6 レポーティング要件 ABEMAでは早朝から日次集計バッチを実行しているが、過去最大のユーザー規模であっても、ログの取り込み遅延＋バッチ処理時間の遅延の合計について、数時間以内として欲しいというビジネス要件がありました。日次集計の遅延を数時間以内とする時刻状況 5:30 日次集計開始 8:00 SLAアラート（PagerDuty） 8:30 日次集計完了（レポートで利用可能な状態）

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

AbemaTV, Inc. All Rights Reserved  9 可用性要件 #2 利用用途は日次バッチ処理後のデータであるので、出来る限りバッチ処理に寄せたアーキテクチャとしました。障害発生時の対応が分かりやすい事インジェスト方式集計方式コメントストリーム日次バッチストリームとしては役に立たないのに、ストリーム障害（復旧難易度：難）は起こる。アワリーバッチ日次バッチビジネス要件を満たす。分かりやすい（特に障害発生時）コストパフォーマンス優位。ストリームストリーム必要な場合は構築可能。バッチ集計ラインとは分離して用意する事は復旧難易度を下げる。

Slide 10

Slide 10 text

AbemaTV, Inc. All Rights Reserved  10 キャパシティ要件十分に安全を見越した負荷想定でイベントを向かえる事は行うが、もし仮に上振れた場合があったとしても、状況を見て次までに追加のリソースを確保して望めるようにする必要があった。イベントごとに柔軟にリソースを確保出来る次のイベント開始までに対応完了スケールアウト等実施キャパシティ確保（クオータ相談など）リソース追加検討

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved  13 リアーキテクチャ実施前の懸念点処理限界を超える流量に対しては取り込み遅延が発生し、翌日の日次バッチの開始に影響するので、タイムリーに十分なリソースを確保したいが、オンプレミス基盤の物理制約以上の調達は、即座には要求を満たせない懸念があった。オンプレミス環境の限界を超えるスループットへの対処 ⇒ 基盤全体のパブリッククラウド完結が必要 (注) パブリッククラウドのリージョンには大小があるため、あらかじめ大規模リージョンを選定することが前提

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved  16 Dataflowジョブの負荷分散パラメーターの調整リアーキテクチャ後の世界的なスポーツ大会を経て ● 当初マネージドサービスと考えていたが、ジョブテンプレートによっては負荷によりチューニングが必要なパラメーターが存在した ● Pub/Sub To GCSのジョブを利用する場合、書き出しシャード数は十分な検証が必要 ● 今検討するなら Pub/SubのマネージドなGCS書き出し機能も利用可能

Slide 17

Slide 17 text

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved  18 当初想定していた要件についてリアーキテクチャ実施後から現在まで ● 日次集計の遅延を数時間以内とする ○ 致命的な障害は起こっておりませんが、引き続き何が起こっているのか分かりやすいデータパイプラインを維持しています。 ● 配信が実施できる限りログも収集する、障害復旧が容易 ○ インジェストの障害はアプリケーションを排除した結果、クラウド側のリージョン障害に由来する遅延以外で、ほぼ起こっておらず、データロスは発生しておりません。 ● 柔軟なリソースを確保出来る ○ 平時は十分な規模まで縮退しつつ、ドラマ最終回等の突発的な負荷にも十分対応出来ております。

Slide 19

Slide 19 text

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved  20 2023年以降の開発内容について ● 負荷対策 ○ 実施なし。2022年のイベントを通じて、概ね問題なかったため追加開発は不要としました。 ● 開発効率向上 ○ 2件実施。クラウドベースアーキテクチャを活用した新たな機能追加を実施しました。 ● ガバナンス強化 ○ 1件実施。取り扱うデータの幅が広がり、ガバナンスの強化が求められました。開発案件の大分類

Slide 21

Slide 21 text

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved  22 2023年以降の開発内容の抜粋ストリーミングアプリケーションの連携先として、 BigQueryテーブルを想定した時、ストリーム書き込みを効率的に行うためには、BigQuery Storage APIを利用出来ます。こちらを用いて、最新のログデータが都度参照出来るテーブルを作成し、主に開発中のデバッグ用途で利用しています。【開発効率】 BigQuery Storage APIによるストリーム書き込み Cloud Pub/Sub などアプリ BQテーブル BQ Storage API