プレイドが実践した BigQuery コスト最適化

2024年2月14日開催
【日経、プレイド合同勉強会】BigQueryのコストとワークロード管理の最適化Tips共有
https://nikkei.connpass.com/event/306718/

『プレイドが実践した BigQuery コスト最適化』
河野 信輝（プレイド）

Transcript

1. © PLAID Inc.　|　Confidential © PLAID Inc.　|　Confidential 2024.02.14　　｜　　【日経、プレイド合同勉強会】BigQueryのコストとワークロード管理の最適化Tips共有 プレイドが実践した BigQuery コスト最適化 BigQuery-Slot-Optimization Team のあゆみ 1
2. © PLAID Inc.　|　Confidential 2 © PLAID Inc.　|　Confidential ⾃⼰紹介 河野 信輝 Nobuteru Kawano • 株式会社プレイド所属 • Engineer • 2023年01⽉〜 プレイド • 〜2022年12⽉ 保険会社でデータサイエ ンティスト • ポケモンセンターにお布施してます • 数学学び直したいので履修中（確率、 統計、線形代数、グラフ理論など）
3. © PLAID Inc.　|　Confidential 3 © PLAID Inc.　|　Confidential 株式会社プレイドについて 株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設⽴：2011年10⽉ 従業員：282名 ※2023年3⽉末時点
4. © PLAID Inc.　|　Confidential 4 © PLAID Inc.　|　Confidential 株式会社プレイドについて OUR MISSION データによって⼈の価値を最⼤化する
5. © PLAID Inc.　|　Confidential 5 © PLAID Inc.　|　Confidential KARTEについて CX(顧客体験)プラットフォーム
6. © PLAID Inc.　|　Confidential 6 © PLAID Inc.　|　Confidential KARTEについて CX(顧客体験)プラットフォーム ⼀⼈ひとりに合わせた 顧客体験を提供 WebやAppの訪問者の⾏動を 顧客ごとにリアルタイムに解析
7. © PLAID Inc.　|　Confidential 7 © PLAID Inc.　|　Confidential Stats of KARTE データ規模も爆発的に増加 199 億UU 累計ユーザー数 ※1 0.x 秒/解析 解析速度 134,000 over 秒間トラッキング数 ※3 2.59 兆円 年間解析流通⾦額 ※2 ※1 ローンチ〜2023年2⽉までのユニークユーザー数の実績 ※2 EC領域における解析流通⾦額。2022年3⽉〜2023年2⽉までの単年の実績 ※3 閲覧、クリック、購⼊などKARTEで計測しているユーザーの全イベントが 対象。ローンチ〜2023年3⽉までにおける最⼤値
8. © PLAID Inc.　|　Confidential BigQuery とプレイド https://tech.plaid.co.jp/bigquery-slot-resource-optmization 8
9. © PLAID Inc.　|　Confidential スロットって？ BigQuery 公式ドキュメント BigQuery スロットは、BigQuery で SQL クエリを実⾏するために使⽤される仮想 CPU です。 クエリの実⾏中、BigQuery はクエリのサイズと複雑さに応じて、クエリに必要なスロット数 を⾃動的に計算します。 スロットについて https://cloud.google.com/bigquery/docs/slots?hl=ja オンデマンド料⾦の同時実⾏スロットの最⼤数 2,000 スロット 割り当てと上限 https://cloud.google.com/bigquery/quotas?hl=ja#query_jobs 重い処理はスロットをたくさん使う 少ないスロットしか使えないと、処理に時間がかかる 9
10. © PLAID Inc.　|　Confidential 課⾦について 課⾦体系 オンデマンド コンピューティング スキャンデータ量 (USD/TiB) 容量コンピューティング スロット消費量 (USD/Slot hour) プレイドはこちら 10
11. © PLAID Inc.　|　Confidential 2023年07⽉ BigQuery-Slot-Optimization Team 始動！ 11
12. © PLAID Inc.　|　Confidential Bigquery-Slot-Optimization Team 2023年 BigQuery 料⾦体系変更 12
13. © PLAID Inc.　|　Confidential Bigquery-Slot-Optimization Team $0.024/slot hour $0.04 /slot hour ※ Enterprise Edition 1 year commit 容量コンピューティング料⾦ ストレージ料⾦ Logical storage のみ ※ 単価は倍だが圧縮後の容量 Physical storage も選択可能に 13
14. © PLAID Inc.　|　Confidential Bigquery-Slot-Optimization Team Physical storage 活⽤でコスト減⇩ スロット単価増⇧のインパクト⼤ BigQuery-Slot-Optimization Team 集中的にコスト最適化 プレイドの場合 14
15. © PLAID Inc.　|　Confidential Bigquery-Slot-Optimization Team 1. 可視化 2. Reservation 最適化 3. クエリ最適化 BigQuery-Slot-Optimization Team の活動 15
16. © PLAID Inc.　|　Confidential 可視化 BigQuery-Slot-Optimization Team 16
17. © PLAID Inc.　|　Confidential 可視化 スロット使⽤量が⼤きいタスクを ⾒つけたい！ ⾃前でモニタリング BigQuery の Console もあるが クエリ内容でどのタスクか グルーピングしたい 17
18. © PLAID Inc.　|　Confidential 可視化 SELECT job_id, … WHEN REGEXP_CONTAINS(query, r'/* JOURNEY') THEN 'journey' … FROM `[project id].region-[region]`.INFORMATION_SCHEMA.JOBS を “JOURNEY” としてグルーピングする /* JOURNEY##### */ SELECT … グルーピング 18
19. © PLAID Inc.　|　Confidential 可視化 SELECT job_id, period_start, period_slot_ms FROM `[project id].region-[region]`.INFORMATION_SCHEMA.JOBS_TIMELINE WHERE … 各時刻ごとのスロット消費量 19
20. © PLAID Inc.　|　Confidential 可視化 データソース: Datadog で実現 INFORMATION_SCHEMA. JOBS_TIMELINE + INFORMATION_SCHEMA.JOBS リアルタイムで 把握可能に cron 実⾏: Cloud Scheduler + Cloud Functions 20
21. © PLAID Inc.　|　Confidential Reservation 最適化 BigQuery-Slot-Optimization Team 21
22. © PLAID Inc.　|　Confidential Reservation 最適化 Reservation 割当 Project A Reservation X: 2000 slots Project B Project C Reservation Y: 1000 slots 処理の負荷に応じてスロットの確保が必要 22
23. © PLAID Inc.　|　Confidential Reservation 最適化 Slot スロットの割当 23
24. © PLAID Inc.　|　Confidential Reservation 最適化 Slot 実際の使⽤量 スロットの割当 24
25. © PLAID Inc.　|　Confidential Reservation 最適化 Slot 実際の使⽤量 スロットの割当 従来のプレイド （イメージ） 余裕を持った 固定スロット数 25
26. © PLAID Inc.　|　Confidential Reservation 最適化 Slot BaseLine 年間を通じて固定購⼊ 割引価格(Commitment) 必要な時だけ BaseLine + AutoScale = 購⼊スロット スロットの割当 AutoScale 26
27. © PLAID Inc.　|　Confidential Reservation 最適化 Slot 実際の使⽤量 AutoScale BaseLine AutoScale 導⼊ & 最適化でコスト⬇ スロットの割当 従来のプレイド （イメージ） 27
28. © PLAID Inc.　|　Confidential Reservation 最適化 Slot Scale out/in 時 overhead ただし、 AutoScale 28
29. © PLAID Inc.　|　Confidential Reservation 最適化 Reservation 割当 軽い Project Reservation: BaseLine 200 slots 1- sec のレスポンスを確保 29
30. © PLAID Inc.　|　Confidential クエリ最適化 BigQuery-Slot-Optimization Team 30
31. © PLAID Inc.　|　Confidential クエリ最適化 可視化はできた！ でかいジョブを やっつけよう！ 31
32. © PLAID Inc.　|　Confidential クエリ最適化 ⽣データ ユーザテーブル 最新のユーザ情報が 必要なクエリ ⾼い更新頻度が必要 同⼀ユーザの判定（ログイン前‧後など） ユーザの⾏動に応じたセグメンテーション など ワークロード最適化 ユーザテーブル更新コスト⼤ 32
33. © PLAID Inc.　|　Confidential クエリ最適化 ⽣データ ユーザテーブル 最新のユーザ情報が 必要なクエリ 更新頻度⬇ （差分）ビュー コスト⬆ トータルでコスト⬇ ワークロード最適化 ビューを⾒るように変更 ビュー参照のコスト追加は テーブル更新コスト減に⽐べ ごくわずか 33
34. © PLAID Inc.　|　Confidential クエリ最適化 Recommender の推奨事項適⽤ 34
35. © PLAID Inc.　|　Confidential クエリ最適化 … LEFT JOIN b … … LEFT JOIN ( SELECT * FROM b WHERE id = ʻhoge’ ) … Slot hour 70% 減⬇ BigQuery 公式ドキュメント https://cloud.google.com/bigquery/docs/best-practices-perfor mance-compute?hl=ja#reduce_data_before_using_a_join JOIN を使⽤する前に データを削減する 35
36. © PLAID Inc.　|　Confidential 結果どうなった？ BigQuery-Slot-Optimization Team 36
37. © PLAID Inc.　|　Confidential 結果どうなった？ BigQuery コスト 20%⬇ 37
38. © PLAID Inc.　|　Confidential ご清聴ありがとうございました 38