プレイドが実践した BigQuery コスト最適化

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© PLAID Inc.　|　Conﬁdential 2 © PLAID Inc.　|　Conﬁdential ⾃⼰紹介河野信輝 Nobuteru Kawano • 株式会社プレイド所属 • Engineer • 2023年01⽉〜プレイド • 〜2022年12⽉保険会社でデータサイエンティスト • ポケモンセンターにお布施してます • 数学学び直したいので履修中（確率、統計、線形代数、グラフ理論など）

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© PLAID Inc.　|　Conﬁdential 7 © PLAID Inc.　|　Conﬁdential Stats of KARTE データ規模も爆発的に増加 199 億UU 累計ユーザー数 ※1 0.x 秒/解析解析速度 134,000 over 秒間トラッキング数 ※3 2.59 兆円年間解析流通⾦額 ※2 ※1 ローンチ〜2023年2⽉までのユニークユーザー数の実績 ※2 EC領域における解析流通⾦額。2022年3⽉〜2023年2⽉までの単年の実績 ※3 閲覧、クリック、購⼊などKARTEで計測しているユーザーの全イベントが対象。ローンチ〜2023年3⽉までにおける最⼤値

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© PLAID Inc.　|　Conﬁdential スロットって？ BigQuery 公式ドキュメント BigQuery スロットは、BigQuery で SQL クエリを実⾏するために使⽤される仮想 CPU です。クエリの実⾏中、BigQuery はクエリのサイズと複雑さに応じて、クエリに必要なスロット数を⾃動的に計算します。スロットについて https://cloud.google.com/bigquery/docs/slots?hl=ja オンデマンド料⾦の同時実⾏スロットの最⼤数 2,000 スロット割り当てと上限 https://cloud.google.com/bigquery/quotas?hl=ja#query_jobs 重い処理はスロットをたくさん使う少ないスロットしか使えないと、処理に時間がかかる 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© PLAID Inc.　|　Conﬁdential Bigquery-Slot-Optimization Team $0.024/slot hour $0.04 /slot hour ※ Enterprise Edition 1 year commit 容量コンピューティング料⾦ストレージ料⾦ Logical storage のみ ※ 単価は倍だが圧縮後の容量 Physical storage も選択可能に 13

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© PLAID Inc.　|　Conﬁdential 可視化 SELECT job_id, … WHEN REGEXP_CONTAINS(query, r'/* JOURNEY') THEN 'journey' … FROM `[project id].region-[region]`.INFORMATION_SCHEMA.JOBS を “JOURNEY” としてグルーピングする /* JOURNEY##### */ SELECT … グルーピング 18

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© PLAID Inc.　|　Conﬁdential クエリ最適化 … LEFT JOIN b … … LEFT JOIN ( SELECT * FROM b WHERE id = ʻhoge’ ) … Slot hour 70% 減⬇ BigQuery 公式ドキュメント https://cloud.google.com/bigquery/docs/best-practices-perfor mance-compute?hl=ja#reduce_data_before_using_a_join JOIN を使⽤する前にデータを削減する 35