Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデ...
Search
CUEBiC Inc.
May 27, 2025
Programming
3
360
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
CUEBiC Inc.
May 27, 2025
Tweet
Share
More Decks by CUEBiC Inc.
See All by CUEBiC Inc.
BigQueryのTVFを型駆動で自動生成する世界
cuebic9bic
0
65
AIに頼りすぎない新人育成術
cuebic9bic
3
360
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
3
210
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
3
250
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
220
BigQuery Remote FunctionでLooker Studioをインタラクティブ化
cuebic9bic
3
420
構造化すれば怖くない 画像検索から始める木を見て森に入る勉強法
cuebic9bic
2
430
〜基礎から発展まで〜 BigQuery×Looker Studio のクエリコスト削減方法!
cuebic9bic
3
270
Looker Studio×BigQuery×スプレッドシートで爆速プロトタイピングする方法!
cuebic9bic
2
270
Other Decks in Programming
See All in Programming
Trem on Rails - Prompt Engineering com Ruby
elainenaomi
1
100
ソフトウェアテスト徹底指南書の紹介
goyoki
1
120
コンテキストエンジニアリング Cursor編
kinopeee
1
730
私の後悔をAWS DMSで解決した話
hiramax
4
170
Flutter로 Gemini와 MCP를 활용한 Agentic App 만들기 - 박제창 2025 I/O Extended Seoul
itsmedreamwalker
0
160
パッケージ設計の黒魔術/Kyoto.go#63
lufia
3
380
Processing Gem ベースの、2D レトロゲームエンジンの開発
tokujiros
2
110
デザインシステムが必須の時代に
yosuke_furukawa
PRO
2
130
Ruby Parser progress report 2025
yui_knk
1
250
Microsoft Orleans, Daprのアクターモデルを使い効率的に開発、デプロイを行うためのSekibanの試行錯誤 / Sekiban: Exploring Efficient Development and Deployment with Microsoft Orleans and Dapr Actor Models
tomohisa
0
220
もうちょっといいRubyプロファイラを作りたい (2025)
osyoyu
0
210
あのころの iPod を どうにか再生させたい
orumin
2
2.6k
Featured
See All Featured
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
Building Adaptive Systems
keathley
43
2.7k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
11
1.1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
830
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
4 Signs Your Business is Dying
shpigford
184
22k
The Pragmatic Product Professional
lauravandoore
36
6.8k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Why Our Code Smells
bkeepers
PRO
339
57k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Writing Fast Ruby
sferik
628
62k
KATA
mclloyd
32
14k
Transcript
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法 株式会社キュービック テクノロジーエキスパートセンター Tech Lead/データエンジニア 尾﨑勇太 2025.05.16
開示範囲:公開ドキュメント 1
自己紹介 2 株式会社キュービック 役割:Tech Lead/データエンジニア 名前: 尾﨑 勇太(おざき ゆうた) 覚え方:尾崎豊(おざきゆたか)と一字違い
業務領域 「データに関わる全て」
3 Looker Studioで可視化したは 良いものの、コストとロール設 計が課題。。。。
LT内容 4 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくあるGCPの請求周りの課題 5 コンソールからPJ単位の利用状況は見えるが・・・ ・請求アカウント単位で見れない ・サービスごとの精緻な情報が見れない ・BigQueryのコストの内訳がわからない ・通知設定だけだと不十分 ・コスト悪化の予兆を検知したい
よくある課題 6 いわゆる・・・ コストのブラックボックス化
7 コストが把握できないとか 本末転倒だよね。。。。 可視化しちゃえ!!
BigQueryでコスト管理するには? 8 Cloud BillingをBigQueryに同期してLooker Studioで可視化する 課金データをエクスポートすることで、請求のロール設定の課題を緩和できる ▷同期開始より前のデータは取得できないので計画的に BigQuery 課金データ
BigQueryのクエリコストを管理するには? 9 Looker StudioでBigQueryのINFOMATION SCHEMAのログを可視化 Looker Studioからのジョブ情報を抽出することで、クエリコストを可視化 ▷データスキャン量が大きいのでご利用は計画的に BigQuery INFOMATION
SCHEMA
クエリコストを「管理する」だけじゃない 10 テンプレート単位での浸透率とデータ量の割合を可視化 利用率とスキャンデータ量の相関を把握 利用者にヒアリング(アタック)をかける モニタリング環境の改善とコスト削減が可能に ✋効果の薄いデータソースをクローズ ※オーナー認証やサービスアカウント認証では同一メールアドレスになります 非公開 非公開
非公開 非公開 テンプレート単位で分布を確認する 📊👀大体偏りがある
LT内容 11 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくある課題 12 人に紐づいたデータ資産の整理>権限管理 間の収集/蓄積プロセス 退職やチーム移動で再現が不可に データの取得経路がわからない。。。。 ORZ
よくある課題 13 人に紐づいたデータ資産の整理>権限管理 退職やチーム移動しても参照先は変わらない データの蓄積方法は残す BigQuery
よくある課題 14 人に紐づいたデータ資産の整理>権限管理 BigQuery あとは適切なロール設計
15 運用者目線 開発者目線 フェーズ別に適切な権限設定をする 可のものがあったら 後で泣くかも💦 ⚠まさかIAMに追加し続 けてないよね??
16 サービスアカウントの IAMでデータセット単位でアクセス制御 ここだけ変更する BigQuery テンプレート マスタ 独自ルート🚪 魔改造
17 まとめ BigQueryでGCPのコスト管理するには? ▷Cloud BillingをBigQueryに同期し、Looker Studioでモニタリング 🉐請求モニタリングのための過剰な権限付与を軽減 BigQueryのクエリコスト管理するには? ▷INFOMATION SCHEMAのログをLooker
Studioでモニタリング 🉐利用率とスキャンデータ量から運用改善も可能 BigQuery×Looker Studioでデータソースの制御するには? ▷フェーズに合わせて最適な認証方法を選択 🉐サービスアカウント認証を選択すればIAMで大元から制御可能
18 ご清聴、ありがとうございました