〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法

Transcript

1. 〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法 株式会社キュービック テクノロジーエキスパートセンター Tech Lead/データエンジニア 尾﨑勇太 2025.05.16 開示範囲:公開ドキュメント 
 1
2. 自己紹介 2 株式会社キュービック 役割：Tech Lead/データエンジニア 名前： 尾﨑 勇太（おざき ゆうた） 覚え方：尾崎豊(おざきゆたか)と一字違い 業務領域 「データに関わる全て」
3. 3 Looker Studioで可視化したは 良いものの、コストとロール設 計が課題。。。。
4. LT内容 4 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
5. よくあるGCPの請求周りの課題 5 コンソールからPJ単位の利用状況は見えるが・・・ ・請求アカウント単位で見れない ・サービスごとの精緻な情報が見れない ・BigQueryのコストの内訳がわからない ・通知設定だけだと不十分 ・コスト悪化の予兆を検知したい
6. よくある課題 6 いわゆる・・・ コストのブラックボックス化
7. 7 コストが把握できないとか 本末転倒だよね。。。。 可視化しちゃえ！！
8. BigQueryでコスト管理するには？ 8 Cloud BillingをBigQueryに同期してLooker Studioで可視化する 課金データをエクスポートすることで、請求のロール設定の課題を緩和できる ▷同期開始より前のデータは取得できないので計画的に BigQuery 課金データ
9. BigQueryのクエリコストを管理するには？ 9 Looker StudioでBigQueryのINFOMATION SCHEMAのログを可視化 Looker Studioからのジョブ情報を抽出することで、クエリコストを可視化 ▷データスキャン量が大きいのでご利用は計画的に BigQuery INFOMATION SCHEMA
10. クエリコストを「管理する」だけじゃない 10 テンプレート単位での浸透率とデータ量の割合を可視化 利用率とスキャンデータ量の相関を把握 󰝊利用者にヒアリング(アタック)をかける モニタリング環境の改善とコスト削減が可能に ✋効果の薄いデータソースをクローズ ※オーナー認証やサービスアカウント認証では同一メールアドレスになります 非公開 非公開 非公開 非公開 テンプレート単位で分布を確認する 📊👀大体偏りがある
11. LT内容 11 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
12. よくある課題 12 人に紐づいたデータ資産の整理>権限管理 間の収集/蓄積プロセス 退職やチーム移動で再現が不可に データの取得経路がわからない。。。。 ORZ
13. よくある課題 13 人に紐づいたデータ資産の整理>権限管理 退職やチーム移動しても参照先は変わらない データの蓄積方法は残す BigQuery
14. よくある課題 14 人に紐づいたデータ資産の整理>権限管理 BigQuery あとは適切なロール設計
15. 15 運用者目線 開発者目線 フェーズ別に適切な権限設定をする 可のものがあったら 後で泣くかも💦 ⚠まさかIAMに追加し続 けてないよね？？
16. 16 サービスアカウントの IAMでデータセット単位でアクセス制御 ここだけ変更する BigQuery テンプレート マスタ 独自ルート🚪 魔改造
17. 17 まとめ BigQueryでGCPのコスト管理するには？　 ▷Cloud BillingをBigQueryに同期し、Looker Studioでモニタリング 　🉐請求モニタリングのための過剰な権限付与を軽減 BigQueryのクエリコスト管理するには？ ▷INFOMATION SCHEMAのログをLooker Studioでモニタリング 　🉐利用率とスキャンデータ量から運用改善も可能 BigQuery×Looker Studioでデータソースの制御するには？ ▷フェーズに合わせて最適な認証方法を選択 　🉐サービスアカウント認証を選択すればIAMで大元から制御可能
18. 18 ご清聴、ありがとうございました