BigQuery の AWS Glue フェデレーションデータセット

2024/06/27(木) に開催された color is【クラウドLT大会vol.9】フリーテーマ！の登壇資料です。
https://saison-coloris.connpass.com/event/320707/
一部内容に誤りがあったため、再アップロードしました。

Transcript

1. BigQuery の AWS Glue フェデレー ションデータセット 2024/6/27 澤木 佑果
2. BigQuery とは 3 BigQuery とは Google Cloud が提供するフルマネージドの データ分析プラットフォームサービス BigQuery Omni は BigQuery のコンソール画面から、 Amazon S3、Azure Blob Storage にあるデータに対して BigQuery クエリを実行できる機能 AWS、Azure のデータを Google Cloud に移動・コピーする必要がない
3. AWS Glue とは 4 AWS Glue とは AWS が提供するサーバーレスのデータ統合サービス ETL と Data Catalog の機能が存在する AWS Glue の概念
4. GoogleCloud AWS Glue フェデレーションデータセット 5 BigQuery から AWS Glue の Data Catalog に登録されている Amazon S3 のデータに対してクエリを実行できる BigQuery Omni の機能の一つ フェデレーションデータセット：BigQuery の外に存在するデータセット AWS Glue Data Catalog Amazon S3 BigQuery AWS Cloud
5. AWS Glue フェデレーションデータセット 6 設定方法は • 接続したい AWS Glue Data Catalog のアクセス権限を持つAWS IAM ポリシー作成 • BigQuery 接続を担う AWS IAM ロールを作成し、ポリシー割り当て • BigQuery コンソール画面から接続設定とデータセットを作成 専用のネットワーク設定などは不要
6. AWS Glue フェデレーションデータセット 7 • クエリの実行操作やテーブルスキーマの確認などは BigQuery 標準の テーブルを扱う時と使用感は変わらない • 実データに関わる機能は制限あり • テーブルのプレビュー機能はなかった • データプロファイルなど解析する機能はエラーが発生した • タイミング問題かも？ • クエリスキャン量の計測はなし
7. 使う際に気を付けること 8 ★対応リージョン 2024年6月時点で BigQuery Omni が使えるリージョンは6リージョンのみ、東京リー ジョンはなし 2022年11月時点では1リージョンのみ対応していたので、今後対応リージョンも増える かも ★BigQuery Omni 専用の料金体系 契約している BigQuery のエディションや使用するリージョンごとに料金が異なるため、 公式の料金ページや見積もりサイトなどで事前に計算しておくと安心
8. Thank you
9. Appendix
10. BigQuery Omni アーキテクチャ 11 クエリの実行は AWS/Azure 内で行う BigQuery Omni の概要