クロスクラウドデータ管理の未来： BigLakeで実現するAWS S3とBigQueryのデータ統合戦略/cross-cloud-biglake-s3-strategy-20240712

DevelopersIO 2024 OKINAWA #devio2024

Transcript

1. クロスクラウドデータ管理の未来： BigLakeで実現するAWS S3とBigQuery のデータ統合戦略 2024.7.12 データ事業本部 三上 裕貴
2. Xへの投稿の際は、 ハッシュタグ #devio2024 でお願いいたします。 2 お願い
3. ⾃⼰紹介 3 クラスメソッド株式会社 データ事業本部 インテグレーション部 イニシアティブチーム 三上 裕貴（みかみ ゆき） u 職歴 • 組み込みエンジニア • Webエンジニア u 業務内容 • データ分析基盤構築 • プロジェクト/チーム管理 • プリセールス • 採用活動
4. 本⽇、お伝えしたいこと 4
5. BigQuery から S3 データそのまま分析できます。 5
6. おしながき 6
7. おしながき • はじめに • BigQuery Omni と BigLake • BigQuery から S3 データにアクセスする準備 • ユースケース • 注意点 • おわりに 7
8. はじめに 8
9. はじめに データ管理アプローチ ü データレイク データソースを⼀箇所に集める ü データファブリック 異なる場所にあるデータソースをシームレスに統合 9
10. はじめに データレイクのデメリット • データパイプラインの構築が必要 • データスワンプ（無秩序なデータ蓄積）のリスク • データ品質やデータ整合性の確保が困難 • データ管理コストの増加 • 専⾨知識と多⼤なリソースが必要 10
11. はじめに データファブリックとは • 異なるデータソースの統合 • ⼀貫したデータ管理 • リアルタイムアクセス実現 • インフラの抽象化 • データガバナンス、セキュリティ管理の簡素化 11
12. BigQuery Omni と BigLake 12
13. BigQuery Omni と BigLake BigLake とは • Google Cloud Next ʻ22 で発表された、ストレージエ ンジンだよ。 • 異なるストレージシステムのデータをシームレスに クエリできるよ。 • どこのデータにも BigQuery からアクセスできるよ。 13
14. BigQuery Omni と BigLake ※抜粋： https://cloud.google.com/biglake?hl=ja https://cloud.google.com/blog/ja/products/data-analytics/unifying-data- lakes-and-data-warehouses-across-clouds-with-biglake 14 BigLake は、分析エンジンと AI エンジンでマルチフォーマット、マルチクラウド、マルチモーダルのデ ータを安全かつ管理されたパフォーマンスの⾼い⽅法でクエリするための統合インターフェースを提供 するストレージ エンジンです。 BigLake は基盤となるストレージ形式やシステムを意識 することなくデータを分析できるようにするもので、デ ータの複製や移動が不要になり、コスト削減と効率化を 図ることができます。
15. BigQuery Omni と BigLake BigQuery Omni とは • BigQuery から AWS や Azure にクエリできるよ。 • コンピューティングリソースを Google Cloud か ら AWS/Azure にオフロードしたよ。 • クエリの実⾏は AWS/Azure 側でやって、データ は VPN 接続で転送するよ。 15
16. BigQuery Omni と BigLake ※抜粋：https://cloud.google.com/bigquery/docs/omni-introduction?hl=ja 16 BigQuery Omni を使⽤すると、BigLake テーブルを使⽤して、Amazon Simple Storage Service （Amazon S3）または Azure Blob Storage に保存されたデータに対して BigQuery 分析を実⾏できます。 BigQuery Omni は、クロスクラウドの分析ソリューションで、データが存在する場所で分析する機能と、 必要に応じてデータを複製する柔軟性を備えています。
17. BigQuery Omni と BigLake BigLake テーブルとは • BigQuery の外部テーブルみたいなものだよ。 • AWS/Azure のファイルストレージをソースとし た外部テーブルも作成できるよ。 • データ移動なしでファイルデータにクエリできる よ。 17
18. BigQuery Omni と BigLake ※抜粋：https://cloud.google.com/bigquery/docs/biglake-intro?hl=ja 18 BigLake テーブルでは、アクセス権の委任を使⽤して外部データストアの構造化データをクエリできま す。アクセス権の委任により、BigLake テーブルへのアクセス権と基盤となるデータストアへのアクセ ス権が分離されます。 BigLake テーブルは、次のデータストアで使⽤できます。 ‧Amazon S3（BigQuery Omni を使⽤） ‧Blob Storage（BigQuery Omni を使⽤） ‧Cloud Storage
19. BigQuery Omni を使えば、 BigLake テーブル経由で S3 データに直接アクセス することができます。 19
20. BigQuery から S3 データに アクセスする準備 20
21. BigQuery から S3 データにアクセスする準備 1. [AWS] IAMポリシー＆ロール作成 2. [Google Cloud] BigQuery Connection 作成 3. [AWS] IAMロール更新 4. [Google Cloud] BigLakeテーブル作成 21
22. 1. [AWS] IAMポリシー＆ロール作成 22
23. 2. [Google Cloud] BigQuery Connection 作成 23 $ bq mk --connection --connection_type='AWS' ¥ --iam_role_id=arn:aws:iam::10XXXXXXXX08:role/temp_biglake_mikami ¥ --location=aws-us-east-1 ¥ temp_biglake Connection 79XXXXXXXX23.aws-us-east-1.temp_biglake successfully created Please add the following identity to your AWS IAM Role 'arn:aws:iam::10XXXXXXXX08:role/temp_biglake_mikami' Identity: '1066XXXXXXXXXXXXX3637' ※⼀部、伏字に変更しています。
24. 3. [AWS] IAMロール更新 24
25. 4. [Google Cloud] BigLakeテーブル作成 25 $ bq --location=aws-us-east-1 mk --dataset ds_biglake_aws_us Dataset 'cm-da-mikami-yuki-XXXXXX:ds_biglake_aws_us' successfully created. $ bq mkdef ¥ --autodetect ¥ --source_format=CSV ¥ --connection_id=aws-us-east-1.temp_biglake ¥ --metadata_cache_mode=AUTOMATIC ¥ s3://cm-mikami-biglake/temp/sample_data.csv > schema/table_def $ bq mk --max_staleness="0-0 0 4:0:0" --external_table_definition=schema/table_def ds_biglake_aws_us.table_sample Table 'cm-da-mikami-yuki-XXXXXX:ds_biglake_aws_us.table_sample' successfully created.
26. Use Case 1： S3 データを BigQuery から参照したい 26
27. S3 データをBigQuery から参照したい 27 BigQuery から SQL 実⾏するだけ
28. Use Case 2： S3 データを BigQuery に取り込みたい 28
29. S3 データを BigQuery に取り込みたい 29 CREATE TABLE構⽂で、 BgLake テーブルデータを BigQuery テーブルに取り込み
30. S3 データを BigQuery に取り込みたい 30 BigLake テーブル作成なしで、LOAD DATA も可能
31. Use Case 3： S3 データと BigQuery テーブルデータ を結合したい 31
32. S3 データと BigQuery テーブルデータを結合したい 32 BigLake テーブルと BigQuery テーブルを JOIN
33. おまけ： S3 データを分析した結果 を S3 に出⼒したい 33
34. S3 データを分析した結果を S3 に出⼒したい 34 BigQuery から SQL で S3にファイル出⼒可能。
35. 注意点 35
36. 注意点 • 東京リージョンではまだ使えない • BigQuery Standardエディションでは未サポート • クエリデータ量、⾏サイズ制限あり • クエリ結果：20GiB（⾮圧縮） • クエリ結果合計サイズ：1TB / ⽇ • ⾏の最⼤サイズ：10MiB • GROUP BY 利⽤時のクエリ結果：256 MB • 通常の BigQuery より少しお⾼い • BigQuery（オンデマンド US）：$6.25 per TiB • Omni（オンデマンド AWS バージニア北部）：$7.82 per TiB • やっぱりちょっと遅い（？） 36 ※参考：https://cloud.google.com/bigquery/docs/omni-introduction?hl=ja#limitations https://cloud.google.com/bigquery/quotas?hl=ja#query_jobs https://cloud.google.com/bigquery/pricing
37. おわりに 37
38. BigQuery から データパイプライン構築なしで AWS S3 や Azure Blob Storage に アクセスできます。 38
39. 快適なクロスクラウドライフを！ 39