BigQuery の Cross-cloud Lakehouse への歩み

2026.06.04 開催 Next'26 × Jagu'e'r ランチタイム LT の 8 分枠で登壇させていただいた際の資料です。
https://jaguer.connpass.com/event/395243/

個人プロフィール
https://github.com/hayashit6239

Transcript

1. BigQuery の Cross-Cloud Lakehouse への歩み Next’26 × Jagu’e’r ランチタイム LT - Tomonori Hayashi
2. 2 Agenda 18:00 - Opening 18:03 - Keynote 「Google Cloud Next ‘25 Wrap Up !!」 Google Cloud Japan Mori-san, Nakane-san Shigeru-san 18:45 - Community Member LT-1「振り返りと気になったセッション」 DocoTech Kanzaki-san 18:55 - Guest LT-1「A2A のドキュメントソースコードを読んでみた」 DII Yamazaki-san 19:05 - Guest LT-2「GKEラウンドテーブルと気になったセッションの振り返り」 Docomo Toe-san 19:15 - Community Member LT-2「ワークロードの規模でみる Cloud Run のアーキテクチャ」 Com Hayashi-san 19:30 - Community Member LT-3「振り返りと気になったセッション」 Docomo Fujihira-san, Yano-san 19:45 - Closing Tomonori Hayashi / ぴーはや • NTTドコモビジネス株式会社 ◦ ソフトウェアエンジニア ノーコード AI 開発ツール「Node-AI」の開発/運用 ▪ Front：TypeScript - React/Next.js ▪ Infra：Google Cloud • Google Cloud Partner Top Engineer 2024 - 2026 • Google Cloud Partner All Certification Holders 2025 • コミュニティ ◦ Jagu’e’r（Google Cloud ユーザーコミュニティ） ▪ エバンジェリスト • カンファレンス ◦ Google Cloud Community Tech Surge ▪ オーガナイザー ◦ SRE Kaigi 2026 ▪ コアスタッフ 2
3. © NTT Communications Corporation All Rights Reserved. 3 Next の発表を聞く中で・・・ Cross-cloud Lakehouse が気になった 名前がカッコいい BigQuery の観点からすると他クラウドのストレージへのアクセスはそこまで目新しくないのではと感じた （※ 当初は Cross-cloud Lakehouse を含む Lakehouse for Apache Iceberg への理解が全くなかった） 3 引用：https://blog.g-gen.co.jp/entry/next-26-whats-new-in-bigquery
4. 4 本日お話しすること Cross-Cloud な BigQuery になるために どのような進化の道を辿っていったのか 4
5. © NTT Communications Corporation All Rights Reserved. 5 進化の系譜 BigQuery ネイティブテーブル以外のテーブルに着目 関連する機能は下図のような流れで進化している（※ 2026.06 時点の情報） External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が writer / GCS BQ がメタデータを管理 Apache Iceberg tables OSS Engine が write r / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse S3/ Blob にある外部 ファイルの読み取り 外部カタログが メタデータを管理 データ 所在 テーブル フォーマット 書き込み メタデータ 権威 Google Cloud Google Cloud + 他クラウド 他クラウド なし なし 不可/読み込みのみ 不可/読み込みのみ BigQuery BigQuery BigQuery Lakehouse runtime catalog 他社カタログ Iceberg BQ が可能 OSS Engine が可能 Iceberg Iceberg 不可/ BQが読み込みのみ Google Cloud Google Cloud Preview
6. © NTT Communications Corporation All Rights Reserved. 6 External tables → BigLake tables BigQuery Omni を介した他クラウドのストレージへのアクセス External tables から BigLake tables の大きな変化ポイントはデータの所在 & ガバナンス External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が writer / GCS BQ がメタデータを管理 Apache Iceberg tables OSS Engine が write r / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse Iceberg テーブルの読み取り BigQuery etc が reader / S3 外部カタログがメタデータを管理 ガバナンス External Tables では BigQuery と Cloud Storage の両方に 権限付与が必要だった Connection に紐づく SA に権限付与することで アクセスが可能となるアクセス委譲 が可能になった データの所在 GCS や Bigtable など Google Cloud 内のストレージに対するアクセスから GCS および他クラウドのストレージ(BigQuery Omni 経由)に対するアクセスが可能 になった
7. © NTT Communications Corporation All Rights Reserved. 7 BigLake tables → Apache Iceberg Managed tables BigQuery の Iceberg テーブルへの書き込み BigLake tables → Apache Iceberg Managed tablesの大きな変化ポイントは Iceberg メタデータの運用 External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が主 writer / GCS BQ がメタデータを管理 Apache Iceberg tables Iceberg テーブルに書き込み OSS engine が主 writer / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse S3/ Blob にある外部 ファイルの読み取り リモート外部カタログが メタデータを管理 External tables/BigLake tables では Iceberg テーブルに対し て読み込みのみができた Iceberg メタデータの生成・更新 = Iceberg テーブルに対しての書き込みが可能に メタデータの運用 BigLake tables では他者が作成した Iceberg メタデータを読み込みのみ ができた Iceberg メタデータを BigQuery 自身で 生成・更新する Apache Iceberg Managed tables ← （旧）BigLake tables for Apache Iceberg in BigQuery ← （旧）BigQuery tables for Apache Iceberg
8. © NTT Communications Corporation All Rights Reserved. 8 BigLake tables → Apache Iceberg tables OSS Engine の Iceberg テーブルへの書き込み BigLake tables → Apache Iceberg tablesの大きな変化ポイントは Iceberg メタデータの管理元 External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が主 writer / GCS BQ がメタデータを管理 Apache Iceberg tables Iceberg テーブルに書き込み OSS engine が主 writer / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse S3/ Blob にある外部 ファイルの読み取り リモート外部カタログが メタデータを管理 OSS Engine（Spark etc）が Iceberg メタデータに BigQuery の内部管理のため書き込みできなかった Lakehouse runtime catalog に切り出されたことで OSS Engine が Iceberg REST catalog endpoint で 書き込みが可能に メタデータの管理元 Apache Iceberg Managed tables では メタデータを BigQuery が内部で管理 していた Iceberg メタデータ を Lakehouse runtime catalog で管理 する Lakehouse runtime catalog ← （旧）BigLake metastore
9. © NTT Communications Corporation All Rights Reserved. 9 Apache Iceberg tables → Cross-cloud Lakehouse 他クラウドのストレージの Iceberg テーブルへの読み込み Apche Iceberg tables → Cross-cloud Lakehouse の大きな変化ポイントは Iceberg メタデータの管理元 External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が主 writer / GCS BQ がメタデータを管理 Apache Iceberg tables Iceberg テーブルに書き込み OSS engine が主 writer / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse Iceberg テーブルの読み取り BigQuery と Spark が reader / S3 外部カタログ がメタデータを管理 S3/blob にある外部ファイルを読み取るためには 外部カタログからのメタデータ取得や認証認可の必要がある Lakehouse runtime catalog が外部カタログ（Unity catalog on AWS / Google Cloud）にフェデレーションすることで Iceberg REST catalog endpoint で読み込みが可能に メタデータの管理元 Apache Iceberg tables では Iceberg メタデータを Lakehouse runtime catalog で管理していた Iceberg メタデータ を外部カタログで管理する Lakehouse runtime catalog からフェデレーションする
10. © NTT Communications Corporation All Rights Reserved. 10 Apache Iceberg tables → Cross-cloud Lakehouse 他クラウドのストレージの Iceberg テーブルへの読み込み Apche Iceberg tables → Cross-cloud Lakehouse の大きな変化ポイントは Iceberg メタデータの管理元 External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が主 writer / GCS BQ がメタデータを管理 Apache Iceberg tables Iceberg テーブルに書き込み OSS engine が主 writer / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse Iceberg テーブルの読み取り BigQuery と Spark が reader / S3 外部カタログ がメタデータを管理 S3/blob にある外部ファイルを読み取るためには 外部カタログからのメタデータ取得や認証認可の必要がある Lakehouse runtime catalog が外部カタログ（Unity on AWS / Google Cloud）にフェデレーションすることで Iceberg REST catalog endpoint で読み込みが可能に メタデータの管理元 Apache Iceberg tables では Iceberg メタデータを Lakehouse runtime catalog で管理していた Iceberg メタデータ を外部カタログで管理する Lakehouse runtime catalog からフェデレーションする 他クラウドのストレージへのアクセスは BigQuery Omni 経由での BigLake tables に加えて BigQuery + Cross-cloud Lakehouse により コンピュートを Google Cloud に置いたまま 読み込みが可能になった
11. © NTT Communications Corporation All Rights Reserved. 11 進化の系譜 BigQuery ネイティブテーブル以外のテーブルに着目 関連する機能は下図のような流れで進化している（※ 2026.06 時点の情報） External tables GCS / Bigtable などにある 外部ファイルの読み取り BigLake tables GCS + S3/ Blob にある外部 ファイルの読み取り (Omni) Apache Iceberg Managed tables Iceberg テーブルに書き込み BQ が writer / GCS BQ がメタデータを管理 Apache Iceberg tables OSS Engine が write r / GCS Lakehouse runtime catalog がメタデータを管理 Cross-cloud Lakehouse S3/ Blob にある外部 ファイルの読み取り 外部カタログが メタデータを管理 データ 所在 テーブル フォーマット 書き込み メタデータ 管理元 Google Cloud Google Cloud + 他クラウド 他クラウド なし なし 不可/読み込みのみ 不可/読み込みのみ BigQuery BigQuery BigQuery Lakehouse runtime catalog 他社カタログ Iceberg BQ が可能 OSS Engine も可能 Iceberg Iceberg BQ/Spark が 読み込みのみ Google Cloud Google Cloud Preview
12. 12 Agenda 18:00 - Opening 18:03 - Keynote 「Google Cloud Next ‘25 Wrap Up !!」 Google Cloud Japan Mori-san, Nakane-san Shigeru-san 18:45 - Community Member LT-1「振り返りと気になったセッション」 DocoTech Kanzaki-san 18:55 - Guest LT-1「A2A のドキュメントソースコードを読んでみた」 DII Yamazaki-san 19:05 - Guest LT-2「GKEラウンドテーブルと気になったセッションの振り返り」 Docomo Toe-san 19:15 - Community Member LT-2「ワークロードの規模でみる Cloud Run のアーキテクチャ」 Com Hayashi-san 19:30 - Community Member LT-3「振り返りと気になったセッション」 Docomo Fujihira-san, Yano-san 19:45 - Closing Thanks! 12 @pHaya72 @t_hayashi Lakehouse for Apache Iceberg も含めた wrap up のブログを出す予定です！
13. © NTT Communications Corporation All Rights Reserved. 13 参考 • G-gen ブログ ◦ https://blog.g-gen.co.jp/entry/next-26-whats-new-in-bigquery • 公式ドキュメント ◦ Cross-cloud Lakehouse ▪ https://docs.cloud.google.com/lakehouse/docs/about-cross-cloud-lakehouse ▪ https://docs.cloud.google.com/lakehouse/docs/use-cross-cloud-lakehouse ▪ https://docs.cloud.google.com/lakehouse/docs/set-up-cross-cloud-lakehouse ▪ https://docs.cloud.google.com/lakehouse/docs/regions-capabilities-cross-cloud-lakehouse ◦ Lakehouse runtime catalog / Iceberg REST catalog ▪ https://docs.cloud.google.com/lakehouse/docs/about-lakehouse-catalogs ▪ https://docs.cloud.google.com/lakehouse/docs/lakehouse-iceberg-rest-catalog ▪ https://docs.cloud.google.com/lakehouse/docs/lakehouse-tables ◦ Apache Iceberg managed tables ▪ https://docs.cloud.google.com/bigquery/docs/biglake-iceberg-tables-in-bigquery ◦ BigLake tables / Omni ▪ https://docs.cloud.google.com/bigquery/docs/biglake-intro