日本CTO協会 新卒合同研修_Google Cloud

Transcript

1. What is Google Cloud
2. 使命　世界中の情報を整理し、世界中の人がアクセスできて 使えるようにすること 世界中のユーザーが使う 9 つの ネットサービス その他のプロダクトは こちらを ご参照ください Google Cloud Google が社内で使用していると同じイ ンフラ上で稼働する、Google の ノウハウを生かしたクラウド コンピューティング サービス Google Workspace コミュニケーションとチームの共同作業 をより効果的に行える、人々の働き方 改革を支援するクラウド ベースのソリューション Chrome Enterprise 安全性を確保しながら、高速かつ 高性能のデバイス、クラウド ベースの OS とブラウザで構成する、効率と生産 性の向上を実現するサービス Other Bets （ネット サービス以外） Google Cloud とは？- Best of Google を企業向けに提供
3. Google が その ミッション を実現するために取り組んできたこととは アプリ開発 データ分析 基盤 コラボレーション AI/ML Anthos を使用した Java アプリのモダナイゼーション でコストダウン Google Cloud Anthos によって 実現されるビジネス上のメリット とコスト削減 New Technology Projection: The Total EconomicImpact™ Of Anthos より 従来のオンプレミス データ ウェアハウスから BigQuery へ移行すること で TCO が 52％ 削減 ESG Economic Value Audit Whitepaperより ソフトウェア開発基盤を Google Cloud へ移行し、 維持コストの 3 割削減や BCP 対策強化を実現 京セラドキュメントソリューション ズ株式会社　導入事例より 社内のアンケート調査が、 従来は一連のシステム設 定に 2 週間程度を要してい たところ、Google ドキュメ ントを使えば最短で 2 日に 短縮 全日本空輸株式会社　導入事 例より AI 運用パイプライン構築で 作業時間を月 20 時間削 減し、モデル構築と予測の コストを 10 分の 1 に削減 凸版印刷株式会社　導入事例よ り より良い サービス実現へ AI 技術開発 要求に即時 お応えすべく アジャイル開発 ご利用状況を 把握するために ビッグデータ 世界中の人々に 利用頂くために 拡張性・信頼性 皆が協力して 働くために 業務用ツール群 〜 Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです 〜
4. Google が その ミッション を実現するために取り組んできたこととは アプリ開発 データ分析 基盤 コラボレーション AI/ML Anthos を使用した Java アプリのモダナイゼーション でコストダウン Google Cloud Anthos によって 実現されるビジネス上のメリット とコスト削減 New Technology Projection: The Total EconomicImpact™ Of Anthos より 従来のオンプレミス データ ウェアハウスから BigQuery へ移行すること で TCO が 52％ 削減 ESG Economic Value Audit Whitepaperより ソフトウェア開発基盤を Google Cloud へ移行し、 維持コストの 3 割削減や BCP 対策強化を実現 京セラドキュメントソリューション ズ株式会社　導入事例より 社内のアンケート調査が、 従来は一連のシステム設 定に 2 週間程度を要してい たところ、Google ドキュメ ントを使えば最短で 2 日に 短縮 全日本空輸株式会社　導入事 例より AI 運用パイプライン構築で 作業時間を月 20 時間削 減し、モデル構築と予測の コストを 10 分の 1 に削減 凸版印刷株式会社　導入事例よ り より良い サービス実現へ AI 技術開発 要求に即時 お応えすべく アジャイル開発 ご利用状況を 把握するために ビッグデータ 世界中の人々に 利用頂くために 拡張性・信頼性 皆が協力して 働くために 業務用ツール群 〜 Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです 〜
5. Google Cloud Google Pop ISP Customer Google Pop 優れたグローバル ネットワークインフラ パブリックインターネットとは独立した、 Google 独自で保有するネットワーク • 最大規模のクラウドネットワーク • 他のパブリッククラウドと比べて圧倒的なエッジ＆ピアリングポイントを 確保 • 世界中のすべてのインターネットトラフィックのうちの 一定量がグーグ ルのネットワークを経由
6. データセンターを 一つの巨大な倉庫規模の コンピューターとして 扱える仕組みの構築 Datacenter as a Computer https://research.google/pubs/the-datacenter-as-a-computer-designing-warehouse-scale-machines/
7. 独自設計 チップ Technical Infrastructure 独自設計部品、システムでセキュアでスケーラブルな環境を実現、運用 独自設計 サーバー 独自設計 ストレージ 独自設計 ネットワーク 独自設計 データセンター
8. 予測の50倍の トラフィックに 問題なく対応 “ポケモンGOはGoogleの助けなし では成功しなかっただろう” Niantic CEO
9. Google Cloud AI の優位性 インフラからモデル、AI エージェントまで全てを自社で開発し「垂直統合」しているのは弊社だけと自負しております。 パフォーマンスの最適化 各層の間のボトルネックを排除し、 スタック全体でパフォーマンス最適化 迅速なイノベーション Deepmind の研究成果がタイムラグ なしで製品・サービスとして提供 サービスの安定性 外部企業との提携関係の変化など、 外部要因に左右されない安定的かつ継続 的なサービス提供 垂直統合がもたらす価値
10. Google が その ミッション を実現するために取り組んできたこととは アプリ開発 データ分析 基盤 コラボレーション AI/ML Anthos を使用した Java アプリのモダナイゼーション でコストダウン Google Cloud Anthos によって 実現されるビジネス上のメリット とコスト削減 New Technology Projection: The Total EconomicImpact™ Of Anthos より 従来のオンプレミス データ ウェアハウスから BigQuery へ移行すること で TCO が 52％ 削減 ESG Economic Value Audit Whitepaperより ソフトウェア開発基盤を Google Cloud へ移行し、 維持コストの 3 割削減や BCP 対策強化を実現 京セラドキュメントソリューション ズ株式会社　導入事例より 社内のアンケート調査が、 従来は一連のシステム設 定に 2 週間程度を要してい たところ、Google ドキュメ ントを使えば最短で 2 日に 短縮 全日本空輸株式会社　導入事 例より AI 運用パイプライン構築で 作業時間を月 20 時間削 減し、モデル構築と予測の コストを 10 分の 1 に削減 凸版印刷株式会社　導入事例よ り より良い サービス実現へ AI 技術開発 要求に即時 お応えすべく アジャイル開発 ご利用状況を 把握するために ビッグデータ 世界中の人々に 利用頂くために 拡張性・信頼性 皆が協力して 働くために 業務用ツール群 〜 Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです 〜
11. Compute
12. Compute プロダクト一覧 • 抽象度と柔軟性のトレードオフ Compute Engine Google Kubernetes Engine Cloud Run App Engine Cloud Run functions 抽象度 柔軟性
13. Compute Engine cloud.google.com/compute • 豊富な選択肢で多様なワークロードに対応 日本リージョン展開 : 最大 416 vCPU、12 TB メモリ搭載 • 柔軟な料金体系 / コスト削減の様々な方式 (従量課金、確定利用割引 (CUD) など) • vCPU 数やメモリ量を要件にあわせて カスタム変更 • 既定の高度なセキュリティ ✓ Shielded VM : 改ざんされていないことを確認 (セキュアブート、 vTPM 対応メジャード ブート 整合性モニタリングなど ) ✓ Confidential Computing : メモリ上も暗号化 • 計画停止なしのメンテナンス (ライブマイグレーション ) • Spot VM (プリエンプティブル VM) でコスト削減 • VM インスタンスはゾーン リソース ゾーン障害に対応するには、異なるゾーンに複数インスタンスを 立て (MIG)、ロードバランサーで接続 VM インスタンス Compute Engine Disk 外部 IP アドレス GPU VM インスタンスを構成する基本サービス • CPU / メモリ • インターネットとの通信のための パブリック IP アドレス • 任意のリソース (Cloud NAT サービスの利用を推奨) • 永続ディスク (ブート / ユーザー) ◦ 標準 / バランス / SSD / エクストリーム / ハイパーディスク ◦ ゾーン / リージョン • ローカル SSD (非永続) • グラフィック処理、機械学習など • 任意のリソース
14. Google Kubernetes Engine (GKE) Google Cloud により完全に管理されるマネージド Kubernetes GKE クラスタ ユーザーのプロジェクト Google 管理のプロジェクト Node Node Node コントロール プ レーン 簡単なクラスター作成 ノードの自動修復 自動アップグレード 負荷分散 自動スケーリング ロギングとモニタ リング等の可視化 • コントロール プレーンをマネージドサービスで提供 (Standard) さらにノードもマネージドサービスで提供 (Autopilot) 本番ワークロードに適した ベストプラクティスが適用済 • 最大 65,000 ノードをクラスタに含めることが可能 • リージョン クラスタによる高可用性構成が可能 • 自動修復 - ヘルスチェックでノードに異常が検知された場合に 自動的にノードの修復プロセスを開始 • 自動スケーリング - CPU やメモリの使用量等に応じて、 アプリケーションのデプロイを自動的にスケール変更 • ローリング アップデート - サービスを止めること無く、アプリケーション を段階的にアップデート • コンテナ イメージの脆弱性スキャンやなどが組み込まれた 安全設計 • プライベート クラスタによるプライベート環境も構成可能
15. Cloud Run cloud.google.com/run フルマネージドのサーバーレス コンテナ実行環境 • コンテナを秒単位で素早くデプロイ • フルマネージド : インフラストラクチャの管理は不要 • 任意の開発言語への対応 • 2 種類の課金体系 ◦ リクエストベース：リクエストを処理しているとき のリソース + リクエスト数 ◦ インスタンスベース：割り当てているリソース • トラフィックに応じた高速な自動スケーリング • 冗長性 : 複数ゾーンにわたり、自動的に複製 • トラフィック分割による段階的ロールアウト • Web サイト • モバイル バックエンド向けの REST API • バックオフィス管理 • 軽量のデータ変換 • ドキュメント生成のスケジュール設定 • Webhook によるビジネス ワークフローの自動化 Web サイト モバイル バックエンド REST API Cloud Run 代表的なユースケース
16. App Engine cloud.google.com/appengine 大規模なウェブ アプリケーションの開発とホスティングを行うためのフルマネージド型のサーバーレスで フレキシビリティを備えたプラットフォーム • フルマネージ Web サーバーでメンテナンス コストを 削減。開発者はアプリケーションに集中 • 様々な開発言語 (Node.js、Java、Ruby、C#、Go、 Python、PHP) に対応 必要なランタイムが既にインストール済 • 短時間で自動的にスケールアウト可能 • トラフィック分割 (A/B テスト実施、段階的リリース) • 東京・大阪リージョンでサービスを提供中
17. Cloud Run functions サーバーレスのコード実行環境 クラウドのインフラストラクチャやサービスで生じたイベントに関連する、シンプルで一義的な関数を作成 cloud.google.com/functions Cloud Run functions トリガー • HTTP • Pub/Sub • Cloud Storage • Firestore … など アクション • イベント駆動型の処理を実行 • フルマネージド・サーバーレスで サーバー管理が不要 • 従量課金 〜 実行時間の支払い • 使用量によってオートスケール • Cloud Functions からリブランディング
18. Database
19. 19 Spanner Bigtable Firestore BigQuery AlloyDB Database Migration Service Datastream Relational In-memory Document Key value MySQL PostgreSQL SQL Server Exadata, Autonomous Database and RAC availability Redis Cluster Redis Memcached for PostgreSQL （完全互換） HBase Interface PostgreSQL （互換 Interface） Analytics Oracle DB @ Google Cloud Memorystore Cloud SQL Google Cloud におけるマネージド データベースの選択肢 OSS 及び商用のマネージド DB クラウド ネイティブ DB データベース連携サービス
20. Google Cloud の業務 DB 用マネージド DB を 2 種類に 分類 Cloud SQL AlloyDB for PostgreSQL OSS / 商用のマネージド DB クラウド ネイティブ DB Memorystore for Redis for Memcached Bigtable Spanner Firestore ネイティブ モード Datastore モード BigQuery も分類するなら クラウド ネイティブ DB ですが M08 で扱うので割愛します Oracle DB
21. Cloud SQL cloud.google.com/sql MySQL、PostgreSQL、SQL Server 用のフルマネージド リレーショナル データベース • フルマネージド RDBMS でメンテナンスコストを削減 開発者はアプリケーションに集中 • 最大 128 コア、864 GB メモリ、64 TB ストレージ (Enterprise Plus Edition ご利用時) • 容易なレプリケーション / 可用性構成 (リージョン内でフェイルオーバー可能、レプリカを昇格させる ことでリージョンをまたいだ DR 構成も可能) • 自動バックアップ、ポイントインタイム リカバリをサポート (バックアップ データは 2 つのリージョンで 冗長化) • ストレージの自動容量拡張 • データベース エンジンによって機能差分が一部あり
22. 高可用性構成 リージョン永続ディスクによる同期 マスター インスタンスは、HA 構成が可能で、 プライマリとスタンバイの 2 つのインスタンスから 構成される。 プライマリ DB への書き込みは、リージョン永続ディスクを通 じ、スタンバイ DB が配置されたゾーンの永続ディスクへも 同期書き込みが行われる。 これによりレプリケーション遅延がなくなり、 フェイルオーバーにかかる時間を大幅に短縮 ゾーンA ゾーンB 東京リージョン IPアドレス プライマリ DB スタンバイ DB 永続ディスク 永続ディスク リージョン 永続ディスク
23. リードレプリカによる性能と可用性の向上 ゾーン A ゾーン B 東京リージョン クライアントA プライマリ DB リードレプリカ リードレプリカ 非同期レプリケーション レプリカ機能により 読み取りの拡張性を向上 • プライマリ インスタンスより非同期レプリケーションに よりデータを複製 • 読み取りの負荷分散が可能 • 高可用性構成に加えて、リードレプリカを置いてさらな る信頼性向上 ◦ プライマリ / スタンバイ インスタンスとは 異なる3 つ目のゾーン配置 ◦ クロスリージョン リードレプリカで、異なるリージョ ンでの DR 構成 クライアントB
24. AlloyDB for PostgreSQL cloud.googel.com/alloydb より優れたパフォーマンスと可用性を実現したフルマネージドの PostgreSQL 互換データベース • フルマネージド RDBMS で PostgreSQL との完全互換性 • 優れたパフォーマンスを実現 ◦ トランザクション ワークロードでは標準の PostgreSQL の最大 4 倍高速 ◦ 分析クエリでは最大 100 倍高速 • メンテナンスを含み 99.99% の高可用性 • 動的なストレージの割り当て • リアルタイム分析機能を提供 • 読み取りプールにより、単一のエンドポイントにアクセス可能 • 機械学習による管理とインサイト 分散共有ストレージ 分散共有ストレージ 分散共有ストレージ リージョナル ログ ストレージ サービス プライマリ （read / write） 読み取りプール （read only） アプリ IP アドレス スタンバイ ログ(WAL) CPU CPU CPU CPU CPU CPU CPU CPU block block ゾーン プライマリと 異なるゾーン 任意のゾーン IP アドレス（読み書き用） 複数のレプリカに対して、単一の エンドポイント 最適化された PostgreSQL 最適化された PostgreSQL 最適化された PostgreSQL
25. Oracle + Google の構成パターン Oracle on Google Compute Engine (GCE/GKE) - BYOL Oracle 製品を BYOL にて GCE や GKE 上で実行可能に 01 Oracle Database@Google Cloud Google Cloud データセンター内で Exadata Database Service や Autonomous Database な どの Oracle DB を利用可能 02 Oracle Cloud Infrastructure and Google Cross-Cloud Interconnect Google Cloud - Oracle Cloud Infrastructure 間 のデータ転送が双方向無料で接続可能 03 Oracle Cloud Infrastructure in Google DC Oracle Cloud Infrastructure Oracle products on GCE / GKE GCE GKE Cloud Run GCE GKE Cloud Run GCE GKE Cloud Run 25
26. Spanner cloud.google.com/spanner • フルマネージド RDBMS でメンテナンスコストを削減 開発者はアプリケーションに集中 • リージョン / マルチリージョン構成による高可用性 SLA 最大 99.999% 提供 • 計画的ダウンタイムのない運用を実現 • 自動シャーディングによりパフォーマンスを最適化 • 強整合性の ACID トランザクションが可能 • 様々な開発言語のクライアント ライブラリを提供 (Java, C#, C++, PHP, Python, Node.js, Go, etc.） • Google内部では既に数年の運用経験 (AdWords, Google Play …) ソウル リージョン node1 東京リージョン node1 node1 大阪リージョン node1 node1 マルチリージョン構成
27. Spanner は全自動なので運用することがほぼ無い 主な運用は、必要に応じて 1. 性能モニタリング 2. ノードを足す / 減らす 3. バックアップ / リストア あとはアプリに注力！ 1. 2. 3.
28. Spanner でのシリアライズの実現 TrueTime • GPS と原子時計を組み合わせ、すべての Spanner の データセンターに正確な時刻 を提供 • Spanner のすべてのトランザクションにはタイムスタン プを付与 • 複数のデータセンターでトランザクションを実行してい る場合でも、すべてのトランザクションを順次実行する ことができグローバルなシリアライズを担保 GPS アンテナ 原子発振器 原子発振器 ネットワーク 電源 タイムサーバー 28
29. 日本CTO協会新卒合同研修 エージェント時代に求められるデータ基盤 2026/05/19 Sei Watanabe Data Analytics Customer Engineer 29
30. 目的 エージェント時代おけるデータ分析基盤の重要性と、 BigQueryを理解いただく アジェンダ 1. はじめに（DWH歴史、エージェントxデータ基盤）　 2. BigQuery の概要 3. デモ 30
31. 31 Google Cloud 機密 / 専有情報 レイクハウス 2010 年代半ば～ 2020 年代前半 • 統合データ プラットフォーム • オープンなデータ形式 • ガバナンスと セキュリティの統合 データ ウェアハウス 1980 年代後半～ 2000 年代前半 • 構造化データのみ • 所有コストが高い • スケーラビリティが限定的 起きたことについて、報告した り既定の質問に答えたりする 場合に最適 構造化された順序、限定的 データレイクと データ ウェアハウス 2000 年代前半～ 2010 年代半ば • すべてのデータ型 • データ サイエンスの台頭 • スケーラブルで費用対効果が 高い データ サイエンス、探索的 分析、ML モデル 多様性への対応、サイロ化 構造化データと非構造化データを組 み合わせて、起きたことに ついての質問に回答し、ML / AI モ デルを構築する 両者の長所を併せ持つ、 オープン データおよび AI プラットフォーム 2020 年代～現在 • AI ネイティブ • マルチモーダル • エージェント マルチモーダル データのリアルタイ ムのインテリジェンス、 すべてのデータおよびビジネス プロ フェッショナル向けの エージェント AI 機能 統合型、エージェント、柔軟 + = データウェアハウスの進化 はじめに
32. による次世代のデータ分析 BI 1.0 - レポート 待ち時間: 数週間 1980年代–現在 BI 2.0 - 可視化 待ち時間: 数日 1990年代–現在 Conversational Analytics 待ち時間: 数秒 現在 Mainframe 待ち時間: 数ヶ月 1950–80年代 →エージェント時代に求められるデータ基盤とは？ はじめに
33. Why Google Cloud? 1. Discoverability, Accessibility ・社内の様々な場所で生まれる データを自律的・網羅的に検知 ・ユーザーもエージェントも同じデー タにアクセスできる 2. Trusted, Reliable, & Governed ・Single Source of Truthとして信頼 できるデータであること ・ユーザー/エージェントとも権限に 基づいてデータにアクセス エージェント時代における 求められるデータ基盤とは？ 3.Metadata, Context engine ・人/エージェントがデータ・指標の 意味を理解できる ・コンテキストを提供するナレッジ エンジンとしても機能
34. 社内に溢れるデータをカタログ化することの重要性 Knowledge Catalog 　　 　　 ・組織固有のビジネス用語 / 定義を一元管理 　　 ・データの意味を一義的に　 : ・データ品質、統計的特性、異常値を分析 ・データセットの傾向を把握　 ・構造、関係性のメタデータを抽出 / 整理 　 　 ・詳細な背景情報に基づく思考が可 ・データ品質、統計的特性、異常値を分析 ・データセットの傾向を把握　 コンテキスト理解の深化 業務特化型思考 価値創造の加速 信頼に基づく洞察の創出 ビジネス用語集 データ プロファイル スキャン 自動メタデータ生成 データ リネージュ 34 1. Discover 3. Metadata, Context 2. Reliablility 3. Metadata, Context はじめに
35. エンド ツー エンドのデータ分析プラットフォーム スケーラブルな データ収集 信頼性のある ストリーム データ パイプライン 先進的な分析 データレイク データ ウェアハウス Pub/Sub Dataflow Dataproc Cloud Storage BigQuery Data Transfer Service Cloud Composer Storage Transfer Service Knowledge Catalog（データガバナンス） Cloud Data Fusion 処理 収集 蓄積 データ ウエアハウス 分析 BigQuery storage BigQuery analysis engine 活用 Vertex AI Datastream Sheets はじめに
36. BigQuery の概要 36
37. ストリーミングデータを使った リアルタイムな分析 BigQuery Google Cloud の分析用 エンタープライズ データウェアハウス ギガバイトからペタバイト に対応したスト レージと SQL クエリ 暗号化され、耐久性がある、 そして高い可用性 サーバーレスでインフラ運用不要 すぐに活用できる AI 機能 高速インメモリなレポートと 分析を高速化する BI エンジン BigQuery の概要
38. 38 BigQuery: 設計思想 • サーバーレス でスケーラビリティと費用対効果が高いクラウド データ ウェアハウス Analysis and insights BigQuery のサーバーレス分析 (管理負荷とチューニングを極小化 ) パフォーマンス チューニング モニタリング 信頼性 デプロイと設定 利用率の向上 分析と洞察 (< 15%) リソース プロビジョニング スケールの 調整 分析と洞察 ≒ 100% 従来のデータウェアハウス (チューニングすれば速いけど …) BigQuery の概要
39. 039 BigQuery の概要 Cloud Storage BigQuery Google Cloud における 生成 AI x Data のシンプルさ Gemini (Vertex AI) 非構造化データ (動画・音声・画像・ドキュメントなど ) One Platformで完結 SQLのみで完結 オブジェクト ストレージ Python実行環境 AI/ML プラット フォーム 他社 Platform で実現する場合 非構造化データ (動画・音声・画像・ ドキュメントなど) 生成 AI 生成AI 環境 複雑にプラットフォーム・サービスを組み合わせる必要あり クエリサービス エンタープライズデータウェアハウス 非構造化データ クエリサービス オブジェ クト ストレー ジ
40. BigQueryのアーキテクチャ 40 Small ワーカー XL ワーカー ディスク ディスク 顧客単位 • 事前プロビジョニング、ワークロード毎に クラスタを作成する必要あり = 規模の経済が DWH レイヤでは成立しない = 事前見積が必要 ワークロード毎に インスタンス サイズを 決定 BigQuery の アーキテクチャ • プロビジョニング不要、用途において自動スケーリ ング = 規模の経済が DWH レイヤでも成立 • ストレージ、コンピュートについて動的な割当 分散ディスク 分散シャッフル ワーカー ワーカー ワーカー マルチテナントのため規模の経済 マスタ クラウド DWH の一般的 アーキテクチャ BigQuery の概要
41. 1 万 あるお客様での クエリ同時実行数 350 PB あるお客様が 1 社で 保管しているデータ 100 兆行 いくつかのお客様での クエリ対象行数 数字で見る BigQuery 1PB 以上利用のお客様は 数百社以上 41 BigQuery の概要
42. BigQuery: アーキテクチャ • 主要な構成要素は、データセンター規模のコンピュートクラスタ、ゾーンやリージョンに複製された分散ストレージ、ペタビット 規模のネットワーク・インターコネクト、中間結果をシャッフルする分散インメモリストアです。 • BigQueryの検索は、複数ゾーンの (動的に割当てられた) 多数の計算ノードで並列に実行されます。 • ひとつのSQLは問合せ最適化の処理で、多段階の並列処理に分解され、各処理に必要な並列度を確保します。 計算リソースは、クエリの実行毎に割り当てられるので、使わない時にはコストは発生しません。 SQL:2011 準拠 ペタビット規模ネットワーク 高可用性を備えた コンピュート クラスタ (Kubernetesのベースである コンテナ管理機能 “Borg”の 制御) ストリーミング データのロード 無料の バルクロード 複製ありの 分散ストレージ (99.9999999999% 12 nine の耐久性) REST API SDK (Java, Python, Node.js, C#, Go, Ruby, PHP) Web UI, CLI 分散インメモリ シャッフル BigQuery BigQuery の概要
43. BigQuery Omni : 他社クラウドや Salesforce Data Cloud のデータを分析 BigQuery へのデータの連携 43 Open Format 対応: Hive / Hudi / Iceberg / Delta Lake のデータを分析 Analytics Hub / Data Clean Room: オープンデータや他組織のデータを検索・参照 対応データソースとの連携 : Cloud SQL やGoogle ドライブを直接参照。 Google Analytics 4 の生データの読み込み。 ストリーミング : ミリ秒のレイテンシでデータを継続的に書込み BigQuery の概要
44. SQL BigQuery 上のデータの参照手段 44 JDBC / ODBC / REST API / MCP Serverless Spark ( pySpark ) Colab Enterprise / BigQuery Studio ( Notebook 環境 ) Looker / Looker Studio / SpreadSheet や 他社 BI 製品 BigQuery の概要
45. BigQueryの料金の考え方について BigQuery の課金には次の 2 つの主要な（※）要素があります。 ストレージとコンピュートがそれぞれでオートスケールするため、効率よく大量データ処理が可能 ストレージ料金 クエリ料金 クエリの処理にかかる費用 SQL クエリ、ユーザー定義関数、 スクリプト、テーブルをスキャンす る特定のデータ操作言語（ DML） とデータ定義言語（DDL）のス テートメントなどが含まれる BigQuery に読み込む データを保存する費用 Jupyter ネットワーク BigQuery 数 1000 ノードの 並列計算基盤（ Borg） 数 1000 ノードの 大規模分散ストレージ （Colossus） 分散インメモリ 処理ハードウェア BigQuery の概要
46. BigQuery の価格モデル 46 クエリ料金 ストレージ料金 その他 • Storage Read / Write API （高速なストリーミング） • BI Engine （BI ツール向けメモリキャッシュ） • Notebook や Spark 、外部 ML モデルに関連する費用 等 無料のもの • データインポート / エクスポート • パーティショニング / クラスタリング 管理費用 オンデマンド （デフォルト） Editions Logical Storage （デフォルト） Physical Storage プロジェクトや 　組織単位などで で選択 データセット単位 で選択 BigQuery の概要
47. BigQuery の概要 Standard $0.04/slot hour (US) $0.051/slot hour(Tokyo) 標準的な SQL 分析に最適 • オートスケーリング • 最大 100 同時並行クエリ • リザベーションあたり最大スケール 1,600 slots • 管理プロジェクトあたり、最大 5 リザベーション • 99.95% SLA • Google Cloud platform wide certifications1 (Foundational compliance) • Support for HIPAA compliance • Google 管理暗号鍵 Enterprise $0.06/slot hour (US) $0.0765/slot hour(Tokyo) エンタープライズワークロード向け Standard の機能に加えて： • 無制限のスロット • 管理プロジェクトあたり、最大 200 リザベーション • 99.99% SLA • ゾーンレベル障害からの復旧 • BIクエリ アクセラレーション • 統合された 機械学習モデル • 非構造化データのサポート他 Optional 1 yr commitment (TKO $0.0612/slot hour) Optional 3 yr commitment (TKO $0.0459/slot hour) Enterprise Plus $0.10/slot hour (US) $0.1275/slot hour(Tokyo) ビジネスクリティカルな エンタープライズワークロードへ Enterprise の機能に加えて： • リージョン障害からの復旧 • リージョンレベル DR • お客様暗号鍵 • FedRAMP, ITAR などのサポート、 Assured Workloads Optional 1 yr commitment (TKO $0.102/slot hour) Optional 3 yr commitment (TKO $0.0765/slot hour) For detailed pricing information visit cloud.google.com/bigquery/pricing *GA後にリリースする機能 1 All GCP platform wide certifications including ISO 9001, ISO 27001, SOC 1-3, PCI (link for full list) On-Demand (pay-as-you-go for data processed) $6.25/TB scanned(US) $7.5/TB scanned(Tokyo). First 1 TB/month is free Includes all capabilities of Enterprise Plus １：オンデマンド ２：Autoscaling Editions BigQueryの料金の考え方について クエリ料金 クエリ料金のデフォルトはオンデマンド
48. BigQuery の概要 BigQueryの料金の考え方について Autoscaling の特徴とユースケース 特徴 • ワークロードにあわせて 使った分 だけ課金 • 使った分だけ課金でありながら、 Baseline と最大スロットを設定す ることで予測可能な料金 • アイドルスロット共有 でスロットの 効率的利用 • Baseline を0にした完全 Autoscaling も可能 • baseline は年 Commit も用意 One year / 3 year commitments at 20% / 40% discount クエリ料金
49. ETL：Google Cloud でデータ分析基盤を構築する構成の一例 POS データ 在庫データ MD データ 会員データ Web Log データ アプリ データ Google Analytics Firebase 広告 メール施策 DM アプリ内通知 Web 、アプリ コンテンツ最適化 店頭体験の最適化 在庫、配送最適化 商品開発 その他 メディア クラスタリング 予測 LTV BigQuery ML GE Agent Platform AutoML Tables Personalize Recommendation 需要・購買予測 トレンド予測 BigQuery SQL GE Agent Platform Workbench データ可視化 ダッシュボード Looker Studio Connected Sheets Data Processing Analytics BigQuery Data Fusion Dataflow データ収集・加工 アクション 顧客体験 分析・予測 Looker Catalog Knowledge Catalog BigQuery の概要
50. Looker LookMLを搭載し、何百、何千ものユーザー向けに 自然言語でのデータ探索を可能にする、ガバナン スされたBIとセマンティクスを提供 Conversational Analytics for Everyone すべての従業員が、瞬時にデータから回答を得て、意思決定し、行動を起こせるように支援します BigQuery データ専門家の生産性向上とビジネスユー ザー向けエージェント公開のための、統合され た生成AI中心のハブ Databases Cloud SQL、Spanner、AlloyDBで、完全なコード 透過性を備えた、リアルタイムでコンテキストを認 識したDBのインサイトを提供 BigQuery の概要
51. Demo time 51
52. Demo1 Speed of BigQuery BigQueryには誰でも自由にクエリできる公開 データセット（Public Dataset）が数百以上ある。 そのひとつがWikipedia 2025年の一年間でWikipedia内の閲覧のあった ページのタイトルとPV数が日次集計されている データを対象とする 累計646億レコード、2.7TBのデータになる デモとして、半年（2025/6/1~12/31）の期間合計 の閲覧ページ数と累計PV数を集計
53. Demo2 Magic of BigQuery’s AI functions • Public DatasetにあるBBC NewsのヘッドラインをAI関数で処理 • 2千以上のレコードから50レコード分を対象に以下AI処理を実行 ◦ 翻訳 ◦ カテゴライゼーション ◦ アウトプット指定
54. まとめ • エージェント時代におけるデータ基盤はビジネスコンテキストから社内のデータに 翻訳する重要な存在に • BigQuery はサーバーレスでスケーラブルな DWH ◦ ML/AI前処理からトレーニング、推論まで幅広くこなす ◦ 費用は ▪ クエリ費用 (オンデマンド / Editions ) ▪ ストレージ費用 ▪ その他 54
55. Thank you