「Google Cloud Next '25」で発表されたBigQuery の最新機能を使ってみよう

Transcript

1. 「Google Cloud Next '25」 で発表された BigQuery の最新機能を使ってみよう 2025年5月21日 NRIネットコム株式会社 DX推進部 松村賢 NRIネットコム TECH AND DESIGN STUDY #65
2. 1 Copyright（C） NRI Netcom, Ltd. All rights reserved. 自己紹介 01 データアナリティクスのアップデート 02 BigQuery ML の最新機能使ってみた 03 #nncstudy
3. 2 Copyright（C） NRI Netcom, Ltd. All rights reserved. 自己紹介 保有資格 ◼ 基本情報技術者、応用情報技術者 ◼ Googleアナリティクス認定資格 主要プロジェクト ◼ 大手自動車メーカーの分析用レポートの作成 ◼ 大手損害保険会社におけるデータ分析基盤の構築 ◼ 大手鉄道会社 EC の Google Anlaytics 導入 ◼ 大手百貨店の分析用レポートの作成 ◼ 大手銀行のデータ分析基盤構築支援 ◼ Google Marketing Platform の運用支援 経歴 ◼ 2023年4月 NRIネットコム株式会社入社 ◼ 現在 DX推進部 専門職 #nncstudy
4. 3 Copyright（C） NRI Netcom, Ltd. All rights reserved. データアナリティクスのアップデート #nncstudy
5. 4 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy The autonomous data-to-AI platform データアナリティクスのアップデート ◼ 統合データ基盤 ：構造化・非構造化データをマルチモーダルテーブルや AI クエリエンジンを通じて単一プラットフォームで横断的に処 理・分析。サイロを解消し、全データ横断分析による統一的な活用を実現。 ◼ AIネイティブな高速処理：データの取り込みから多様な LLM（Gemini 等）を SQL で直接利用する AI/ML、BI に至るまで、データ 活用の全ライフサイクルを単一プラットフォームに統合。データと AI を融合し、迅速なインテリジェンス提供を支援。 ◼ 自律的データプラットフォーム：Gemini を活用した AI アシスト機能やデータエージェントが、データ業務を自動化・効率化。手作業を 最小限にし、プラットフォーム自体が自律的に洞察を生み出し、タスクを処理するインテリジェントなデータ活用を推進。 ※引用元は最終ページに記載
6. 5 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy Gemini in BigQuery – AI for everyone ◼ BigQuery における様々なデータ分析作業（データ準備、データ探索、分析、コード記述）を Geminiが支援し、データ関連職の生産 性を向上させ、ビジネスユーザーに対してもデータ分析を容易にすることを目的とした機能群。 ◼ 現在の BigQuery の価格に含まれることが発表され、より多くのユーザーが BigQuery 内で AI を活用したデータ分析が可能に。 ◼ 価格改定により、オンデマンドモードとすべての BigQuery エディションで利用可能（一部機能にはクォータ制限）。 データアナリティクスのアップデート ※引用元は最終ページに記載
7. 6 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy A family of data agents ◼ 最新のGeminiモデルに基づく思考プロセスを利用し、ユーザー全体のタスクを支援・自動化するために構築されているエージェント群。 ◼ データエンジニアリング、データガバナンス、データサイエンス、および会話型アナリティクスエージェントの4種類が提供予定。 ◼ データパイプラインの構築やキュレーション、データ探索、モデル学習、自然言語でのデータ質問応答など、データ関連職やビジネスユー ザーの様々なタスクを支援・自動化し、生産性向上を加速。 データアナリティクスのアップデート ※引用元は最終ページに記載
8. 7 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy BigQuery data preparation & pipelines ◼ BigQuery Studio に統合されたツール群であり、Gemini やデータエンジニアリングエージェントなどのAI支援によりデータ準備からワーク フロー構築・実行を効率化し、データ関連職の生産性を向上。 ◼ data preparation は自然言語指示によるローコードなデータ変換と、生データの問題（スキーマの不一致）の自動検出・修正SQL 生成を提供。 ◼ Pipelines は、SQL、Notebook、data preparation のワークフローを視覚的に統合し、スケジュール・オーケストレーションが可能。 データアナリティクスのアップデート ※引用元は最終ページに記載
9. 8 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy AI Query Engine データアナリティクスのアップデート ◼ SQL に大規模言語モデル (LLM) の呼び出しを組み込むことで、セマンティックな分析が可能。 ◼ 構造化データだけでなく非構造化データも含めた分析を、単一のシンプルな SQL インターフェースを通じて分析可能。 ◼ シンプルな SQL だけで AI を活用したデータ分析が可能になるため、複数のチームやパイプラインを経由することなく、アナリストでも容易 に高度な分析が可能。 ※引用元は最終ページに記載
10. 9 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy Multimodal table ◼ BigQuery 内で構造化データと非構造化データを単一のテーブル表現で組み合わせることが可能。 ◼ ObjectRef という新しい BigQuery の型によって実現。ObjectRef 型は、Cloud Storage などに格納された非構造化データを テーブル内の構造化された形式で参照。 ◼ BigQuery の標準的な SQL インターフェースや BigQuery DataFrames を通じて分析可能。構造化データと非構造化データを跨いだ 複雑なクエリや、AI / 機械学習モデルを活用した高度な分析が容易に。 データアナリティクスのアップデート ※引用元は最終ページに記載
11. 10 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy BigQuery ML time series forecasting & contribution analysis データアナリティクスのアップデート ◼ BigQuery の SQL インターフェースを通じて利用でき、BigQuery に格納されたデータを直接分析できるため、効率的な分析を実現 ◼ 時系列予測：Google の TimesFM モデルを活用し、高速かつ高精度なゼロショット予測を行い、将来のトレンド把握を支援 ◼ 貢献度分析：多数のディメンションを分析し、特定の結果に対する主要な貢献者（要因）を迅速に特定することで、「なぜ？」に対 する答えを提供し、意思決定をサポート ※引用元は最終ページに記載
12. 11 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy Unified governance with BigQuery universal catalog & search ◼ BigQuery universal catalog は、Dataplex Catalog を統合・改名したもので、あらゆるデータ資産のメタデータを一元管理するカタ ログ機能であり、BigQuery の統合ガバナンス基盤。 ◼ この統合されたカタログを容易に探索する BigQuery universal search は、自然言語やキーワードで複数プロジェクトのデータセットや テーブル、Cloud Storage など BigQuery 以外の複数リソースをセマンティック検索することが可能。 ◼ AI 支援（メタデータ自動生成、自然言語検索）を統合し、データ関連職やビジネスユーザーが BigQuery Studio からデータ資産を 効率的に発見・管理可能。 データアナリティクスのアップデート ※引用元は最終ページに記載
13. 12 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy Data products ◼ データのオーナーが、特定のユースケースに合わせてデータ資産のコレクションを作成、共有、管理できるようにする機能。セキュリティのベ ストプラクティスに従いながら、組織内外に対してデータ資産をパッケージ化して安全に共有し、データを製品のように管理可能。 ◼ Google Maps Places データのような外部データセットも、この「データプロダクト」にて BigQueryで利用でき、ユーザーが保有するデータ と安全に結合・共有することが可能。 ◼ BigQuery universal search を使用して、データプロダクトを含むGoogle Cloud内のデータやAIアセットを検索することも可能。 データアナリティクスのアップデート ※引用元は最終ページに記載
14. 13 Copyright（C） NRI Netcom, Ltd. All rights reserved. BigQuery ML の最新機能使ってみた ~AI.FORECAST 関数~ #nncstudy
15. 14 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy AI.FORECAST 関数 ◼ AI.FORECAST 関数とは ⚫ 時間の経過に伴って観測されるデータ（時系列データ）の過去のパターンを分析すること。 ⚫ TimesFM というGoogle が開発した時系列データ予測のための基盤モデルを使用して、個別のデータに対する追加トレーニング やチューニングなしに、ゼロショットで高精度な将来予測が可能。 ◼ ユースケース例 ⚫ 小売業における商品の売上予測や在庫の最適化。 ⚫ IT 分野におけるサーバーリソース使用量の予測。 ⚫ ウェブサイトの検索パフォーマンス予測。 BigQuery ML の最新機能使ってみた
16. 15 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy AI.FORECAST 関数 ◼ 予測精度 ⚫ 予測値（青線）と実測値（緑線）のトレンドは似ている。 ⚫ 実測値が急激に変動した場合は、予測が追い付かない場合がある。 ◼ まとめ ⚫ 予想以上に高精度な時系列予測を手軽に実現可能。 ⚫ 追加のトレーニングやチューニングをする必要がなく、ゼロショットで分析できるため分析作業時間が大幅に短縮。 BigQuery ML の最新機能使ってみた
17. 16 Copyright（C） NRI Netcom, Ltd. All rights reserved. BigQuery ML の最新機能使ってみた ~貢献度分析~ #nncstudy
18. 17 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy 貢献度分析 ◼ BigQuery ML における貢献度分析とは ⚫ 特定の成果（数値）に対して、どの要素（ディメンション）がどれくらい影響を与えているのかを明らかにする分析手法。 ⚫ 集計・比較による原因特定を自動化し、迅速かつ網羅的なインサイトの取得が可能。 ⚫ 「なぜ？」という問いに答えるために役立つ機能。 ◼ ユースケース例 ⚫ ECサイトの売上増加・減少要因（製品カテゴリ、地域、キャンペーンなど）の特定。 ⚫ 特定の成果指標（KPI）に対する各要素の貢献度分析。 ◼ 貢献度分析の実施ステップ 1. データの準備：分析対象の指標と、その変化に影響を与えうるディメンションを含んだテーブルを準備。 2. モデルの作成：CREATE MODEL 文を使い、貢献度分析モデルを作成。 3. インサイトの出力： ML.GET_INSIGHTS 関数を使い、モデルから分析結果（インサイト）を取得。 BigQuery ML の最新機能使ってみた
19. 18 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy 貢献度分析 ◼ データの準備 ⚫ 分析対象の指標と、その変化に影響を与えうるディメンションを含んだテーブルを準備 ◼ モデルの作成 ⚫ CREATE MODEL 文を使い、貢献度分析モデルを作成。 BigQuery ML の最新機能使ってみた
20. 19 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy 貢献度分析 ◼ インサイトの出力 ⚫ ML.GET_INSIGHTS 関数を使い、モデルから分析結果（インサイト）を取得。 ◼ まとめ ⚫ 複数の複雑な SQL を駆使して時間をかけて行っていた貢献度分析が、本機能を使うことで数分で完了することに驚いた。 ⚫ 複数のディメンションを組み合わせた影響度を提示してくれる点が、分析作業時間が大幅に短縮されたと実感。 ⚫ 分析結果に基づいたアクションプランの策定や意思決定により多くの時間を割けるようになることに期待。 BigQuery ML の最新機能使ってみた
21. 20 Copyright（C） NRI Netcom, Ltd. All rights reserved. BigQuery ML の最新機能使ってみた ~AI.GENERATE 関数~ #nncstudy
22. 21 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy AI.GENERATE 関数 ◼ AI.GENERATE 関数とは ⚫ BigQuery のクエリエディタから直接 Vertex AI の生成 AI モデルを呼び出すことができる関数。 • 2025/5/21 時点では、Gemini モデルのみサポート ⚫ BigQuery に格納されたデータを用いて、SQL だけで高度なテキスト生成や分析が可能。 ◼ ユースケース例 ⚫ テキストデータの要約や多言語翻訳、特定の情報（住所、日付、製品名など）の抽出。 ⚫ レビューなどのテキストから感情分析や、テキストデータのカテゴリ分類。 ⚫ Cloud Storage に保存されている非構造化データの分析。 ◼ 注意事項 ⚫ BigQuery の接続を作成し、Vertex AI エンドポイントへのアクセス権を設定済みであること ⚫ 接続に関連付けられたサービスアカウントに、Vertex AI User ロールを付与されていること ⚫ データセット、接続、モデルの ML 処理ロケーションが一致していること BigQuery ML の最新機能使ってみた
23. 22 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy AI.GENERATE 関数 ◼ テキストデータのカテゴリ分類例 ◼ まとめ ⚫ データ取得と生成AIの同時活用で大幅時間短縮が可能。 ⚫ ObjectRef 関数と組合せることで、Cloud Storage に保存されている画像など等のデータの分析も可能なので 様々な使用用途が考えられる。 ⚫ その他、生成AI関連関数（AI.GENERATE_~~」）も魅力的 BigQuery ML の最新機能使ってみた
24. 23 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼ 「BRK1-023: What‘s New in BigQuery」より引用 ⚫ https://content-cdn.sessionboard.com/content/gMbKWiwQ8O64diVcNAYz_BRK1-023_%20What- s%20New%20in%20BigQuery.pdf 参考文献