2504_Data Engineering Conference 2025 Spring

Data Engineering Conference 2025 春
-データ基盤のモダン化、データ組織の変革-
https://members10.live.itmedia.co.jp/library/ODMxMjQ%253D

基調講演1　4月11日（金）13:00～13:40
今必要なデータ仕事人とは？結果を出す基盤と分析内製化後のぼくらの在り方
統合データ基盤、生成AI、組織変革による内製化促進。わずか数年で、データサイエンティスト、アナリスト、データエンジニアなどなど専門スキルとして狭く深く研究してきた様々なデータの仕事人に求められるスキルはみるみる拡張しています。その境界が曖昧なまま重なりの範囲も広がり「データ人材≒DX人材」とされ各人が得意とするスコープを超えた変化を求められています。クラウドの進化とともにデータ整備と分析とAIまで求められる今。筆者が体験したユースケースを元にお話させていただきますので、ご自身にどのような伸びしろがあるのか、これからの働き方のヒントにお聞きくだされば幸いです。

Transcript

1. Data Engineering Conference 2025春 -データ基盤のモダン化、データ組織の変革- 今必要なデータの仕事人とは？ 結果を出す基盤と分析内製化後のぼくらの在り方 株式会社電通デジタル Google Developer Expert Cloud AI/ML & Data Analytics 福島 ゆかり AI Agents? Cloud? MLOps?
2. 統合データ基盤、生成AI、組織変革による内製化促進 わずか数年で、データサイエンティスト、アナリスト、データエンジニアなどなど 専門スキルとして狭く深く研究してきた様々なデータの仕事人に求められるスキルは みるみる拡張しています。 その境界が曖昧なまま重なりの範囲も広がり 「データ人材≒DX人材」とされ各人が得意とするスコープを超えた変化を求められています。 クラウドと生成AIの進化とともにデータ整備と分析と施策連携さらにはビジネスに直結する投資対効果 を考慮した内製支援まで一通りを実現できるようになりました これから我々が求められ「データの仕事人」とはどういう存在でしょうか この命題に正解はありませんがきっかけは必ず皆さん一人一人の基礎スキルがシードになります。 筆者のデータ生活を支えるGoogle Cloudでの活用例を元にお話させていただきますので、 ご自身にどのような伸びしろがあるのか、これからの働き方のヒントにお聞きくだされば幸いです。 1 はじめに
3. Copyright(C)2023 DENTSU DIGITAL. All Rights Reserved CONFIDENTIAL 1.今必要なデータ人材とは ◼ 期待されてるありかた ◼ 変わる世界-生成AIとクラウドとエージェント- ◼ 最新のGoogle Cloud Update from Next’25 in LV 2.目的から考えるアーキテクチャと事例 ◼ ありたきデータ基盤ツールフォーメーション ◼ ユースケース 3.まとめ Agenda 2
4. ごあいさつ 4 福島ゆかり (株)電通デジタル 統合ビジネスプロデュース局1部 兼ソリューション戦略部統合データプラットフォームG マネージャー+Google Cloudエバンジェリスト Google Developer Expert as a Cloud AI/ML, Data Analytics • デ－タとクラウドと施策領域を横断しがち • 初のクラウドパートナーチーム立ち上げ • 構想策定からツール選定にPMにインプリ。今年からついに営業へ • 銀行、金融、小売、旅行、教育、業種業界に偏らないのが強み • 外部技術コミュニティ“Jaguar”や”ML女子部”も運営中。ご興味の方ぜひ！ Google Cloud Champion Innovator [AI/ML][DataEngineer] Google Cloud Professional Data Engineer Google Cloud Partner Top Engineer2024 セミナー企画と登壇 ・ケイパ発信 最新機能のまとめとシェア 提案支援・武器づくり Google Cloudエバンジェリストとして「エバ活」してます！
5. Google Cloud 生成 AI エコシステムパートナー 顧客サービスの モダナイズ デジタルコマース向け 生成 AI マーケティング向け 生成AI ウェブサイトの モダナイズ 未来の バックオフィス 事業戦略から生成AI活用 コンサルティング 5 ごあいさつ
6. 6 1.今必要なデータ人材とは ◼ 期待されるありかた ◼ 変わる世界-生成AIとクラウドとエージェント- ◼ 最新のGoogle Cloud Update from Next’25 in LV
7. 期待されるありかた
8. 8 我々は、生成AI・データ・インフラ・プライバシー...多種多様かつ高度化するビジネス課題を解決するた め、マーケティングアクションとその周辺の広いスコープに対応するスキルが求められます 出典：経済産業省 https://www.meti.go.jp/policy/it_policy/jinzai/skill_standard/main.html 今必要なデータ人材とは｜期待されるあり方
9. 9 「データサイエンティスト」は、AI/DXの中心に「データ」の存在があることから関係するすべての他プレイ ヤーとの関係を考慮した土台にならざるをえません。その結果、期待されているのは・・・ 出典：経済産業省 https://www.meti.go.jp/policy/it_policy/jinzai/skill_standard/main.html 今必要なデータ人材とは｜期待されるあり方
10. 10 解析や分析の先には「サービスや業務などを変革」するスキル 出典：経済産業省 https://www.meti.go.jp/policy/it_policy/jinzai/skill_standard/main.html 今必要なデータ人材とは｜期待されるあり方
11. 11 キーワードは「業務変革」＝ビジネストランスフォーメーション それってデータサイエンティスト・データエンジニア・アナリストの仕事だっけ？ 出典：経済産業省 https://www.meti.go.jp/policy/it_policy/jinzai/skill_standard/main.html 今必要なデータ人材とは｜期待されるあり方
12. 認知 興味関心 利用 意向 継続 KPI 心理 行動 施策 一般かけ合わせ 一般 BIG 指名かけあわせ 指名単体 非リタゲ （興味関心） リタゲ 非リタゲ （検索KW/競合来訪） SEO (BIG KW) SEO (テールKW) CX (LPO/CRO) TVCMなど DX (CRM/MAなど) カスタマーマッチ 購入 リスティング ディスプレイ 動画広告 1to1施策 • ブランド認知 • 広告認知 • キャンペーン認知 • imp • リーチ • 視聴率 • CTR • CPC • 視聴完了率 • 残存マーケット リーチ • 好意度 • 比較検討 • コンセプト需要度 • サーチリフト • CVR • CPA • 利用意向 • 利用頻度 • 利用回数 • LTV • 継続意向 • 利用満足度 • 推奨度 高度分析 行動+顧客 データ 今必要なデータ人材とは｜期待されるあり方 マーケティングする社会人の頭のなかとお悩みだいたい、こう 12
13. 認知 興味関心 利用 意向 継続 KPI 心理 行動 施策 一般かけ合わせ 一般 BIG 指名かけあわせ 指名単体 非リタゲ （興味関心） リタゲ 非リタゲ （検索KW/競合来訪） SEO (BIG KW) SEO (テールKW) CX (LPO/CRO) TVCMなど DX (CRM/MAなど) カスタマーマッチ 購入 リスティング ディスプレイ 動画広告 1to1施策 • ブランド認知 • 広告認知 • キャンペーン認知 • imp • リーチ • 視聴率 • CTR • CPC • 視聴完了率 • 残存マーケット リーチ • 好意度 • 比較検討 • コンセプト需要度 • サーチリフト • CVR • CPA • 利用意向 • 利用頻度 • 利用回数 • LTV • 継続意向 • 利用満足度 • 推奨度 高度分析 行動+顧客 データ マーケティングする社会人の頭のなかとお悩みだいたい、こう 今必要なデータ人材とは｜期待されるあり方 13
14. 認知 興味関心 利用 意向 継続 KPI 心理 行動 施策 一般かけ合わせ 一般 BIG 指名かけあわせ 指名単体 非リタゲ （興味関心） リタゲ 非リタゲ （検索KW/競合来訪） SEO (BIG KW) SEO (テールKW) CX (LPO/CRO) TVCMなど DX (CRM/MAなど) カスタマーマッチ 購入 リスティング ディスプレイ 動画広告 1to1施策 • ブランド認知 • 広告認知 • キャンペーン認知 • imp • リーチ • 視聴率 • CTR • CPC • 視聴完了率 • 残存マーケット リーチ • 好意度 • 比較検討 • コンセプト需要度 • サーチリフト • CVR • CPA • 利用意向 • 利用頻度 • 利用回数 • LTV • 継続意向 • 利用満足度 • 推奨度 高度分析 行動+顧客 データ マーケティングする社会人の頭のなかとお悩みだいたい、こう 今必要なデータ人材とは｜期待されるあり方 14
15. 15 認知 興味関心 利用 意向 継続 KPI 心理 行動 施策 一般かけ合わせ 一般 BIG 指名かけあわせ 指名単体 非リタゲ （興味関心） リタゲ 非リタゲ （検索KW/競合来訪） SEO (BIG KW) SEO (テールKW) CX (LPO/CRO) TVCMなど CRM (MAなど) カスタマーマッチ 購入 リスティング ディスプレイ 動画広告 SEO/LPOなど • ブランド認知 • 広告認知 • キャンペーン認知 • imp • リーチ • 視聴率 • CTR • CPC • 視聴完了率 • 残存マーケッ トリーチ • 好意度 • 比較検討 • コンセプト需要度 • サーチリフト • CVR • CPA • 利用意向 • 利用頻度 • 利用回数 • LTV • 継続意向 • 利用満足度 • 推奨度 高度分析 行動+顧客 データ 広告施策をはじめ、ABCD-Xの多くのデジタルマーケティング活動へ拡張利用が可能 統合 データ BX 事業変革のため 分析・構想設計 CX お客様体験変革 DX マーケティング基 盤の変革 AX 高度最適化広告コ ミュニケーション 事業成長 今必要なデータ人材とは｜期待されるあり方
16. + = Nascent Emerging Connected Multi Moment 現在位置 Maturity model ＞ Multi Moment 16
17. + = Nascent Emerging Connected Multi Moment 広告含むマーケティングコミュニケーションぜんぶ盛り データのつながりがモデルが進むほど必要になり それらを掌握して管理・実用する能力が データ人材に求められるように 近い未来 Maturity model ＞ Multi Moment 17
18. 18 今必要なデータ人材とは｜期待されるあり方 ビジネス データ 生成AI クラウド データ人材にもとめられる最低限の知識とスキルまとめ
19. 19 1.今必要なデータ人材とは ◼ 期待されてるありかた ◼ 変わる世界-生成AIとクラウドとエージェント- ◼ 最新のGoogle Cloud Update from Next’25 in LV
20. 変わる世界-生成AIとクラウドとエージェント- 20
21. 従来の計測 ページへのアクセス数など コンテンツが中心 今 男性 女性 年配 ✓ サイトに訪れた目的や確度はみんな違うが一律計測 ✓ CVやセッション数などページのパフォーマンスを分析 ユーザー起点のスコアが中心 ✓ サイトに訪れた目的や確度に重みづけ ✓ CVやセッション数などページのパフォーマンスをユーザーごと に分析 男性 女性 年配 興味ある ほしい！ いらない 変わる世界-生成AIとクラウドとエージェント- 21
22. 2 2 変わる世界-生成AIとクラウドとエージェント- データ
23. 収集 統合・分析 施策 As-is To-be これからのデータは「人」と紐づけて使うことに価値がある ✓ ユーザーごとに整えられたスコアデータが精度の高い予測と入札につながる ✓ 過剰な投資を抑え予算配分を最適化する ✓ サイトのCVやセッ ション数 ✓ CRM上のユーザーごと の属性 ✓ サイトのCVやセッショ ン数 ✓ デジタル行動履歴 ✓ デジタル行動履歴 ✓ 固有の1stPartyデータ ✓ 購買データ 顧客価値 高 低 予算配分 機会損失 過剰投資 tCPA 獲得件数 1 にコストで入札 tROAS 期待収益に対して入札 顧客価値 高 低 予算配分 収益予測スコアに基 づき最適化 変わる世界-生成AIとクラウドとエージェント- 23
24. 収集 統合・分析 施策 As-is To-be ✓ サイトのCVやセッ ション数 ✓ CRM上のユーザーごと の属性 ✓ サイトのCVやセッショ ン数 ✓ デジタル行動履歴 ✓ デジタル行動履歴 ✓ 固有の1stPartyデータ ✓ 購買データ 顧客価値 高 低 予算配分 機会損失 過剰投資 tCPA 獲得件数 1 にコストで入札 tROAS 期待収益に対して入札 顧客価値 高 低 予算配分 収益予測スコアに基 づき最適化 精緻な収益予測を行うための 準備環境 精緻な収益予測を行うための 質の高いインプット 売上と費用 ともにUP 変わる世界-生成AIとクラウドとエージェント- これからのデータは「人」と紐づけて使うことに価値がある ✓ ユーザーごとに整えられたスコアデータが精度の高い予測と入札につながる ✓ 過剰な投資を抑え予算配分を最適化する 24
25. 収集 統合・分析 施策 As-is To-be ✓ サイトのCVやセッ ション数 ✓ CRM上のユーザーごと の属性 ✓ サイトのCVやセッショ ン数 ✓ デジタル行動履歴 ✓ デジタル行動履歴 ✓ 固有の1stPartyデータ ✓ 購買データ 顧客価値 高 低 予算配分 機会損失 過剰投資 tCPA 獲得件数 1 にコストで入札 tROAS 期待収益に対して入札 顧客価値 高 低 予算配分 収益予測スコアに基 づき最適化 精緻な収益予測を行うための 準備環境 精緻な収益予測を行うための 質の高いインプット 売上と費用 ともにUP これからの投資は期待収益の最大化を追求する施策へ ✓ ユーザーごとに整えられたスコアデータが精度の高い予測と入札につながる ✓ 過剰な投資を抑え予算配分を最適化する 人の手作業ではもう限界 変わる世界-生成AIとクラウドとエージェント- 25
26. 変わる世界-生成AIとクラウドとエージェント- 生成AI 26
27. Google は Forrester Wave の最新評価でリーダーに Google は、Forrester Wave™: AI インフラストラクチャ ソリ ューション、2024 年第 1 四半 期のリーダーに選出されまし た。評価対象となったすべて のベンダーの中で、現在の提 供内容と戦略のカテゴリーで 最高得点を獲得しました。 Google は、Forrester Wave™: AI 基盤モデル（言語部門） 、2024 年第2四半期のリーダ ーに選出されました。評価対象 となったすべてのベンダーの中で、 現在の提供内容と戦略のカテゴ リーで最高得点を獲得しました。 The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave™ are trademarks of Forrester Research, Inc. The Forrester Wave™ is a graphical representation of Forrester’s call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave™. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change. 変わる世界-生成AIとクラウドとエージェント- 27
28. 機械学習をより高速に 、大規模に行える専用 チップである Google TPU を発表 2015 Transformer: 大規模なデータセット で効率的に学習が可能 に（Large Language Model） 2017 BERT: Transformer を利用した大 規模言語モデル 要約、応答、翻訳など汎 用タスクに対し 1 モデル で高性能を発揮 2018 会話データで学習された LaMDA（Language Model for Dialog Applications） Google が公開したほぼす べてのものについて会話 することが可能 2020 2025 PaLM 2 PaLM 2 を搭載した 会話型 AI サービス Bard を発表 2023 マルチモーダル、かつ、 多言語に対応した高性能 な大規模言語モデル Google の 生成 AI におけるイノベーション 変わる世界-生成AIとクラウドとエージェント- 28
29. Google Cloud の AI ポートフォリオ Google Cloud インフラストラクチャ (GPU/TPU) | データ基盤 Vertex AI Model Garden (生成 AI モデルの提供) Google | OSS | パートナーモデル Vertex AI Model Builder (生成 AI モデルへのアクセス、カスタマイズ) プロンプト|チューニング | 蒸留 | 評価 | Notebooks | Serving | Training | Feature Store | Pipelines | Monitoring AI ソリューション Contact Center AI | Document AI | Discovery AI | Risk AI | Healthcare AI and 130+ models Gemini for Google Cloud 学習済みAPI Cloud Vision, Video Intelligence, Cloud Natural Language, Speech-to-Text, Text-to-Speech BigQuery ML Vertex AI Agent Builder (エージェントの構築、生成 AI モデルの拡張) OOTB and custom Agents | Search Orchestration | Extensions | Connectors | Document Processors | Retrieval engines | Rankers | Grounding | Function Calling 29 変わる世界-生成AIとクラウドとエージェント-
30. 生成 AI のビジネスインパクト 4 社中 3 社（74%）が現在、AI 投資から ROI を得ている 4 社中 3 社 本番環境で生成 AI を使用し、収益増加が見られる組織の 63%は 、年間の会社全体の収益が 6% 以上増加すると予測 63% 84% の組織が、6 か月以内に生成 AI ユースケースのアイデアを 本番環境での稼働に成功。稼働開始後、これらの組織は 12 か 月、もしくはそれ以上の期間で生成 AI に直接起因する年間収 益の増加を報告 84% ROI 年間収 益 増加 価値実 現 までの 時間の 3 つの基準を使用 して生成 AI の 直接的な価値を 調査で評価 30 変わる世界-生成AIとクラウドとエージェント-
31. 生成 AI のビジネス上のメリット 生産性 ビジネス成長 ユーザー体験 セキュリティ 45% 63% 85% 56% 生産性の向上を報告した組織の 45% は、生成 AI 活用の結果として 従業員の生産性が少なくとも 2 倍になったと回答 63% の組織が生成 AI ソリューション利用の 結果としてビジネスの成長を経験 ユーザー体験が向上したと報告した組織の 85% は ユーザー エンゲージメントが向上し、80% は生成 AI により ユーザー満足度が向上したと報告 56% の組織がセキュリティ体制の改善を報告し、そのうち 82% が 脅威の特定能力が向上し、71% が解決までの時間が短縮されたと報告 31 変わる世界-生成AIとクラウドとエージェント-
32. 収集 統合・分析 施策 As-is To-be ✓ サイトのCVやセッ ション数 ✓ CRM上のユーザーごと の属性 ✓ サイトのCVやセッショ ン数 ✓ デジタル行動履歴 ✓ デジタル行動履歴 ✓ 固有の1stPartyデータ ✓ 購買データ 顧客価値 高 低 予算配分 機会損失 過剰投資 tCPA 獲得件数 1 にコストで入札 tROAS 期待収益に対して入札 顧客価値 高 低 予算配分 収益予測スコアに基 づき最適化 精緻な収益予測を行うための 準備環境 精緻な収益予測を行うための 質の高いインプット 売上と費用 ともにUP 変わる世界-生成AIとクラウドとエージェント- 精緻な収益予測を生成AIによって行えるように 32
33. 3 3 変わる世界-生成AIとクラウドとエージェント- クラウド
34. クラウドとは超高機能な キッチンや工房 のような環境そのもの 調理次第でなんでもできる…でもいきなりは難しい Google Cloudの立ち位置 変わる世界-生成AIとクラウドとエージェント- 34
35. Ads Data Hub input output GA4 BQ BQ CRM 1stPD GCS GA4の全量データ唯一の出力先 ADHの照合データ唯一の入力元 CRM(PII)データの格納先 用途 知らず知らずに日々の運用に使っているビジネスマーケティング製品群の裏側のデータ統合先がクラウドへ 変わる世界-生成AIとクラウドとエージェント- 35
36. Ads Data Hub input output GA4 BQ BQ CRM 1stPD GC S GA4の全量データ唯一の出力先 ADHの照合データ唯一の入力元 CRM(PII)データの格納先 用途 知らず知らずに日々の運用に使っているGoogle製品の裏側の基盤技術がクラウド いつのまにか Cloudの知識必須 変わる世界-生成AIとクラウドとエージェント- 36
37. 37 変わる世界-生成AIとクラウドとエージェント- ビジネス データ 生成AI クラウド 一人でできるはずがない！ところが、、
38. 38 今必要なデータ人材とは｜期待されるあり方 ビジネス AI Agent AI Agent AI Agent 生成AIによる支援「AIエージェント」という仕組みの登場
39. エージェントとは生成 AI モデルによる推論に加えて、ツールを使ったアクションを行うことによって 与えられた目標を達成しようとする管理されたシステムを意味する 複雑なプロンプトを与える必要はなく、”よしなに” やってくれる生成 AI アプリケーションの一種 AI Agentとは Vertex AI Agent Builder エージェント Datastore (Vertex AI Search) アクション Extensions (e.g. Code Interpreter) 1P/3P APIs Function Calling User / Frontend ツール Goal / Instructions / ツ ール の定義 会話 変わる世界-生成AIとクラウドとエージェント- 3 9
40. 顧客向けサービスの自動化 顧客の情報およびサービスの プロビジョニング要求に 効果的に対応 プロダクト / コンテンツ カタログ ディスカバリ 在庫カタログから最も関連性の高い 製品/コンテンツのリストを 効果的に発見 コンテンツ & プロダクトの 推薦 パーソナライズされたコンテンツの カタログから次の ベストアクションを推薦 不正利用の報告 銀行取引を調査し、 異議を唱えるための手順を確認 クリエイティブ アシスタント ストーリーやジョークを伝え、 コンテンツを生成 旅行アシスタント バケーション プランナー、 予約支援 ファイナンシャル アドバイザー 貯蓄目標、予算作成の支援 トラブルシューティング トラブルシューティングの 手順を提供 注文アシスタント ドライブスルーでの注文を サポートする会話アシスタント 変わる世界-生成AIとクラウドとエージェント- 4 0 AI Agent Usecases
41. エージェントとは生成 AI モデルによる推論に加えて、ツールを使ったアクションを行うことによって 与えられた目標を達成しようとする管理されたシステムを意味する 複雑なプロンプトを与える必要はなく、”よしなに” やってくれる生成 AI アプリケーションの一種 AI Agentとは Vertex AI Agent Builder エージェント Datastore (Vertex AI Search) アクション Extensions (e.g. Code Interpreter) 1P/3P APIs Function Calling User / Frontend ツール Goal / Instructions / ツ ール の定義 会話 変わる世界-生成AIとクラウドとエージェント- 2025.04.10 Data Agent 登場 4 1
42. 1.今必要なデータ人材とは ◼ 期待されてるありかた ◼ 変わる世界-生成AIとクラウドとエージェント- ◼ 最新のGoogle Cloud Update from Next’25 in LV 42
43. 最新のGoogle Cloud Update from Next’25 in LV 43
44. Google Cloud Next’25 in Las Vegas Google Cloudの一年で一番大きな基幹カンファレンスが今年も開催されています 4 4 ◆ 開催日：2025年4月9日～11日 ◆ 開催地：ラスベガス ◆ 場所：マンダレイ ベイ コンベンション センター コンテンツ https://cloud.withgoogle.com/next/25 Full Conference Ticketの場合は以下 • Nextでの3日間のライブオンサイト • 基調講演へのアクセス • 数百のブレイクアウトセッション • 専門家による質疑応答へのアクセス • 最新の AI イノベーションと製品の発売 • スポンサー エキスポ & Google ショーケース • 開発者エクスペリエンス: デモ、ワークショップ、1:1 コンサルティング • 顧客主導のトーク • レセプションと Google Cloud Next パーティー • 同僚や業界のリーダーとのネットワーキング • 次のモバイルアプリ • 次世代デジタル＆オンデマンドコンテンツ • その他 スケジュール
45. 4 5 Google Cloud Next’25 in Las Vegas
46. 4 6 1. Gemini 2.5 Flash - Gemini 2.5 models 2. Agent Development Kit (ADK) 3. Agent2Agent (A2A) protocol 4. Veo 2 5. All GDE’s now have access to Google Developer Program premium: Learn more at developers.google.com/program. AI/ML Blogs and tags to consider alongside #GoogleCloudNext •Agent Development Kit (ADK) Blog Post, •Lyria Blog Post Google Cloud Next’25 in Las Vegas DataやAI/MLに関するアップデートのTOP5は以下の通り ※まだ日本ではリリースされていない機能も含みます。 1. AlloyDB AI 2. Looker Conversational Analytics Agent 3. Conversational Analytics API (Preview 4. BigQuery Notebook experience with AI 5. BigQuery data preparation (GA) Data Cloud Sessions we love at Next #GoogleCloudNext •Autonomous Data to AI Platform powered by BigQuery •The future of AI and databases: How Target transformed their retail experience with AlloyDB AI •Beyond basic monitoring: AI-powered observability for Cloud SQL Data AI/ML
47. Proprietary & Confidential Data Agents on Unified data platform • どんなデータも： 構造化データ、非構造化データ、ストリーミングデータをまとめて 管理 • どこにあるデータも： S3、Azure Storage… 、様々な場所に保存されたデータに も対応 • どんなツールからも： SQL、オープンソースエンジン、AI/MLなど、あらゆるツールから 同じデータにアクセス BigQuery unified data platform Google Cloud infrastructure (CPUs/GPUs/TPUs) Unified governance and metastore Vertex AI foundation Multimodal data foundation Unified user experience Multi-engine 47 Data Engineering、Data Science、Data Analysis の各分野でエージェント機能が強化 Google Cloud Next’25 in Las Vegas
48. Proprietary & Confidential BigQuery Studio すべてのデータ専門家がデータから AI ワークフロ ーを加速するための共同データ ワークスペース すべてのデータ ユーザー向けの SQL およびノートブック イン ターフェイスを含む単一の統合ワークスペース データの規模、形式、場所に関係なく、SQL、Python、Spark、 Javascript、自然言語を使用して分析を行います BigQuery DataFrames: PB 規模のデータを準備、トレーニング、 スコアリングするための使い慣れた Pandas インターフェース 集約したソース管理とリビジョン履歴により、Dataform を使用 してソフトウェア開発のベスト プラクティスをデータとコー ドに拡張し、コラボレーションが向上 Gemini 搭載のチャットとコード アシスタントを使用して共同 作業することで、生産性を最大化 48 Proprietary & Confidential Google Cloud Next’25 in Las Vegas
49. Proprietary & Confidential 新しいAI時代には、新しいデータプラットフォームが必要 BigQueryなら、どちらかを選ぶ必要はありません。Googleのデータクラウドは、両方の長所を提供しながら、生成AIの力を活用できます 他のウェアハウス 他のデータレーク BigQuery ユースケースの特性 ビジネスインテリジェンス、 レポート。何 が起こったのかというあらかじめ決めら れた質問に答えるのに最適 データサイエンス、探索的分析、リアル タイム分析。ML モデルと予測に最適 構造化データと非構造化データの力 を組み合わせて、何が起こったのかとい う質問に答え、将来を予測するための ML/AI モデルを構築 データタイプ 構造化データ 非構造化データとストリーミングデータ 構造化、非構造化、ストリーミングデ ータ データへのアクセス SQL プログラミング言語 自然言語、 SQL、プログラミング言語 データガバナンスとセキュリティ サイロ サイロ 統合 Unified data Google Cloud Next’25 in Las Vegas
50. Proprietary & Confidential Unified data BigQuery は、あらゆる種類のデータとワークロードに対応 すべてのデータのための単一の統合アクセス層: 構造化データ、非 構造化データ、運用ストリームなど、あらゆるデータが対象 あらゆるデータ形式とストレージをサポート: S3、Azure Storage 、Iceberg、Delta Lake、Hudiなど、多様なストレージに対応 SQL、オープンソースエンジン、AI/MLのための単一の共有メタスト ア: すべてのデータアクセスを一元管理 あらゆるデータに対する大規模なガバナンスの実現: データの整合 性とセキュリティを確保 Semi-structured data Unstructured data Dataplex | Governance at scale BigQuery Managed Storage Multi-Cloud (AWS S3, Azure Storage) Google Cloud Storage Open and structured record interface Structured Data 構造化データ (Data Warehouse Workloads) ストリーミングデータ (Operational Streams) すべてのデータに、単一の統合されたインテリジェントで管理された安 全なアクセスレイヤーを提供 非構造化データ (Data Lake Workloads) Google Cloud Next’25 in Las Vegas
51. Proprietary & Confidential Data Governance 分析と AI エンジン BigLake (Read / Write) Security, Price-Performance, Management, Governed AI ストレージ BigQuery Storage Google Cloud Storage Amazon S3** Partner engines AI 3P Engines BigQuery OSS Engines Streaming BigLake と AI によるマルチモーダルデータ BigLake を活用することで、構造化データと非構造化データの両方に対して、分析エンジンと AI エンジン全体で組み込みのセキュリティと ガバナンスを備えたマルチモーダルデータと AI を実現 マルチモーダルデータ クラウドやオープンファイル形式を横断して、構造化データと非構造化デ ータの両方を扱うためのシングルコピーアーキテクチャを構築します。 統一されたガバナンス 分散データ全体にわたる統合データ管理とガバナンス 統合データとアクセス制御 単一のインターフェースでセキュリティを集中管理し、すべてのデー タにアクセス Unified data Google Cloud Next’25 in Las Vegas
52. Proprietary & Confidential BigQuery Omni によるクロスクラウド分析 Unified data クラウド全体で合理化された分析のための統 合コントロールプレーンを提供 マルチクラウドデータ全体に統合ガバナンス 直近のイノベーション New • Salesforce Data Cloud による双方 向のデータ連携と共有 • クロスクラウドトランスフォーメーション • シームレスなクロスクラウドジョイン • クロスクラウドマテリアライズドビュー US/EU region Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage Tokyo/London region Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage AWS region (Omni) Stateless compute workers Distributed Memory Shuffle Tier AWS Storage Azure region (Omni) Stateless compute workers Distributed Memory Shuffle Tier BigQuery Storage BigQuery コントロールパネル (core experience, metadata) BigQuery UI Google Cloud Next’25 in Las Vegas
53. Proprietary & Confidential 統合されたSQLとApache Sparkエクスペリエンス データの規模、フォーマット、場所に関係なく、SQL、Python、Spark、Javascript、自然言語を使用して分析可能に Unified engines 同じUI内で Spark と SQL をシームレスに使用 BigQuery Editions を使用すればシンプルな料金体系で Spark を実行可能に 統合されたセキュリティとガバナンス、GCP IAM、行/列レベ ルのセキュリティをシームレスに適用 Google Cloud Next’25 in Las Vegas
54. Proprietary & Confidential BigQuery data preparation 生成 AI アシストで進化した直感的な画面操作可能なデータ プリパレーション Engineer and transform BigQuery Data Preparation BigQuery でのデータのクレンジング、変換、準備 生成 AI によりコンテキストを認識した変換レコメンデーションに より、データ開発を加速 合理化された取り込みと変換で時間を節約 自動化されたスキーマ マッチング、ビジネスおよびデータ品質ル ールの識別と検証 生成された SQL パイプラインを BigQuery にデプロイ、オー ケストレーション、モニタリング Google Cloud Next’25 in Las Vegas
55. Proprietary & Confidential ビジュアルと AI によるデータ検出、モデリング、分析 Explore, discover, analyze BigQuery Data Canvas データ探索と視覚化のための GenAI 中心のエクスペリエン ス インタラクティブかつガイド付きのユーザエクスペリエンス BigQuery Studio に統合 Dataplexカタログでサポートされるセマンティックデータ検出 自動化された Python ノートブックの生成 データアナリスト向けの組み込みコラボレーション Google Cloud Next’25 in Las Vegas
56. Proprietary & Confidential GenAIによるデータ分析 Gemini in BigQuery data insights Explore, discover, analyze AI-powered data insights データに対して尋ねることができる質問とそれに対応す るクエリの厳選されたリストを使用して、分析をすぐに利 用可能に Metadata + GenAI メタデータと最先端の Gemini モデル を活用する Streamlined workflow BigQuery Studio で実行できる SQL クエリにワンク リックでアクセス Google Cloud Next’25 in Las Vegas
57. Proprietary & Confidential Continuous real-time analytics in SQL 継続的なSQL処理による新しいインテリジェントなデータ パイプライン機能の実現 継続的な分析処理 SQL を使用して、受信データのストリームに対して無制限のサーバーレス分析を 実行します。 リアルタイム アプリ開発のための GenAI リアルタイムの異常検出、感情分析、推奨などの AI + ML 機能を備え た自動化パイプラインを開発します。 運用システムへのリバース ETL BigQuery からのデータをプログラムでリアルタイムに変換し、Pub/Sub、 Bigtable、または別の BigQuery テーブルに複製 57 BigQuery Vertex AI Real time model evaluation. Real time inference. Continuous SQL processing. BigQuery tables Pub/Sub Bigtable Partner integrations Google Cloud Next’25 in Las Vegas
58. Proprietary & Confidential Operational health monitoring Organization-wide views of your BigQuery operational environment 組織サマリ 組織全体の主要な指標の概要ビ ュー ディティールビュー リージョンまたはリザベーションレベ ルで詳細を拡大表示 リソースモニタリング メトリック（スロット、クエリ）レベル での動作を理解 ジョブエクスプローラ クエリを 1 つのビューで表示してト ラブルシューティング 58 Google Cloud Next’25 in Las Vegas
59. Proprietary & Confidential BigQuery migration service BigQuery への移行に役立つ、無料、高速、包括的 なツール サポートされている 14 個のクエリ変換ソースには、最も人 気のあるデータ ウェアハウスとデータ レイクが含まれる 移行時間を短縮するために、複数のパートナーとのフォーカ スプログラムとジャンプスタート プログラムを実施 パートナー向けのクエリを翻訳するための API Gemini 拡張翻訳はオプションでクエリ コンパイラを支援し 、出力オプションを自動的に提案 Over 40 million statements translated for thousands of customers since GA in June 2022 59 Proprietary & Confidential Google Cloud Next’25 in Las Vegas
60. Proprietary & Confidential BigQuery データ共有: アナリティクス ハブ + データ クリーン ルーム データ + AI アセットを安全かつ効率的に共有 Unified data 価値創出までの時間短縮とスケーラビリティのために構築された、データ と分析資産の豊富なエコシステムを作成 組織の境界を越えて データの収益化を促進 データを安全に共有および共同作業するための データ クリーン ルーム BigQuery Omni を使用して、クロスクラウド (AWS/Azure) を含む 、安全でプライバシー重視のデータ共有を実現 Retailers Logistics Suppliers Analytics Hub What items produce highest repeat purchase rates and margins? Where are the bottlenecks across our supply chain? Private & Public Google Mobility Trends Patents Web Analytics World Bank Media NOAA Credit Google Cloud Next’25 in Las Vegas
61. 一章のまとめ 6 1 あなたの得意なデータ技術を活かして 「データ」も「クラウド」も「生成AI」も 味方につけて「エージェント」の利用設計で 業務改革の実現をめざそう！
62. ◼ ありたきデータ基盤ツールフォーメーション ◼ 目的別ユースケース 62 2. 目的から考える アーキテクチャと事例
63. ありたきデータ基盤ツールフォーメーション (Google中心)
64. 6 4 とある環境の異なる複数のデータソースをGoogle製品群で収集・統合・分析・配信までの必要変数まとめ ユーザー識別ID 1111@gmail.com 2222@gmail.com 3333@gmail.com 4444@gmail.com PV数 CV数 会員属性 購入額 value1 0.8 0.4 0.5 0.3 value2 0.8 0.4 0.5 0.3 行動ログ収集 オンオフデータの統合蓄積 スコアリング Googleアナリティクス Big Query (GoogleCloud) ありたきデータ基盤ツールフォーメーション
65. 可視化（BI） マーケティング施策 メディア BigQuery 購買データ WEB 顧客データ App ポイント データ Other Tools Google アナリティクス4 Looker Looker Studio Google媒体の検証可能 AdsDataHub Googleアナリティクス・Google広告・Google Cloud で 1st party データを最大限に活用 収集 統合・分析 施策 収集したデータは全件 BigQueryへ エクスポート可能 6 蓄積したデータを元に機 械学習やスコアリングを実 施、結果を保存 AB/CX MA 各ファーストパーティ データ マッチキーは Big Query経由 ありたきツールフォーメーション｜なぜGA4？
66. 可視化（BI） マーケティング施策 他社 メディア BigQuery 購買データ WEB 顧客データ App ポイント データ Other MA Tool Google アナリティクス4 蓄積したデータを元に機 械学習やスコアリングを実 施、結果を保存 Looker Looker Studio Google媒体の検証可能 AdsDataHub 収集 統合・分析 施策 6 Google アナリティクス4 ✓ 前バージョンのGA(UA)はBigQueryへの生ログ 出力が有償版のみだったがGA4がリリースされ無 償版でも利用可能に ✓ 従来別々に計測されていたが、一つのアカウント でWebとアプリを横断して一人のユーザーの行 動履歴が計測できる ✓ ITPを考慮したトラッキングでファーストパーティ Cookieを利用してサーバーサイド計測も可能で セキュリティに配慮 収集したデータは全件 BigQueryへ エクスポート可能 各ファーストパーティデータ マッチキーは Big Query経由 ありたきツールフォーメーション｜なぜGA4？
67. 可視化（BI） マーケティング施策 他社 メディア BigQuery 購買データ WEB 顧客データ App ポイント データ Other MA Tool Google アナリティクス4 Looker Looker Studio Google媒体の検証可能 AdsDataHub 収集 統合・分析 施策 収集したデータは全件 BigQueryへ エクスポート可能 6 ありたきツールフォーメーション｜なぜBig Query? なぜGoogleCloud？ Google Cloud Big Query ✓ Googleアナリティクスからのエクスポート先は BigQueryのみ ✓ GA4のUIではデータの保持期間が14か月だがエ クスポートすればGoogleCloud利用中は無制 限に蓄積可能 ✓ GoogleCloudはセキュリティ制限が強固に設定 できるため、クライアントのファーストパーティデータと の統合処理をクラウド内で安全に行える開発環 境 ✓ 他のGoogle製品群とのコネクタ豊富。データ基 盤構築後施策まで拡張性が高い 蓄積したデータを元に機 械学習やスコアリングを実 施、結果を保存 各ファーストパーティデータ
68. BigQuery 可視化（BI） マーケティング施策 他社 メディア 購買データ WEB 顧客データ App ポイント データ Other MA Tool Google アナリティクス4 Looker Looker Studio Google媒体の検証可能 AdsDataHub 収集 統合・分析 施策 収集したデータは全件 BigQueryへ エクスポート可能 68 ありたきツールフォーメーション｜なぜPIIがとれるの？ ハッシュ化メアド(PII）に よるマッチキーでの施策 蓄積したデータを元に機 械学習やスコアリングを実 施、結果を保存 各ファーストパーティデータ ✓ 個人情報または個人関連情報に位置付けられるメール アドレスを強固なセキュリティ環境下で変換させる処理が 可能 ✓ 現在のところAdsDataHubの入力元として唯一 BigQueryをのみが許可されている
69. ユーザーに紐づくデータ分析が求められる一方でデータを預かすうえで必ず考慮しておいた方がいいポイント 6 9 ありたきツールフォーメーション｜なぜPIIがとれるの？ 個人を特定しないデータ ✓ 分析データを安全に使ってもらう為のケア：ハッシュ化(SHA2など)はマ ストで前処理を ✓ 分析データを安全だと信じてもらうための知識：同意取得、プライバ シーポリシー改定で「ユーザーと許諾」を取ること ユーザーとのお約束＝許諾
70. Ads +Cloud + Data Clean Rooms + Gen AI + ∞ Behavior history data WEB/APP POS/EC CRM data User data 2nd Party Data 3rd Party Data Other Platformers Data CRM Google Cloud Owned WEB/APP Published WEB/APP Client Data Collecting Data Integrating Marketing Actions 盛ってみました そんなこんなで考えた「ぼくのかんがえたさいきょうのツールフォーメーション」
71. ◼ ありたきデータ基盤ツールフォーメーション ◼ ユースケース 71 2. 目的から考える アーキテクチャと事例
72. Copyright(C)2020 DENTSU DIGITAL. All Rights Reserved 本項は当日投影のみ 72
73. 73 3. まとめ
74. 74 まとめ ビジネス データ 生成AI クラウド 一人でできるはずがない！！
75. 75 まとめ ビジネス AI Agent AI Agent AI Agent 一人ででき・・・るかもしれない？ データの技術はすべて生成AIに代わってしまう世界が近づいてきた
76. 76 まとめ ビジネス AI Agent AI Agent AI Agent データ人材に残された仕事は手を動かして解析や分析をすることではなく データを「ビジネス」に活かす力が求められている
77. この先もずっともっと楽しくなる ビジネスの中心の「データ」と共創の未来を生きる To the vertex with Google! + = Nascent Emerging Connected Multi Moment 広告含むマーケティングコミュニケーションぜんぶ盛り
78. Multi Momentを完成できるのは データ屋のぼくらだ！ 「ビジネス」の視点を武器に データ環境全て指揮できる未来へ 7 8
79. Thank you. Proprietary + Confidential
80. 是非コミュニティ活動にも 遊びに来てください 8 0
81. ML女子部 次回開催 ＊Google Developer Expert(旧Champion Innovator)複数在籍 ・女子じゃなくてもウェルカムです！ ・お申込みは人工知能学会公式へ 8 1 人工知能学会登壇決定！2025年度 人工知能学会全国大会 (第39回) 人工知能領域におけるジェンダーギャップを考える 5/30 14:00～15:40＠大阪グランキューブ ※会員制/事前申込制 2025年度人工知能学会全国大会で「人工知能領域におけるジェンダーギャップを考える」をテーマに パネルディス カッションとワークショップを開催します。人口知能分野で男性比率が低く、女性のロールモデルがない状況です。こ の問題を改善するためにどうすれば良いかディスカッションし、キャリアを目指す方に向けたメッセージを配信します。 ＊様々な意見をいただきたいので男性の参加も歓迎です！どなたでもご参加ください。 https://www.ai-gakkai.or.jp/jsai2025/attendance/