データ基盤PJでのデータマネジメントへの取り組み

#データ利活用分科会 #35 発表資料
「データマネジメント（AI のオントロジー的な要素も含む）」

Transcript

1. データ基盤PJでのデータマネジメントへの取り組み 〜データマネジメントをAI Readyへ 〜 2026.8.24 1
2. プロフィール 小野木 寛弥 Onoki Hiroya 所属：電通デジタル マｰケティングコミュニケーション領域 パフォｰマンスマネジメント部門 ソリュｰション開発ユニット 開発第3グルｰプ 写真 グループマネージャー 2018年 9月 電通デジタル入社 広告データの収集基盤 開発 広告データを用いたソリューション開発 現在データエンジニア（「広告」エンジニア） 広告系のシステムのエンジニアを20年ほどやってます 最近は、 Gemini CLI（Code Assist） を用いた (Vibe) Coding と 構築したサービスのオペレーション用 AI Agent のPoC（Loop Engineeringっぽいこ と）をメインでやってます
3. Agenda プロジェクト発足と背景：部分最適から全体最適へ 広告データを支える設計とデータマネジメント 価値の証明へ(これまでの取り組み) 新たな課題とその取り組み まとめ 3
4. プロジェクト発足と背景 広告配信データを用いたソリューション開発のための 高品質かつ汎用性の高いデータウェアハウスの構築と運用 モノリス 分散・疎結合 フローとデータ利用最適化 データ取得、データ収集、データマート提供 データ収集・DWH提供 データのコンテキスト提供 （2026） モノリシック・レガシー 時代 PJ（2023 - 2025） 図や写真 図や写真 図や写真 2018年以前から2026年にかけて色々PJ含めてUpdate！ 4
5. 広告データを支える設計とデータマネジメント 過去 プロジェクト発足当時の動きと取り組み データガバナンス データ品質管理、 ・DMBOKの読み込み ・データガバナンス委員会？ 図や写真 データオーナー／データスチュワードの配置？ ・データ管理ポリシー・ガイドラインの策定？.... メタデータ管理 メタデータについては、何にどのような情報をどう提供する を資料化・・。が、シンプルな原則のみを維持 かの検討.... 設計と実装（データアーキテク チャー・基盤） ・データマートがすでにあったこともあり、こちらはそこま 図や写真 で大変ではなかったものの... 図や写真 初動でなかなか実装まで進まず。 5
6. 広告データを支える設計とデータマネジメント （今まで 現在の動き（一部、以前データクオリティに関して発表させて頂きました！） データガバナンス シンプルに！ データ品質管理、 管理対象データはどのようなデータか。 メタデータ管理 誰がアクセスできるデータウェアハウスなのか、 コードでの情報管理とリリース管理 コード更新のタイミングで情報もUpdate！ ユースケース を申請ベースでIaC管理とGoogle Groupで管理 細かい権限管理は別のサービスへ委譲 設計と実装（データアーキテク チャー・基盤） まずは開発！後からブラッシュアップ！ 図や写真 ・スタースキーマ採用で正規化したデータを提供！ ・設計書、ワークフローはMiro(ホワイトボードツール)管理 6
7. 価値の証明へ(これまでの取り組み) データマネジメントの成果、と、AI活用への展開 インフラコスト50％削減！ リソース最適化 効率化 開発・運用におけるドキュメント整備 初期導入WFの継続改善 開発・運用の効率化 ・インフラコストの削減 ・OneNoteでのドキュメント整備、 ・BigQuery Enterprise導入 徹底したドキュメント化 図や写真 ・コード化(github actions), デプロイ自動化 ・データへの無駄なクエリと不要テーブル削除 ・ドキュメント＋AIを利用した作業効率Up ・スプリント内ポイント推移の安定化 AI x Data 社内データ基盤 Data Agent開発 利用増 社内外のソリューションとの連携と活用 DWH x AI Agent ROIの計測と改善 ・データ利活用促進とアイデア創出 ・コストセンターにならないための取り組み ・広告媒体の仕様や情報と連携 図や写真 ・利用者の導入コスト削減と投資コスト算出 ・2025年度内で月間での収支黒字化達成 詳細 ・BigQueryToolset の利用 図や写真 ・各種効率化により、ユーザーへの要望対応増 ・サブAgent連携 ・Slackをクライアントに。 7
8. 新たな課題とその取り組みへ 今起きている状況と課題の色々の一例 利用者の期待値 AI x Data 集約の再設計 / 再集約 高品質や汎用性の捉え方・認識の違いと これまでのドキュメンテーション活用と 開発・運用効率、利活用者へのアウトカムへ 期待値への取り組みへ AI x Dataのための効率化と開発・運用の自動化 図や写真 図や写真 図や写真 利用者が望んでいるのはデータの汎用性ではなく、早 AIを有効活用し、メタデータの開発・運用自体を自動 アーキテクチャと開発を含めたノウハウをグループへ 期対応とデータに関する情報量。 化 共有し、開発・運用を再度集約 ソリューションのための課題解決へ Data Agentの発展 利活用への参加とセマンティックレイヤーの構築へ 8
9. 流れ AI x 広告Data (メタデータ レイヤー) AI活用層 ｜ 解釈して使う Data Agent／サブAgent連携／Slackをクライアントに。意味づけされたデータを解釈し、回答・提案 へ。各マートへも展開し、ソリューションの意味も理解 誰が意味を書くか ・AIがメタデータを下書きする ・人がレビューして確定する ・コード更新と同時に情報も更新 意味づけ層 ｜ AIオントロジー 用語・指標の定義、テーブル間の関係、広告媒体の仕様との紐づけ。DWHのセマンティックレイヤー として構築 進め方 データ基盤層 ｜ SSOT ・既存DWHと広告媒体の公式ドキュメントから語彙を付 与 ・Agentからの参照・検証 取得／加工／利活用を分離した共通DWH。スタースキーマ、IaCとGoogle Groupによるシンプルな権 限管理 9
10. 開発と運用フロー（仮）by Gemini notebook 10
11. まとめ 発表のまとめ ▪ データマネジメント ・ガバナンスは広げず、あえて広告・配信データの特性にクローズ。シンプルな原則のみを維持 ・「取得／加工／利活用」を物理的に分割し、共通DWH層をSSOT（信頼できる唯一の情報源）に ▪ とAIオントロジー ・利用者が求めるのは汎用性より、データの豊富さ・データの意味・文脈を伝える情報量。 その情報量を持ってAIでの利活用を促進させていく必要性、またそれができる土台作り ・さらに開発・運用自体をAI活用で効率化し、Data Agentが意味づけされたデータを解釈・活用ができる状態へ！ データマネジメントへのこれまでとこれからの取り組みがAIオントロジーにつながって、循環させる 11
12. Thank You! 12