Snowflake World Tour Tokyo 2025 CCCMKホールディングスセッション

Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 2025.9.11
CCCMKホールディングスにおけるデータ基盤統合とデータマネジメントとAIの取組み Vポイントデータ基盤の進化と非構造化データを活用したAI-Agentによる業務改革

Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved
2 自己紹介 CCCMKホールディングステクノロジー戦略本部本部長松井太郎 CCCMKホールディングステクノロジー戦略本部エンジニアリング部分析基盤グループリーダー三橋正浩 CCCMKホールディングステクノロジー戦略本部チーフAIエンジニア三浦諒一

3 担当領域・データ基盤のSnowfl ake統合プロジェクト・AI/データ/ポイント/会員/Web開発のエンジニア責任者・Snowfl akeのData SuperHeroes 2025 世界105人のSnowfl akeコミュニティアンバサダー自己紹介 CCCMKホールディングステクノロジー戦略本部本部長松井太郎

4 Vポイントについて

5 Vポイントについて：CCCMKホールディングスの保有するデータ Data Vol. 1 ライフスタイルアンケートの回答情報：年収・既未婚・子どもありなし等志向性（ライフスタイル推計値）衣食住遊働などを中心に多数の項目で実購買履歴からスコアリング会員基本情報：性別、年齢、生年月日、居住地等アクションスポットデータ購買履歴と住所情報を掛け合わせた、居住地ではない「活動地」の特定・行動分析生活属性基本属性 1秒単位のTV視聴データ：地デジ、BSのLIVE・録画視聴等。視聴者購買分析も可能マンションデータと連携：賃料平米単価、売買価格、築年数等マンション Yahoo! JAPANと連携：インターネット上の行動履歴からの推計データ等電話帳電話帳データと連携：個人事業主（美容院、歯医者…等）などの特定が可能 TV視聴 WEB行動 ※2025年6月時点

6 Vポイントについて：データを活用した顧客可視化と一気通貫のマーケティング支援 Solution

7 本日お話すること 1. Vポイントデータ基盤について 2. Snowfl akeを中心としたデータマネジメント 3. AIへの取組み

9 基幹用 Exadata 負荷問題で、各DB個別構築し、多重コスト化配信用 Exadata 分析用2 Synapse 分析用1 Exadata 基幹用 Exadata 分析ｻｰﾋﾞｽ用 Vertica ワークロード増によるDBがパンクし、用途別にDBを分散アナリストの増加により、クエリ負荷が激増一部クラウドリフトもワークロード増による高負荷容量問題で、配信用DBを分離し、サイロ化オンプレ時代事業成長により、データ活用基盤がパンクデータ基盤の課題（2020年頃）統計分析ツール統計分析ツール

10 基幹用 Exadata 配信用 Exadata 分析用2 Synapse 分析用1 Exadata 基幹用 Exadata 分析ｻｰﾋﾞｽ用 Vertica 統計分析ツール統計分析ツールデータ基盤の現在（業務量増加の中で段階的統合） Snowfl akeを中心とした統合データ基盤を実現次期基盤移行統合基盤 Snowfl ake 性能2倍以上/コスト半分以下の大幅向上全てのデータ基盤をSnowfl akeへ統合アナリスト/データの数倍増も柔軟対応 BI/AIなど多様なワークロードに対応サイロ化を解消し、統合データ基盤へ ① ② ③ ④ ⑤

11 CCCMK分析基盤全体像 Azure（分析基盤） Analytics＆Services AI/機械学習基盤 GCP On-premise Azure（2Cサービス） BigQuery 社外分析レポートメディア配信（自社構築）・ライフスタイル推計・AI/機械学習・ダッシュボード・KPI管理・アドホック分析・統計分析・データサイエンスポイント基盤ＥＤＩポイント提携企業マイクロサービス群会員基盤 Bronze Siliver (Prepare) Gold (Mart) Gold (Mart) Gold (Mart) Gold (Mart) 仮名加工化 SIliver MLOps Silver (Scoring) 2Cサービス連携 Gold (Mart) DataSharing SFTP Workfl ow Data ingest / Transform Data Catalog Data lineage Consumers クライアント企業 100社～メディア担当 10名～全社員 600名～アナリスト 100名～サイエンティスト 20名～各提携企業

13 担当領域・データ基盤のSnowfl ake統合プロジェクト・データ基盤の開発・データマネジメントの強化自己紹介 CCCMKホールディングステクノロジー戦略本部エンジニアリング部分析基盤グループリーダー三橋正浩

14 データマネジメントの重要性・データドリブンな意思決定を左右する整備されたデータがあれば、ファクトに基づく判断ができ、意思決定の迅速化と早期の軌道修正が可能・属人化・ブラックボックス化の解消「この人しかわからない」「スプレッドシートにしかない」状態による知識のサイロ化を防ぎ、持続可能な組織へ・コスト削減と効率化の実現同じようなデータ加工や集計が、複数の部署で重複して行われている非効率な状態の解消標準化され、再利用可能なデータマートを準備することによる、集計工数の削減とウェアハウスコスト抑制・AI・機械学習での活用モデルの精度は「取り扱うデータの質」が大きく影響する Garbage In Garbage Out（ゴミを入力するとゴミが出力される）信頼できるデータ基盤が必要

15 本日お話すること１．データマート整備２．メタデータの充実３．データ連携の内製化４．データプロダクト化データマネジメントに関する取り組み

17 データマート整備① 背景と課題 DWH テーブルテーブルテーブル俺の最強データマート俺の最強のデータマート作った！え？作り方？ソース見て！毎回手動でつくっているよ・属人化/更新が手動先祖代々秘伝データマートこのデータマート昔から使ってるよ！仕様はわからないけど、これを使えば安心と教えてもらったから。・定義が不明/信頼性に欠ける・仕様がバラバラ/マートが乱立マートA もちろん分析のたびに新しいマートを用意してるよ。だって、その方が正確だから！マートB マートC アナリストA アナリストB アナリストC

18 Snowflake データマート整備② 整備と効果テーブルテーブル・・・・統一仕様データマート統一仕様データマート共通基盤スキーマアドホック分析スキーマ・・・・エンジニア５名で運用データマートデータマートデータマートデータマートｱﾅﾘｽﾄ・ｻｲｴﾝﾃｨｽﾄ 100名が自由作成管理領域の明確化とデータマートの責任分担制共通基盤スキーマ・エンジニアが管轄し、整備したマートをアナリストが参照・ポイント企業ごとのレイアウトを統一したデータモデルに変換・メダリオンアーキテクチャの概念に則ったシルバー層の整備アドホック分析スキーマ・アナリストが分析用途に応じて自由に作成して良い領域・ゴールド層のデータマートの作成とその品質管理を担う・利用ログを元に３ヵ月利用していないテーブルを削除データ品質とクエリ速度の向上より迅速で精度の高い意思決定に貢献

19 データマート整備③ 整理と改善の繰り返し・データマート化への抵抗 →シンプル化による透明性やクエリ速度向上などのメリットを啓蒙 →段階的にクエリの書き換えや統一を行い、組織に定着・性能課題 →仮想的にVIEWで実装していたが、複雑なロジックでは速度が悪化 →チューニングもしくは物理テーブル化（それだけ重い処理を毎回実行していた）

21 メタデータの充実① 課題と必要性メタデータの管理が必要な理由・データは存在しているが“誰でも使える状態”にならない・目的に沿ったデータがどれか分からない・どれが信頼できるデータか分からない・データの意味や使い方が口伝になってしまう・「この項目の意味は？」→毎回誰かに聞く必要がある・担当変更や退職により“ノウハウ”が失われる・AIが理解出来る情報が揃えられない・目的に沿ったテーブルの選択が出来ない・項目の意味の把握や区分値の適切な判断ができない

22 メタデータの充実② 取り組み内容 Snowflake データカタログシステム運用が煩雑で劣化登録済みテーブル論理名コメント移行登録なしテーブル論理名コメント追加登録新規テーブル論理名コメントデータエンジニア開発エンジニア開発時に登録 Snowflake ML Data Agents Models Studio PU 非構造化データ検索 Cortex Search 構造化データ検索 Cortex Analyst Task-Specific SQL Functions LLMs & Embedding Models Fine-Tuned Models Snowflake Cortex AI Cortex Agents PU AI Observability PR データカタログの整備だけでは、AI-Readyな基盤には足りない

23 Snowflake メタデータの充実③ AI-Readyを目指すために統一仕様データマート（Silver） AIファーストなデータとセマンティックモデルの整備 Cortex Analyst セマンティックモデルセマンティックモデル・・・・ Copilot 単テーブルに対しては一定精度のSQLは生成できるようになったが複雑な区分値は、生成精度が安定しない。 AIにやさしいデータマートが必要。複数テーブルの相関がわかり、データの文脈が分かる、セマンティックモデルの構築が必要。多様な分析要件に対応するため、さらに心を込めた整備をがんばります。 BI・レポート用データマート（Gold） AI用データマート（Platinum）

25 連携先データ連携の内製化① 背景と課題社内社内・社外データ連携機能 DWH ベンダー開発内製開発個別処理個別処理個別処理・・・・個別処理 Snowflake統合前の状況・データ連携の九割がベンダー開発・個別実装のため、仕様もバラバラ連携仕様を統一して簡易な開発への落とし込みたい！

26 データ連携機能連携先データ連携の内製化② 内製化の推進社内・社外 Snowflake ・外部委託を削減し、ほとんどのデータ連携を内製化 →キャッシュアウト大幅削減・Data Sharing機能を活用した連携を積極活用 →これが一番簡単・長年使っているETLツールのモダン化を検討 →OpenFlow頑張ってベンダー開発内製開発個別処理共通ETL DataSharing

27 FileOutput /SFTP 要件定義設計開発中継サーバ構築連携試験リリース On Snowflake (Fileless) 要件定義設計開発試験データ連携開発 90% Off（当社比）従来の方式：インタフェース設計・開発・伝送・各種試験・リリース作業 Snowflake ：テーブルのシェアのみ開発期間短縮のみではなく、関わる人も運用業務も大幅に削減（管理者作業のみ） CCCグループ内や業務提携先など多様な企業との連携で活用リリースデータシェアリングによる圧倒的生産性の向上

28 Snowflake Japan Data Drivers Awards グループ内でのデータシェアリング、業務提携先とのデータシェアリング、 Snowflakeを基盤とした分析サービスの取引先への提供などを評価いただきました Data Collaboration賞

29 Snowflake マーケットプレイスに公開 Market Watch トレンド分析データ（トライアル版 ※実データの10%）

30 Snowflake マーケットプレイスに公開 Q：どんな風に活用できるの？ A：高精度なレシート解析による商品単位の購入金額リサーチが可能市場価格の調査や商品のトレンドなど多角的な分析を実現

32 データプロダクト化① 現在の状況 Snowflake サービスA サービスB サービスC アライアンス企業 CCCMK保有データをアライアンス企業へ分析サービスとして提供 Webアプリケーションだと定型的なデータはみれるけど、私達もアドホック分析がしたい。自分たちのDWHがほしいなお客様の個々の分析環境の需要が高くなってきている定型的な分析サービスでは様々なニーズに対応出来ないデータを“外部に提供できる価値あるプロダクト”として再定義が必要

33 データプロダクト化② 今後の取り組みについて Vポイント提携企業や協業企業向けのデータサービスにSnowflakeをさらに活用していきたいお客様に最適な形でサービス化して提供することでデータサービスの価値向上を目指していきますデータクリーンルーム Ad向けセグメント生成サービスパートナー向けデータ提供機能ポータブルウェアハウスサブスクリプション型データサービス Data Clean Room（DCR）を提供し、プライバシーの保護とデータ活用の高度化を両立自社ログ・属性・外部データを掛け合わせ、リスト作成お客様の条件指定で、自動抽出 Snowflake の Data Sharing機能を使って「セキュアで高速な共有」も可能 Snowflake Reader Acount（SRA） + Streamlitで DWHと実行環境までを提供する「DWH軒貸しサービス」 Snowflakeを活かした従量課金型データサービスを NativeAppsで提供（Streamlit+CortexAI） CCCMK 加盟企業 CCCMK 提携先 CCCMK DCR 提携先 CCCMK SRA CCCMK Native Apps

34 本パートのまとめデータマートの整備により、分析精度・速度の向上メタデータとセマンティックモデルにより、AI-Readyな基盤を準備データ連携の効率化により、キャッシュアウト削減データプロダクト化により、お客様価値を向上信頼できるデータ基盤は、地道な活動の積み重ね

36 担当領域・深層学習を用いた画像解析・言語解析システム開発・大規模言語モデルを利用したAI Agent開発・ブログや技術コミュニティで情報を発信しています！自己紹介 CCCMKホールディングステクノロジー戦略本部チーフAIエンジニア三浦諒一

37 AIへの取組みデータ基盤の構築と共にAIへの取組みを並行で進めてきました 01 AI開発基盤の構築 V会員のライフスタイルを分析し、数百項目に渡る予測データを元にライフスタイルに応じた様々なキャンペーンやサービスの提供に活用 03 AIサービスの開発社内Chat-GPTはもちろん、Azure Open AIや Snowflakeなどの各AI開発機能を活用し、業務特化型のAIエージェントを開発し、社内リリース・販促時にセグメント提案を行うエージェント・CSの高度な問合せのサポートエージェント ..etc 02 AI推進室の立ち上げ CCCグループ全体でのAIの活用方針やAI大志を掲げ、テクノロジー、AIエンジニアリング、法務、コンプライアンス、業務部門などの専門家を中心に適切な活用の推進、社内への啓発活動を実施 04 AI-Readyな基盤の促進従来、データ基盤のミッションの一つであった、データカタログやメダリオンアーキテクチャの整備等は、 AI時代においてさらに重要度が上がっています AI向けのGOLD層の整備やより文脈を持つデータカタログや社内の非構造化データの整備も並行して着手

38 データ基盤を直接利用することが少ない、営業やオペレータでも SnowflakeのAIを通じて簡単に利用できるようにする AIによるデータ基盤の開放 Cortex Analyst Cortex Search セマンティックモデル DWH メタデータ AI 質問質問質問回答回答回答営業／オペレータアナリスト

39 マルチエージェント構成階層構造を持つマルチエージェントシステムを構築 Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Document Agent Writer Agent Cortex Analyst

40 CSの高度な問合せのサポートエージェントお客様との過去のやり取りや現在実施中のキャンペーン情報を元にカスタマーサポートのオペレーターのお問い合わせメールの自動作成を支援

41 販促時にセグメント提案を行うエージェント対象の顧客セグメントの分析を支援し、レポート作成の支援を行うアプリケーションを開発

42 マルチエージェント構成 Supervisor Agentがユーザーの質問を解くために最適なExpert Agentを決定 Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Document Agent Writer Agent Cortex Analyst

43 マルチエージェント構成タスクを分割し専門家であるExpert Agentにサブタスクを実行させる Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Document Agent Writer Agent Cortex Analyst

44 マルチエージェント構成 Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Document Agent Writer Agent Cortex Analyst Table AgentはCortex Analystを使用してSQLクエリを生成し、クエリを実行

45 マルチエージェント構成 Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Writer Agent Cortex Analyst Document Agent Document AgentはCortex Searchを使用して質問文に類似した意味を持つ情報を検索するタスクを担当

46 マルチエージェント構成 Table Semantic Model Supervisor Agent Index Cortex Search Expert Agent Table Agent Document Agent Writer Agent Cortex Analyst 最後にWriter Agentが他のAgentによって収集されたデータを用いてユーザーの質問に対する適切な回答を生成

47 【精度向上の取り組み】セマンティックモデルの開発エンジニアとアナリストが協力し、セマンティックモデルの開発に分析視点の知見を取り入れることで生成されるSQLクエリの品質を向上セマンティックモデル ( ymlファイル ) エンジニア / アナリストカラムの説明を明記特に自社固有定義の用語や表現 (UU=ユニークユーザーなど) Point 1 ユーザーやケースによって呼び方が変わる項目に別名を設定 (ユーザー, 会員など) Point 2 合計金額など重要な定義は計算式を明記 (合計金額は税抜き計算に統一するなど) Point 3

48 【効率化への取り組み】Search Serviceへのドキュメント取り込み先日リリースされた日本語もOKなAI_PARSE_DOCUMENTなどの SnowflakeのAI関数を活用し、ドキュメントの読み込みから加工処理まで Snowflakeで完結できるようにしたい。 Computing Cluster - テキスト化 (OCRなど) - チャンク化 Snowflakeとは別の環境でテキスト化やチャンク化を実行 AI_PARSE_DOCUMENT ファイルの読み込みから加工処理までを Snowflake内で完結できるようにしたい！ File File

49 AIに関する様々な社外発信を強化テックブログや技術コミュニティサイト等でノウハウや実践例をシェアしてます！

50 AIの取り組みのまとめデータ基盤の統合・メタデータの整備・適切なアクセス制御により AIが安全に一元的にデータへアクセス出来るようになった Snowfl akeの高度なAI機能によって、AIを通じて、誰もがデータを利活用できる環境が整いつつある構造化データ以外の画像やドキュメントなどもSnowfl akeを通じて、全てのビジネス情報をAIで活用できる世界を目指したい！

51 本日のまとめ分散していたデータ基盤を段階的にSnowfl akeへ統合ユーザー増/データ増が続くなか、性能向上とコストダウンを実現 DBの統合と並行して開発の内製化やデータマネジメントを推進し、利用しやすいデータ基盤が出来上がってきたそれらの取組みを進め、データ×AIサービスにより、 V会員や顧客企業へのさらなる価値提供を目指していきます

52 まとめご清聴ありがとうございました

Snowflake World Tour Tokyo 2025 CCCMKホールディングス セ...

Snowflake World Tour Tokyo 2025 CCCMKホールディングス セッション

More Decks by タロウ

Other Decks in Technology

Featured

Transcript

Snowflake World Tour Tokyo 2025 CCCMKホールディングスセ...

Snowflake World Tour Tokyo 2025 CCCMKホールディングスセッション