Snowflake Internal Marketplaceを活用したSelf-Service型プラットフォームの魅力

Materials used when speaking at Snowflake Build Meetup 2025.

https://usergroups.snowflake.com/events/details/snowflake-japan-presents-build-meetup-tokyo-2025/?utm_cta=website-be-guides-data-wrangling-ebk%3Fwtime&gclid=CjwKCAjwlbu2BhA3EiwA3yXyuxtljrx89ZKefQizJmR3fZZk_MCUQqXqgrP1E_HPie3UUA-m59X0MBoC1K8QAvD_BwE

Transcript

1. Snowflake Internal Marketplaceを活用した Self-Service型プラットフォームの魅力 株式会NTTドコモ 松原 侑哉
2. 松原 侑哉 2 Matsubara Yuya 株式会社NTTドコモ R&Dイノベーション本部 サービスイノベーション部ビッグデータ基盤 兼 ネットワーク本部 ネットワーク部技術企画部門 Principal Data Engineer • 秘匿性の高いデータの取り扱いを中心に、 現在は主にネットワーク事業領域におけるデータやAIの活用を推進 • 幾つかの技術コミュニティ運営にも参画 自己紹介
3. 3 エンジニアの皆さん、お仕事回ってますか？ アナリストの皆さん、データを“早く”利用できていますか？
4. 4 データの活用とデータの増加 データの量・種類の増加 AIはあらゆる種類のソースから大量のリアルタイムデータを活用する. AI自体、例えばAIを搭載したデバイス自体も、環境データだけでなく、 その動作データや推論結果を生成し、新たなデータを生み出す 他にも、既存のデータ（画像、テキスト、数値）を処理するだけでな く、新しい構造化データや合成データといった新たなデータも生み出す AIはデータの「消費者」である と同時に「生産者」である
5. 5 中央運用チームの課題 人間は オートスケールしない データ取り込み、リバースETL etc. Snowflakeは オートスケールする 運用チーム・基盤に押し寄せる タスクの波 データ処理、システム間連携調整、開発 etc.. Q&A、要望対応、マニュアル整備、データ活用 勉強会企画開催 etc.. • 過負荷の中央運用チームによるアクセスのボ トルネック • データの所有権、完全性、信頼性に関する不 確実性 • ユーザ/チーム内でサイロ化されたデータが 閉じ込められている • 信頼できるデータセットを見つけようとする 重複した作業と無駄な時間
6. 6 Snowflake Internal Marketplaceを利用した Self-Service型Platformを始めませんか？
7. 7 Self-Service型Platform 中央運用チームがデータを提供・管理 データオーナがデータを提供・管理
8. 8 Internal Marketplace Snowflakeの「プライベートリスティング」を利用して 組織専用のデータマーケットプレイスを構築 部門の壁を越えたデータ共有を安全かつ即座に実現 データのサイロ化を解消 データをコピー(ETL)することなく、異 なるビジネスユニットやアカウント間でライブデータを直接共 有・参照可能 セルフサービスな発見 ユーザーは「App Store」のようなUIで、 組織内で利用可能なデータセットを検索し、アクセス権をリク エスト可能 ガバナンスとセキュリティ データは移動せず、Snowflakeの強 固なセキュリティ設定（RBAC等）が適用されたまま、利用状況 を監査可能 Internal Marketplace Data Consumer Data Provider
9. 9 Internal Marketplaceのデータ流通 複数のSnowflakeアカウント間の データ流通に活用 １つのSnowflakeアカウント内の データ流通に活用 Internal Marketplace Account Internal Marketplace Account • 単一のOrg配下の複数のSnowflake環境（アカウント）間の ユーザ間でデータ共有を実現 • 単一のアカウント内のユーザ間でデータ共有を実現 「運用者」ではなく「利用者」による データのやり取りをよりリッチに実現
10. 10 Internal Marketplaceを利用したSelf-Service型Platform １つのSnowflakeアカウント内のデータ流通に活用 Internal Marketplace データ検索 Data Catalog 出品
11. 11 Internal Marketplaceを利用したSelf-Service型Platform １つのSnowflakeアカウント内のデータ流通に活用 Internal Marketplace 承認 閲覧 出品 取得申請
12. 運用チームを介さない データオーナ自身が データの公開/非公開を制御・管理 12 データ流通と権限・役割の変化 データ 利用申請 管理 ツール 運用チーム 権限付与 Account 権限付与 Account 利用申請
13. Internal Marketplace 13 まとめ ✓ ユーザ / チーム間でデータを簡単に発見・再利用 ✓ 組織をアドホックな生データ共有への依存から、信頼性が 高く、認証された、使用可能な Data Product を中心とし たアプローチ ✓ 単なるデータダンプ(Load/Unload等)ではなく、視覚的で はないgrant操作だけでもなく、 信頼できるデータのカタログを用いた視覚的な管理 Interna Marketplace Internal Marketplaceを活用した 信頼できるデータ活用の実現へ
14. Thank you! 14