Snowflake BUILD Meetup: OSAKA 2025

Snowflake BUILD Meetup: OSAKA 2025　LT登壇資料
https://usergroups.snowflake.com/events/details/snowflake-japan-presents-build-meetup-osaka-2025/

Transcript

1. 株式会社アシスト 山本 且秋 Snowflake でData Mesh を実現するには
2. アジェンダ
3. 3 © K.K. Ashisuto アジェンダ • 自己紹介 • Data Meshとは • Open Catalogで使えるデータカタログ機能 • Open Catalogで実現するData Mesh • Data Meshを実現する上での課題 • Open Catalogの今後(2026年個人的予測)
4. 自己紹介
5. 5 © K.K. Ashisuto 自己紹介 • 名前: 山本且秋 • 所属: 株式会社アシスト(西日本支社) ◦ https://www.ashisuto.co.jp/product/category/datacloud/snowflake/ • 現在: Snowflakeエンジニア ◦ Snowflake導入支援・内製化支援 • 経歴: Pythonist(Snowflake: 2024/10~) ◦ Web開発エンジニア(DB層・AP層) ◦ データエンジニア(データ分析基盤構築) • 情報発信: ◦ : https://zenn.dev/kayamamoto ◦ : https://x.com/kayamamoto_
6. 6 © K.K. Ashisuto 今日のハンズオンにあった話
7. Data Meshとは
8. 8 © K.K. Ashisuto Data Meshとは ドメイン指向で、独立した部門横断型チームによって所有され、各チームにはデー タエンジニアとデータプロダクトオーナーが配置され、共通のデータインフラスト ラクチャをプラットフォームとしてデータ資産のホスティング、準備、提供に活用 されている分散型データ基盤 <引用文献> Data Mesh Principles and Logical Architecture : https://martinfowler.com/articles/data-mesh-principles.html How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh : https://martinfowler.com/articles/data-monolith-to-mesh.html 営業部アカウント 製造部アカウント 人事部アカウント データエンジニア データプロダクトオーナー データエンジニア データプロダクトオーナー データエンジニア データプロダクトオーナー
9. 9 © K.K. Ashisuto Data Meshの４原則 1. ドメイン指向の分散型データオーナー制アーキテクチャ ◦ 中央集権型データ基盤から分散型データ基盤へ 2. プロダクトとしてのデータ ◦ データカタログ機能でデータを商品として取り扱う 3. プラットフォームとしてのセルフサービスデータインフラストラクチャー ◦ SnowflakeといったSaaSを利用したデータ基盤 4. 連邦型計算ガバナンス ◦ 中央政府ガバナンスと地方分権
10. 10 © K.K. Ashisuto なぜData Meshなのか • 中央集権型データ基盤の”ボトルネック”を解消したい ◦ すべてのデータ要求がDX部門のデータエンジニアに集中する ◦ ドメイン知識が薄いデータエンジニアが、各業務の文脈を理解しきれない ◦ 要件調整・実装待ちが増え、データ活用をスピーディーに行えない 営業部 製造部 人事部 DX推進部 (データエンジニア) 営業部データ 製造部データ 人事部データ 大変だぁ.....
11. 11 © K.K. Ashisuto Data Meshを構築した上でデータ共有は可能 製造部アカウント データエンジニア データプロダクトオーナー 営業部アカウント データエンジニア データプロダクトオーナー 人事部アカウント データエンジニア データプロダクトオーナー Snowflakeのデータ共有 • Listing (Marketplace) • Direct share • Data Exchange • Data Clean Room
12. 12 © K.K. Ashisuto Horizon Catalogで対応しきれない領域 製造部アカウント データエンジニア データプロダクトオーナー 営業部アカウント データエンジニア データプロダクトオーナー 人事部アカウント データエンジニア データプロダクトオーナー Data Meshに 組み込むべき 外部カタログ がいる 全ドメインを把握する 中央政府があった方が 確認しやすい 〇〇部アカウント データエンジニア データプロダクトオーナー 〇〇部アカウント データエンジニア データプロダクトオーナー 〇〇部アカウント データエンジニア データプロダクトオーナー 中央政府アカウントを 作成する手もありますが
13. Open Catalogで 使えるデータカタログ機能
14. 14 © K.K. Ashisuto Snowflake Open Catalog は、Apache Iceberg™ テーブル用のカタログ実装 引用: https://docs.snowflake.com/en/user-guide/opencatalog/overview Snowflake Open Catalogとは
15. 15 © K.K. Ashisuto 引用: https://docs.snowflake.com/en/user-guide/opencatalog/overview Open Catalogのカタログ構成 Database Schema Account Horizon Catalogより も柔軟にカタログ管理 できるのでは？
16. 16 © K.K. Ashisuto Open Catalogの実際の画面 各ドメイン部署から データが登録される 各ドメイン部署に どういったDatabase どういったSchema どういったTable どういったColumn が存在しているか 確認できる
17. 17 © K.K. Ashisuto Internal Catalog (内部カタログ) Open Catalogが管理しているカタログ ⇒カタログ構築をSnowflake以外のエンジンでしたい場合 Snowflake Open Catalog Internalで構築する状況 ・複数のクエリエンジンから読み書きが必要 ・Open Catalogで統合的な管理を行いたい ・新規プロジェクトで柔軟なアクセス制御が必要 ・Snowflakeのクエリエンジンを活用したい
18. 18 © K.K. Ashisuto External Catalog (外部カタログ) 外部カタログ機能が管理しているカタログ ⇒Snowflakeで構築したカタログを外部で利用したい場合 Snowflake Open Catalog 読み取り専用 Externalで構築する状況 ・既存のSnowflake環境との統合が重要 ・主にデータ参照・分析用途での使用 ※現在はSnowflake Iceberg Tableのみ対応 (Document上は他カタログの記載あり) 期待部分
19. Open Catalogで 実現するData Mesh
20. 20 © K.K. Ashisuto アカウント分離(1)によってドメインごとにデータ基盤を構築し、 データカタログ機能(2)によってデータをプロダクト化して、 データ共有・利用をSaaS(3)プラットフォームで行えるようにした上で、 連邦的なデータアクセス制御(4)を効かせながら ドメインごとにデータ活用を行える 全社的な分散型データ基盤 Snowflake Open Catalog Data Meshの4原則 の実現 Open Catalogで実現するData Mesh S3 Tables
21. Data Meshを 実現する上での課題
22. © K.K. Ashisuto Data Meshを実現する上での課題 • データエンジニアの人材不足(社内人材育成が必要) ◦ データマネジメント(Data Mesh)に関する知識・技術 ◦ データエンジニアリング(Snowflake)に関する知識・技術 • データプロダクトオーナーのリスキリング ◦ ドメイン知識を持っている現場人材がデータ活用スキルを身に着けてデー タプロダクトオーナーになる必要がある • ドメイン境界の切り分け方 ◦ 境界が曖昧なままだとデータのサイロ化や重複が発生してしまう • Open Catalog (Apache Polaris)が本番環境に使うにはまだ心もとない....？ ◦ 2024年10月18日にGeneral Availability（GA）となったばかり
23. Open Catalogの今後 (2026年個人的予測)
24. © K.K. Ashisuto Open Catalogの今後(2026年の個人的予測) 2026年は..... Horizon Catalog / Open Catalog https://www.snowflake.com/ja/blog/snowflake-acquire-select-star/
25. © K.K. Ashisuto 本LTのまとめ Open Catalogで実現する Data Meshについて考えてみましょう！ Snowflakeの進化する Data Catalog機能に備えましょう！
26. ご清聴 ありがとうございました