Snowflake Intelligenceにはこうやって立ち向かう！クラシルが考えるAI Readyなデータ基盤と活用のためのDataOps

by harry

Slide 1

Slide 1 text

Snowﬂake Intelligenceにはこうやって立ち向かう！クラシルが考えるAI Readyなデータ基盤と活用のためのDataOps 張替裕矢(harry) データエンジニア | dely株式会社 TS-204

Slide 2

Slide 2 text

2 開発BU クラシル Division Backend Section Section Manager データエンジニア dely株式会社 Snowﬂake Data Superheroes 2022~2025 Yuya Harigae as known as harry

Slide 3

Slide 3 text

Snowﬂake Intelligence とは？

Slide 4

Slide 4 text

4 自然言語でデータと対話するAIプラットフォーム - 「Ask anything about your data」を実現 - SQLを一行も書かずにデータ分析 - SnowﬂakeのUIから直接利用（セキュアなペリメータ内） Snowﬂake Intelligence

Slide 5

Slide 5 text

5 自然言語インターフェース SQLを書かずにデータ分析 - 会話形式でデータと対話 - チャートやトレンド分析を自動生成

Slide 6

Slide 6 text

6 Cortexファミリーの統合 3つのAIコンポーネント - Cortex Analyst - 自然言語→SQL（構造化データ） - Cortex Search - 文書QA（RAG/ハイブリッド検索） - Cortex Agents - オーケストレーション（構造化・非構造の横断）

Slide 7

Slide 7 text

7 エンタープライズセキュリティ既存のガバナンスを継承する安全な実行環境 - 既存のポリシーとアクセス制御を継承（ロールベースアクセス準拠） - エンドツーエンドのオブザーバビリティと監査の説明可能性 - 組み込みのガードレールで有害出力を低減

Slide 8

Slide 8 text

使いこなしたいですよね！？

Slide 9

Slide 9 text

とはいえ皆さんの企業で使いこなせるイメージがつきますか？？

Slide 10

Slide 10 text

自分のオーナーシップでめっちゃ頑張れば動くところまではいけそうな気がする…

Slide 11

Slide 11 text

Snowﬂake Intelligenceの価値を理解して会社で投資できる状態にするぞ…！

Slide 12

Slide 12 text

ありえそうな悪い未来…

Slide 13

Slide 13 text

データエンジニアがAI時代のビジネスに対してメタデータを提供し続けるゲーム…

Slide 14

Slide 14 text

データエンジニアがボトルネックになって、品質の高いデータ管理もメタデータ管理もやりきれなくなる

Slide 15

Slide 15 text

Garbage In, Garbage Out ゴミは鏡に映してもゴミ

Slide 16

Slide 16 text

データ人材のケイパビリティが耐えきれなくなって間違った意思決定をどこかでしてしまう

Slide 17

Slide 17 text

チリツモでビジネス戦略に AIを使ったデータ利活用の価値を届けられなくなる

Slide 18

Slide 18 text

結果、AI Readyどころか勘/経験/度胸の意思決定に退化していく

Slide 19

Slide 19 text

このままでは失敗する未来がみえるぞ…

Slide 20

Slide 20 text

20 組織で向き合わないとAI活用は実現できない少数のデータ人材とAI時代のビジネス変化のギャップ - AIでデータ人材のスキルはスケールアップ可能 - とはいえビジネスのスケールアウト速度には追いつかないドメイン知識の壁 - データエンジニアは意思決定者でないため解像度が一生低い - リードタイムが長くなり、コスト（人件費・調整）も高くなる変化のスピード - AI時代はより依頼→提供のリードタイムはビジネスの変化スピードに追いつかない

Slide 21

Slide 21 text

クラシルの現状

Slide 22

Slide 22 text

22 AI時代の前から0→1を続ける地獄前提としてクラシルはSQLを書いて意思決定をする文化があった問題1：車輪の再発明 - 同じ指標が複数存在 - 同じクエリの量産 - 数値の不一致問題2：スケールしない - 少数精鋭データエンジニア - 労働集約的な対応 - 品質管理の限界

Slide 23

Slide 23 text

23 永遠に解決しないジレンマ品質を高めることに集中すると... - ビジネス課題解決に向き合えない - 新規要求に対応できない - ビジネスが停滞するビジネス課題だけに向き合うと... - 0→1を繰り返す - 同じ問題を何度も解く - データが負債になる

Slide 24

Slide 24 text

解決策その1：データライフサイクル

Slide 25

Slide 25 text

25 データライフサイクルを最速で回すDataOps

Slide 26

Slide 26 text

26 データライフサイクルを全員で回す素早く作る - 0→1を高速実現価値を見極める - 使われるものは育てる自動で整理 - 不要なものは削除データを全員で育てていく発想

Slide 27

Slide 27 text

27 あるべき姿はこれ

Slide 28

Slide 28 text

28 2024年：構想と基盤構築 - Snowﬂake × dbt × Lightdashの選定 - サイロ化の解消(マルチプロダクト化するビジネスに追従) - データライフサイクルの設計・DataOpsの開発 - 組織全体で回せる体制の構想 2025年：実装と運用 - 各チームにData Owner制度の導入 - 15名のデータオーナーが誕生 - 全員でデータライフサイクルを回す体制直近1年データ基盤を再設計していた

Slide 29

Slide 29 text

29 データオーナーが主体となるデータモデル開発データオーナーとは？ - 各チームの意思決定責任者（多くはPdM） - ビジネス理解が最も深い - データの利用目的を理解 - 品質への責任を持つデータオーナーとその配下の開発メンバーがdbtでモデル開発 - SQLの知識を活かしてdbtモデル作成 - メタデータとメトリクス定義まで実施 - ビジネスやファクトへの解像度が一番高い - LightdashでのBI構築

Slide 30

Slide 30 text

30 これでもデータライフサイクルは回らない

Slide 31

Slide 31 text

31 なぜ回らないのか - 基準がなく、「作って終わり」が積み上がる - 削除ルールがなく、不要なものが残り続ける - テストやメタデータが任意で、定義や意味付けが曖昧になる組織の力学を理解したDataOpsの実装と運用が肝

Slide 32

Slide 32 text

解決策その2： Tier定義

Slide 33

Slide 33 text

33 データモデルにTierをつける Tier 用途 dbtメタデータ dbtテスト AI利用 TTL Tier 1 監査・外部公表 👑 👑 ✅ - Tier 2 経営KPI 👑 👑 ✅ - Tier 3 部門意思決定 👑 ✅ ✅ - Tier 4 アドホック可視化 ⚠ ❌ ❌ 90日 Tier 5 書きっぱなしSQL ⚠ ❌ ❌ 30日

Slide 34

Slide 34 text

34 アジリティと品質の両立 Tier 4-5はアジリティ - 素早く試せて自由度が高い - 昨日リリースした機能の速報値から爆速な意思決定をする - TTLで自動削除 Tier 1-3は品質 - メタデータ、テスト完備し中長期的な意思決定の質を高める - ここに向き合えるとSnowﬂake Intelligenceを利用可能に Tier管理も含めたDataOpsの実装で段階的な品質向上アプローチを実現

Slide 35

Slide 35 text

35 役割の再定義 Data Owner - dbtモデル作成、メタデータ管理 - Lightdashでメトリクス定義 - チーム内のデータ活用推進データエンジニア - 基盤の整備・改善 - Tier 2以上の品質保証 - ベストプラクティス共有、モデリング支援

Slide 36

Slide 36 text

36 AIを活用しながらTierをどんどん上げる

Slide 37

Slide 37 text

37 いつの間にかAI Readyな状態が理想

Slide 38

Slide 38 text

AI活用の仕組み

Slide 39

Slide 39 text

39 Tierを上げるためのインセンティブ設計(ムチ) Tier5と4はアジリティを担保 - 我々のこれまでの競争力は最低限担保 - 一方、定常的にみるべき数値やレポートはTier 3以上に上がってほしいアジリティ重視のモデルやチャートの自動削除 - 一定期間が立つとデータオーナーに警告→削除メタデータや品質を保証するモデルはTier 3以上 - 削除されると困る場合はTier3へ - そのタイミングでdbtのテストとメタデータの入力を必須組織の力学を理解したDataOpsの実装と運用が肝

Slide 40

Slide 40 text

40 Tierを上げるためのインセンティブ設計(アメ) Tier 5 → Tier 4 - AIを活用しながらSQLを書いてdbtモデル化 Tier 4 → Tier 3 - AIエージェントが伴走してメタデータとテストを追加 Tier 3達成 - 🎉🎉🎉Snowﬂake Intelligenceが使える🎉🎉🎉 品質向上が自分の業務や組織の競争力を高める

Slide 41

Slide 41 text

41 AI/LLMツールの活用 - Devin - データパイプライン自動生成 - テスト、メタデータ作成支援のAIエージェント - Claude Code - dbtモデル/テスト作成をインタビュー形式で支援 - 開発環境構築含めたサポートデータライフサイクルの高速化

Slide 42

Slide 42 text

42 Snowflake Intelligenceにセマンティクスを連携させる - Tier4からLightdashとdbtでメタデータとセマンティクスを一元管理 - ドメイン知識、意思決定の質にこだわるデータオーナーが育てていく - Tier 3到達前にテストを追加する - テストが100％埋まると裏側でSemantic Viewsに自動変換 - Semantic Autopilotにも今後期待 - Snowflake Cortex Agents/Snowflake Intelligenceに自動同期する - いつの間にかSnowflake Intelligenceでも利用可能になる！！！データライフサイクルの高速化

Slide 43

Slide 43 text

成果

Slide 44

Slide 44 text

44 導入効果定量的成果 - 車輪の再発明がなくなり工数削減 - 数値の不一致が解消定性的成果 - SQLを書けない人も段階的に分析可能へ - Single Source of Truthの実現に前進 - AI Readyへ移行する組織文化の醸成品質とメタデータにみんなで向き合っていつの間にかAI Readyになってた！の状態へ！！！

Slide 45

Slide 45 text

まとめ

Slide 46

Slide 46 text

46 Snowﬂake Intelligenceを最大限活用するには組織の力学を理解したDataOpsの実装と運用が肝我々の場合は - データライフサイクルを意識したDataOpsの実装 - Data Owner制度の導入 - AIを活用したデータエンジニアリングの民主化 - dbtでデータモデルの管理 - Lightdashを入口としたメタデータ/セマンティクスの管理 - Tierによるアジリティと品質向上の両立

Slide 47

Slide 47 text

THANK YOU