データエンジニアリングにもUnit Testみたいのないの？ / Bringing Unit Test-like Confidence to Data Modeling with AI

2025年11月4日に開催された「Data Engineering Summit 前夜祭」 でのライトニングトーク登壇資料です。
https://data-engineering-summit.findy-tools.io/2025

Transcript

1. データモデリングにも Unit Test みたいのないの？🤔 2025.11.04 Data Engineering Summit 前夜祭 本江 雄⼈
2. データモデリングにも Unit Test※ みたいのないの？🤔 ※ 即時FBにより設計を改善できるツール
3. ⾃⼰紹介 名前: 本江 雄⼈（ほんごう ゆうと） 現職: データチーム ⽴ち上げ〜現在に⾄る - データ基盤の運⽤ - 社内データの収集と活⽤ 経歴: - ソフトウェアエンジニア, Git導⼊, Unit Test導⼊ 等 - スクラムマスター, PjL, 開発統括, フロー効率改善 等 - （現職） データチーム⽴ち上げ、データ基盤運⽤ 最近勉強したこと: （データとAIをコツコツ勉強中） - 個⼈情報保護⼠（2025~） - データサイエンティスト検定（2024~） - G検定（2024~） © kaonavi, inc. 1
4. ⾃⼰紹介 弊社での取組の資料: - 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利⽤実績データをアウトカムにつなげる旅」 - 2024.12.12 Qiita 「AI活⽤による ⼈的資本データ収集の効率化 に挑戦」 - 2025.05.01 Qiita 「データ活⽤の裾野を広げる：mcp-snowflake-serverの  導⼊と データ分析の変化への期待」 - 2025.10.30 kaonavi Tech Talk #21 「データとAIで明らかになる、私達の課題  ~Snowflake MCP, Salesforce MCP に触れて~」 © kaonavi, inc. 2
5. ⾃⼰紹介 Data Engineering Summit - 2025.11.04 Data Engineering Summit 前夜祭 「データモデリング にも Unit Test みたいのないの？🤔」 - 2025.11.06 Data Engineering Summit 15:55-16:25 Room C 「AIの前にやるべきこと  データ組織ゼロから投資を得るまでの軌跡と未来図」 © kaonavi, inc. 2
6. 背景 2023年から2025年に向けた取り組みの変遷 2023年 ⼊社 Snowflake PoC開始 2024年 収集データ拡⼤ 活⽤提案 2025年 活⽤推進 データ基盤の再構築 © kaonavi, inc. 1 kaonaviの利⽤実績 Salesforce営業情報 GitLab,RedMine 開発状況可視化 Marketo,GA4 マーケティング情報 データエンジニアしてる感じ 投資獲得 PoC死回避
7. 背景 2023年から2025年に向けた取り組みの変遷（詳しくはData Engineering Summit 本編で） © kaonavi, inc. 1
8. 背景 2023年から2025年に向けた取り組みの変遷（詳しくはData Engineering Summit 本編で） © kaonavi, inc. 1
9. 背景 データモデリング歴 約半年の私 「完全に理解した」 フェーズ※ （※参考：ダニング‧クルーガー効果） © kaonavi, inc. 1
10. 熱狂してること データモデリング © kaonavi, inc. 1
11. データモデリングの初体験時の不安 SOURCE層 → WAREHOUSE層 (Dim + Fact) ... これで合ってる？🤔 ❌ Dim/Factの整合性は取れてる？ ❌ NULL/空⽂字の考慮漏れない？ ❌ ビジネスロジックの解釈は正しい？ ❌ データの⽋損に気づけてる？ ❌ 他の⼈のモデルをレビューできる？ © kaonavi, inc. 5
12. 元バックエンドエンジニアの叫び チームでディメンショナルモデリングを実装し始めた、その時... データモデリングにも ⾃動のUnit Testみたいのないの？🤔 UTみたいに、即座にフィードバックくれるものが欲しい...！ (...何か、ものすごく不安...) © kaonavi, inc. 2
13. UTがくれていた「絶対的な安⼼感」 ✅ 即座のフィードバック 変更の影響をすぐ確認 ✅ リファクタの安⼼感 壊してないか常に検証 ✅ 設計の改善 テストが書きにくい = 設計が悪い © kaonavi, inc. 4 RED GREEN REFACTA RING だいじょぶそ？ 結果 ✅❌ Unit Test 実装
14. 結論：「AI AgentとMCPでUTと同じような相棒に！」 AI AgentとMCPで、ある程度の設計改善サイクルをまわせるように 🔧 環境 : Airflow × ❄ Snowflake 🤖 AI : Claude Code 🔌 連携 : Snowflake MCP（分析⽤で導⼊済 → 開発にも転⽤） 💡 コンセプト : 「実装 → 検証 → 改善」のサイクルをAIで回す © kaonavi, inc. 6
15. 開発サイクル UTと同じ感覚で「くるくる回せる」開発体験！ Claude Code ❄ Snowflake（DAG実⾏結果の反映 / 確認） DAG実装 © kaonavi, inc. 7 だいじょぶそ？ 結果 ✅❌ Airflow Snowflake MCP
16. 実例1. モデリングの基本チェック AIがUnit Testのアサーションチェックのようなものをしてくれる ケース: 参照整合性エラー（⽋損ディメンション参照） 🤖「Factテーブルの◯◯件でdim_customerのkeyが存在しません。原因は空⽂字が1,234件、NULLが567件 です。Dimへの未登録顧客レコード追加を推奨します」 ケース: データ⽋損の指摘 🤖「GA4のRawデータを確認しました。この定義だと意図したセッションデータの約23%が⽋損します。 session_startイベントが含まれていません」 © kaonavi, inc. 8
17. 実例2. コードレビュー‧Linter AIがLinterとしてチェックのようなものをしてくれる ケース: コーディング規約のチェック 🤖「CLAUDE.md（ローカルルール）に基づきチェックしました。⽇付カラムの接尾辞が「_date」で はなく「_dt」になっています」 © kaonavi, inc. 8
18. 実例3. 元データの探索‧分析 Raw/Source層をしっかり⾒て、warehouse層のロジックの不備を指摘してくれる © kaonavi, inc. 9
19. 実例3. 元データの探索‧分析 Raw/Source層をしっかり⾒て、warehouse層のロジックの不備を指摘してくれる © kaonavi, inc. 9 わからないドメインのレビューをしていて、AIと共に違和感の正体にたどり着いた私
20. まとめ AI AgentとMCPでUTと同じような相棒に！ Claude Code ❄ Snowflake（DAG実⾏結果の反映 / 確認） DAG実装 © kaonavi, inc. 7 だいじょぶそ？ 結果 ✅❌ Airflow Snowflake MCP ディメンショナルモデリング 基本的な違反などの指摘 コードレビュー‧Lint 元データの確認と それに伴う下流層の ロジック不備の指摘