dbt開発 with Claude Codeのためのガードレール設計

Slide 1

Slide 1 text

Slide 2

Slide 2 text

10X, Inc. ALL RIGHTS RESERVED 自己紹介 ● 吉田康久 ○ Xやはてなidは@syou6162 / id:syou6162 ● 株式会社10Xでデータエンジニア ○ 2022/09に入社 ○ プロダクト本部データ基盤チームに所属 ○ データマネジメント / データガバナンスの仕事をしてます ● 京都から働いてます ● これまでの職歴としては研究者(NLP & ML) => Webアプリケーションエンジニア, MLエンジニア => データエンジニア, Analytics Engineer ● データ系のコミュニティが主戦場です ○ datatech-jpの運営の一人です、Slackをベースに1800人以上が参加 ○ dbt Community spotlight & Google Developer Expertに選出されました ○ Data Engineering Studyのアドバイザに就任しました ● Tokyo dbt Meetup #8で登壇、Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善について話しました 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

10X, Inc. ALL RIGHTS RESERVED dbt、大好きです!!! ● dbtや関連のエコシステムについて、あれこれ登壇してます ○ Dataplexとdbt-osmosisを活用した「がんばらない」データカタログとメタデータ管理の運用 ○ Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善 ○ 全日本dbt-osmosisを愛でる会 ○ 全日本datacontract-cliを使い倒す会 ● そんなアレコレを好きでやっていたら、dbtのCommunity spotlightに選ばれました 4

Slide 5

Slide 5 text

10X, Inc. ALL RIGHTS RESERVED Claude Code、大好きです!!! ● Claude Codeで自分用のツールを色々作りました ○ ターミナルで動くRSS Reader(termfeed) / プライベート用途のPodcast管理ツール(podself) ● Claude Code関連のエコシステムで便利なツール作った ○ Hookをyamlで読みやすく管理するcchook / Status lineをyamlで読みやすく管理するccstatusline ● GitHubでたくさん草も生えた 5 昨年今年(09/07時点) Writing Code Was Never The Bottleneckではあるので、「草が多いから何だ?」という話ではある。しかし、Claude Codeのおかげで、ここ10年くらいで一番楽しくコード書いています!

Slide 6

Slide 6 text

10X, Inc. ALL RIGHTS RESERVED 題材はdbtとClaude Codeですが、もっと広く通じる思想も話します ● 本発表はもちろん以下の2つを中心トピックとして扱います ○ dbt: データのETLツール ○ Claude Code: 汎用的なCoding Agent ● とはいえ... ○ dbtはETLツールのうちの一つ ○ Claude Codeは汎用的なCoding Agentのうちの一つ ● 今日話すpracticeはDataformやCodex CLIやGemini CLIなどでも通じます ○ 具体的な方法論だけでなく、裏側にある思想をお届けできればなと思っています 6 Take Home Message: ガードレールという制約を使いこなし快適なdbt開発 with Claude Code生活を送りましょう!

Slide 7

Slide 7 text

10X, Inc. ALL RIGHTS RESERVED アジェンダ ● 背景: 10XとStailerについて ● データ基盤にまつわる課題とClaude Code ● データ基盤を作るためのガードレール ○ Hard constraints / Soft constraints ○ ガードレールとしてのレイヤリング / データモデリング ○ ガードレールとしてのData Contract ● データ基盤を運用するためのガードレール ○ コードリーディングの補助 ○ アラート対応 ● データ分析をするためのガードレール ○ メタデータ ○ Semantic Layer ○ コンテキストエンジニアリング ● まとめ 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

10X, Inc. ALL RIGHTS RESERVED 事業の特性と本発表のスタンス ● 高い複雑性 ○ 様々なデータソース(ID-POS / 発注 / 納品 / etc)が存在 ○ 小売毎に微妙に異なる入力や仕様が存在 ○ 共通のデータ形式に変換する必要がある ○ ネットスーパー / AI発注 / AIプライシングなど様々な出口が存在する ● 高いデータ品質が求められる ○ GMVなど各種統計量が管理画面で閲覧できる(プロダクトとして提供している) ○ データのミスは誤ったオペレーションなどに直接繋がってしまう ● 本発表のスタンス ○ 事業の特性上、高いデータ品質を求められる ○ それに伴って、本発表のガードレールは比較的固い作りになっている ○ 会社や事業によってはここまでやると、too muchになる場合もありえると思います ○ 自社の必要に応じて、差し引いて考えてください 11 入力データのvalidationや変換時のテストなどが極めて重要 LLM以前からデータ品質に向き合っている (例: データ品質全般 / メタデータ / Data Contract)

Slide 12

Slide 12 text

Slide 13

Slide 13 text

10X, Inc. ALL RIGHTS RESERVED dbt開発にまつわる課題 ● 日々たくさん依頼がくる ○ 例: 先月の施策の結果を分析したいです ○ 例: このテーブルにこういうカラム追加できますか? ○ 例: このカラムってどういう意味ですか? ○ 例: こういうクエリ書いてみたけど、集計結果がおかしい。クエリを見て欲しいです ● たくさんのmodelファイルの保守メンテナンスをしないといけない ○ 減らすのは大変、日々増えていきがち ● 最近の10Xの場合: ○ 新しい小売企業との連携が始まった ○ 新しい種類のデータが増え、データ取り込みやデータモデリングする対象が増えた ○ 出口側のDXアプリも増えてくる 13

Slide 14

Slide 14 text

10X, Inc. ALL RIGHTS RESERVED Claude Codeが得意なこと ● コードベースを広く見てくれる ○ Grepツールやjqなどを駆使しながら、広く理解しようとしてくれる ● 機械的な作業も苦としない ○ スクリプトを書くまでもない定型作業などは大得意 ● 自律的に動いてくれる ○ 多少うまくいかないことがあっても、諦めずに試行錯誤してくれる ● Coding Agentの中では先駆け的な存在であるため、相対的には枯れている ○ 必要があればVSCodeなどのIDE連携もできる ○ hookやstatuslineなどコードを書く以外のことも整備されてる ○ dbtと同様にBest Practiceが世の中で知られている ○ 必要があればGitHub Actions上で動かすこともできる ● 「Claude Codeでdbt開発の全ての課題を解決してやるぜ!!!」でうまくいく...? 14

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

10X, Inc. ALL RIGHTS RESERVED やんちゃなClaude Codeに活躍してもらうにはガードレールが大事! ● 高い自走力の裏返しで、Claude Codeは課題を解決するためにあの手この手で頑張ってしまう ● その結果、例えば以下のようなことで困ることがそれなりにある ○ 一貫性のないクエリやデータ品質の高いクエリを初手で書いてしまい、レビューコストが高くなる ○ 危ないオペレーションを行なってしまう可能性があり、目を離せないため疲れる ● Claude Codeに活躍してもらうためには、ガードレールの設計が重要! ○ 危険なことはそもそもできないようにする ○ 「こう書いて欲しい」という設計やモデリングがあれば、それをClaude Codeが理解しやすい形で表現する ● 今日はこういったガードレールの事例を盛りだくさんで紹介します! 19

Slide 20

Slide 20 text

Slide 21

Slide 21 text

10X, Inc. ALL RIGHTS RESERVED dbt関連のガードレールの事例やプラクティスは世の中にまだあまりない ● ソフトウェアエンジニアリング一般ではそれなりに話題になり、プラクティスが溜まってきつつある ○ 型 / Lint / テスト / 仕様書駆動開発/ etc ● それに加えて、データエンジニアリング / アナリティクスエンジニアリングのプラクティスが我々には必要なはず ○ 特にdbt x Claude Codeの事例...! ○ だが、正直まだまだあまりまとまった事例はない ● 本発表ではそこに切り込んでいきたい 21

Slide 22

Slide 22 text

Slide 23

Slide 23 text

10X, Inc. ALL RIGHTS RESERVED そもそもHard constraints / Soft constraintsとは? ● Hard Constraints: ○ 定義: 形式的に定義が可能で、確定的に判定できる制約 ○ 例: 型(Type)に矛盾がないか / コンパイルが通るか / リントが通るか / テストが通るか ● Soft Constraints: ○ 定義: 自然言語で定義され、文脈依存で確率的な判定を伴う制約 ○ 例: Coding Agentに対するプロンプト ● Hard ConstraintsもSoft ConstraintsもCoding Agentに対して、有用なガードレールになり得る ○ ガードレールによって解空間を狭め、Coding Agentが効率的に探索できる ● オススメ: まずはHard Constraintsでの実装を試みて、困難な場合にSoft Constraintsの実装を試す ○ Hard Constraintsは基本的に早い / 安い / 再現可能 / これまでの人類の叡智に乗っかれる ○ 試してみて難しい場合はSoft Constraintsを最小限の範囲で実装する ● dbt開発 with Claude Codeの文脈でのHard constraints / Soft constraintsを紹介していきます! 23

Slide 24

Slide 24 text

10X, Inc. ALL RIGHTS RESERVED Hook as Hard constraints ● PreToolUse: dbtの管理は素のpythonではなく、uvで管理している ○ dbt runではなくuv run dbt runで実行して欲しい... ■ 余談: uvはめっちゃ早いので、まだの人は是非試してください ○ dbt runを実行しようとしたらPreToolUseのHookで叩き落とす ● PostToolUse: SQLファイルを修正した後は必ずsqlfmtをかけて欲しい ○ 人間、あるいはVSCode Copilot Agentだと、VSCodeの保存時にsqlfmtを適用する設定が可能 ○ Claude Codeはエディタを介さず、EditツールでSQLを書いてしまう ○ pre-commitで確実にsqlfmtを適用させるようにPostToolUseのHookを必ず実行させる ● 公式のHooks reference を読み込みましょう ○ 宣伝: JSONで設定しにくい場合、拙作のcchookがオススメです 24 Hookの活用: xxする前に必ず確認、yyした後に必ず実行させる

Slide 25

Slide 25 text

10X, Inc. ALL RIGHTS RESERVED Claude Codeがdbtコマンドやbq queryを直接実行する場合の危険性 ● Claude Codeがデータマートを構築する試行錯誤の際、何回もクエリを実行することになる ○ 通常のWeb開発であれば、テスト用のDBなどを含め、dockerやDev container内で済むことも多い ■ Anthropicも開発コンテナを提供している ○ しかし、dbtでの開発はdbtコマンドを直接叩くにせよ、bq queryなどを叩くにせよ、DWH環境に接続できる必要がある ● 基本的には実行の度にクエリを目視で確認して、Approveすることが多いはず ● 何も考えずに、auto-approveや--dangerously-skip-permissionsを指定している人はいないですよね...? ○ マジでやめましょう... ○ 何でもできてしまいますし、試行錯誤のときにClaude Codeがやんちゃする可能性は結構あり得ます ○ 例: 「何回やってもテストが通らない。上流のテーブルにバグがある可能性があるので、削除してから作り直します」 ○ 例: 「クエリがタイムアウトしてしまいます。スロットを買い増しして、実行できるようにしましょう」 ● できちゃう可能性があること ○ DDL: DROP / CREATE / ALTER / TRUNCATE ○ DML: INSERT / UPDATE / DELETE / MERGE ○ 権限設定: GRANT / REVOKE ○ CREATE CAPACITY: 実はスロットの購入がクエリで実行できてしまいます ○ その他の高度なオペレーション: EXPORT DATA / EXECUTE IMMEDIATE / CALL / CREATE MODELなどなど 25

Slide 26

Slide 26 text

10X, Inc. ALL RIGHTS RESERVED 権限管理 / Sandbox as Hard constraints ● 権限管理の最小化 ○ 普段はユーザー権限でDWHを利用している人が多いと思います。これだと強すぎる場合が多いです ○ Claude Codeを実行するときは最小権限のサービスアカント経由で実行させる ■ 権限: ジョブの発行権限やデータセット単位の閲覧権限のみ ■ サービスアカウントを借用(impersonate)して実行させる ○ やんちゃなことをやろうとしても、権限不足で実行できないようにする ● Sandbox環境で動かす ○ sandbox-exec やDevelopment containersで動かす ○ ネットワークやファイルシステムのレイヤーで隔離する ○ ホワイトリストで許したことのみしか実行できない ● 以下の区別をしっかり持ちましょう ○ プロンプトの中で「XXXは絶対にしないでください」と書くこと ○ Hard constraintsとして、そもそもClaude Codeが実行できないこと ● より詳細はClaude CodeでBigQueryのクエリを実行する際のガードレールを設計するを参照してください 26

Slide 27

Slide 27 text

10X, Inc. ALL RIGHTS RESERVED 自然言語 as Soft constraints ● データ基盤のためのリーダブルSQL 同僚の@tenajimaさん作 ○ 元々は人間用に書いたもの ● コードでは書きにくいようなルールはドキュメント(CLAUDE.mdなど)として整備する ○ 書くときにも使わせることができるし、コードレビューにも使える on Claude Code GitHub Actions 27

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

10X, Inc. ALL RIGHTS RESERVED 仕様書 as Soft constraints ● Kiroに代表される仕様書駆動開発(Spec-driven Development)が登場し、界隈では注目を集めている ○ 当然、この仕様書もLLM Agentに対して強力なガードレールとして働く ● 特定のIDEに限定されずに仕様書駆動開発をサポートするツールも登場している ○ gotalab/claude-code-spec / github/spec-kit / Pimzino/claude-code-spec-workflow / Pimzino/spec-workflow-mcp ● dbt開発 with Claude Codeでも仕様書駆動開発は有効! ○ 先ほどまでのクエリの書き方 / ユビキタス言語 / 命名規則などは仕様書駆動開発ではSteeringとして機能する ● 「実装が微妙だな...」と思ったときは仕様書のみ残して書いてもらったコードを捨てる、ということがやりやすい ○ 人間相手にはやりにくかった 31

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

10X, Inc. ALL RIGHTS RESERVED あれ、この光景どこかでも見たことあるぞ🤔 ● ジュニアなデータエンジニア / アナリティクスエンジニアへのレビューでもありがちな問題 ○ Claude Codeも素の状態だと、SQLを書くことだけはできるジュニアなSWEと同じ状態 ● 「こういう風に書いてね」「これがこうなっているのはこういう意図でね」というのを教えてあげないといけない ○ README.mdなりCLAUDE.mdなり毎回のプロンプトなり ● 典型的なデータ基盤の3層構造のまま教えてもよいが、もっとモデリングの意図を反映しやすい構造だと教えるのもやりやすい ○ 10Xの場合: Data Vault + ディメンショナルモデリング

Slide 39

Slide 39 text

Slide 40

Slide 40 text

10X, Inc. ALL RIGHTS RESERVED Data Vault + ディメンショナルモデリング = よいガードレール 40 データレイク Staging Raw Vault Business Vault Data Mart Fact / Dim Hub: エンティティの定義 Link: エンティティ同士の接続 Satellite: エンティティの属性の履歴管理詳しくはこちらを参照してください! 自然言語でつらつらと書くよりも、構造化(= レイヤリング + モデリング) した形で制約を与えているのが特徴! Data Vaultを使った開発の良さを同僚の@tenajimaさんが9/24のみんなの考えた最強のデータ基盤アーキテクチャ第5回で紹介します。気になる人は是非参加してください!!!

Slide 41

Slide 41 text

10X, Inc. ALL RIGHTS RESERVED Data Vault + ディメンショナルモデリング = よいガードレール 41 データレイク Staging Raw Vault Business Vault Data Mart Fact / Dim エンティティ / ビジネスイベントの設計は最初で済ませておく。アナリティクスエンジニアが頭を使うべき箇所。ボイラーテンプレートになることも多い。そのため設計ができたら、Claude Code GitHub Actionsに自動でprを作ってもらうコンポーネントを細かく切り出す。 Genericテストはもちろん、ユニットテストも書く(Claude Codeに書いてもらう)。「どういうdbtのユニットテストを書くべきか?」はまたどこかで話したい...

Slide 42

Slide 42 text

10X, Inc. ALL RIGHTS RESERVED Data Vault + ディメンショナルモデリング = よいガードレール 42 データレイク Staging Raw Vault Business Vault Data Mart Fact / Dim 細かく切り出されて、よくテストされたコンポーネントを基本的にはJOINするだけ (そうでない場合はビジネスロジックが染み出しているサイン)。こういう作業はClaude Codeが大得意 Data Vaultもディメンショナルモデリングも20年以上前から現役のプラクティス。Claude Code自体にとって既知のため、よいガードレールとして機能する。社内で独自の俺俺フレームワークを覚えさせるよりも省コストにできた

Slide 43

Slide 43 text

10X, Inc. ALL RIGHTS RESERVED レイヤリング / データモデリングの意図をHard constraintsで守らせる ● レイヤリング / データモデリングはあくまでSoft constraints ○ 「こういう風に設計しておくと書きやすいだろう」というある意味、理想形を述べているだけ ○ Claude Codeがそれに沿って書いてくれるとは限らない ● Claude Codeがやんちゃしないように、以下のようなことを守らせたい ○ 例: martがmartを参照するのは許さない ○ 例: Business Vaultのレイヤーはビジネスロジックのテスト必須 ○ 例: martのレイヤーはJOINミスがないようにnot_nullとuniqueのテスト必須 ○ 例: Business VaultがBusiness Vaultを参照するのは許容するが、最大でもN段までしか許可しない ○ 例: このレイヤーのnot_nullはdata_testではなくconstraintsで定義させる ○ 例: モデリングの対象は品質の高いデータソースのみ許容する ● であれば、Hard constraintsで守らせよう ○ 「どのレイヤーのモデルは何を満たすべき」という制約を組織独自のJSON Schemaやdbt-project-evaluatorを使ったSingular data testsで実現する ○ 守らない場合は即座にCIで叩き落として、Claude Codeにフィードバックする ● 余談: この仕組みはClaude Codeのために作ったものではなく、元々はデータ基盤の変更容易性を高めるために作った仕組み 43

Slide 44

Slide 44 text

10X, Inc. ALL RIGHTS RESERVED 例: dbt-project-evaluatorによるHard constraints 44 dbt-project-evaluatorで独自のレイヤリングの制約をCI上で表現するを参照してください例: adhocからadhocを参照させない Singular data tests 例: 同一のレイヤで過剰な多重の参照関係を許可しないSingular data tests

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

10X, Inc. ALL RIGHTS RESERVED 型や制約は雄弁、ガードレールとして語らせよう基幹システムから CSVを受領 GCSへ保存 BigQueryへload dbtで変換 CSVの仕様書 (Data Contract) Pydantic 処理の流れ dbtのsource yaml ガードレール Agentで自動生成行レベルでのvalidationを挟み込む列レベルのテストを挟み込む余談: この仕組みはClaude Codeのために作ったものではなく、元々はデータ生産者とデータ消費者の間の取り決めをData Contractとして運用していた。同様のData Contractの事例が Ubieさんでも行なわれている(Tokyo dbt Meetup #15での発表内容) 51

Slide 52

Slide 52 text

10X, Inc. ALL RIGHTS RESERVED Pydanticによるガードレールの例 52 OptionalであればNullable、そうでなければ必須カラムとして定義。BigQueryのスキーマのレベルで表現する。 dbtのテストとしても表現。クエリを書く際のClaude Codeや人間にとってのガードレールになる! PrimaryKeyであれば、dbt_utils.unique_combination_of_columnsを自動生成する。 Hard constraintsなテストとしても機能するし、クエリを書く際のSoft constraintsとしても機能する!

Slide 53

Slide 53 text

Slide 54

Slide 54 text

10X, Inc. ALL RIGHTS RESERVED Claude Codeに人間用のガードレールを敷いてもらう ● データエンジニア / Analytics Engineerは仕様調査のため、プロダクト側のコードを読みに行かないといけない場合もある ○ 筋力も必要だし、SWE出身でない場合は難易度が高くなってしまうことがある ■ 特にAnalytics EngineerはSWE出身でない場合が多い ○ とはいえ、定義に立ち戻ることができるかどうかは非常に重要! ● そうした場合にClaude Codeに助けてもらおう! 人間に対してガードレールを引いてもらう ○ 例1: オーナーの同定 ○ 例2: Enumの値の同定 ○ 例3: Statusの状態遷移を同定 ● より詳細はAnalytics Engineerのためのプロダクトコードのコードリーディング with LLM Agentに書いてます ● 余談: Claude Codeは出力スタイル(Explanatory / Learning)を変更できて、コードリーディングにも強力なパートナーになってくれます 54

Slide 55

Slide 55 text

10X, Inc. ALL RIGHTS RESERVED 例1: データオーナーの同定 ● データソースの調査や依頼をする際、開発チームの中から適切なデータオーナーに問い合わせる必要がある ● まれに「神」テーブルに出くわすことがある ○ 例: Orderテーブル / Userテーブル ○ 「神テーブルはそもそも正規化しよう」という話はもちろんあるが、歴史的経緯などを含め、現実にはすぐ解決するのは難しいこともある ○ カラム毎にデータオーナーが異なる、あるいは明示的には決まっていない場合もある ● 「git blame / git history / Pull Request / Notion / Slack」などを網羅的に調べていくとデータオーナーの輪郭が浮かんでくる ○ 歴史考古学者的な仕事、社歴が長いと有利なことが多い ○ Claude Codeに調べてもらおう 55

Slide 56

Slide 56 text

10X, Inc. ALL RIGHTS RESERVED 調査結果例 56 「売り場チームがオーナーかなぁ」と思っていたが、別のチームがオーナーであることが分かった。識者が誰かも一緒に分かったドメインチームで複数にチームが分かれている、開発チームが大きい場合などに有効! 別リポジトリの情報をClaude Codeに見て欲しいときは/add-dirコマンドが便利! dbtのリポジトリ / サーバーサイド / クライアントサイド / IaCのリポジトリを入れることが多い実際のsha1やPull Requestも提示させるとハルシネーションを起こしにくい(気がする)

Slide 57

Slide 57 text

10X, Inc. ALL RIGHTS RESERVED 例2: Enumの値の同定 ● データ基盤ではEnumの値を利用者が分かりやすいように変換することがよくある ● Enumに新しいtypeが追加されると、画像のコードだと全部otherに吸収されてしまう ○ 分析者: 「ある時期からotherの割合が急に増えてきている🤔」「otherではなく、その内訳を知りたいよ」 ● じゃあ、新しいEnumの値は何? ○ 実際は口座振替 / クーポン利用 / ポイント利用などが追加されていた 57 実際に使ったプロンプト。調べてもらった調査結果を元に CASE文に追加してもらうPull Requestを書くもよし

Slide 58

Slide 58 text

10X, Inc. ALL RIGHTS RESERVED 例3: Statusの状態遷移を同定 ● 問い合わせ調査: 「hoge_statusが3になっていて、集計が合わないので調査をお願いします」と聞かれる ● 以下が分かると、調査が捗ることが多い ○ 例: 「その状態に遷移するとしたら、前の状態は何か?」 ○ 例: 「状態がもう遷移しない終端状態はどれか」 ● 状態遷移図が手に入ると嬉しいが、基本的にはそんな便利なものはないことが多い... ● SWEであれば頑張れば状態遷移図を書くことできる ○ でも「漏れなく」洗い出してくれ、と言われたら非常に大変で、辛い作業です ○ 集中してコードを読んでも2~3時間じゃ洗い出せない、ということも普通にある ● 「Coding Agentは疲れを知らないから状態遷移図を書かせてみることはできる」かもしれない ○ 普通に難しいと思ったが、ダメ元でUltrathinkでお願いしてみた 58

Slide 59

Slide 59 text

10X, Inc. ALL RIGHTS RESERVED 状態遷移図ができてしまった...! 59 想像通り、かなり複雑。出来上がったときは、正直腰を抜かした😇 SWEに聞いてみたが、問題ありそうな遷移はなかった。 Analytics Engineerはこの状態遷移図を元に、問い合わせ調査を進められる。取り得る状態遷移が人間にとってのガードレールとなり、調査のための仮説が立てやすくなる! 「どこからどこに遷移する」だけではなく「どの画面のどういう操作で遷移が起きえる(コード上の該当行はここ)」ということまで記載してくれた

Slide 60

Slide 60 text

Slide 61

Slide 61 text

10X, Inc. ALL RIGHTS RESERVED 典型的なアラート対応はClaude Codeに対応して欲しい! ● これまでのデータ基盤に加え、新規プロダクトの開発 / 運用も始まり、アラート対応もこれまで以上に素早く解決する必要が出てきた ○ 具体例: 対応しなければならないデータプロダクト / パートナー数 / データソースの種類が増えてきた ● アラート対応は複雑なものもあるが、概ね典型的なアラートは型化できる ○ A: 元データに想定外の変更があった場合 ○ B: データ基盤リポジトリ内の変更が原因の場合 ○ C: インフラ側で不調があった場合 ● これらをClaude Codeが対応できるようにドキュメント as ガードレールとして書いておく 61

Slide 62

Slide 62 text

10X, Inc. ALL RIGHTS RESERVED アラート対応フロー 62 gcloud logging readでログの中身を確認 Cloud Loggingへのリンク Datadogのアラートエラーパターンを分類元データによる変更データ基盤側の変更インフラ側の不調 statusページの確認 / retryの実行 ghコマンドやnotion mcp を使って最近の修正を確認 ghコマンドで原因prを特定。どのレコードが原因か洗い出し

Slide 63

Slide 63 text

Slide 64

Slide 64 text

10X, Inc. ALL RIGHTS RESERVED ガードレールを機能させるためのポイントやご利益 ● Claude Codeがアーキテクチャ全体を理解できるようにしておく ○ Mermaidで書いた図も理解してくれる ○ IaCから構成図を書かせることもできる ○ どこで問題があったのか、どこまでは問題がなかったかをClaude Codeが把握できるようにする ● 調査用のドキュメント内で利用するコマンドは具体的に書いておく ○ Claude Codeが試行錯誤しなくてよいようにする ○ スキーマや典型的なjqのフィルタ条件を書いておくと、ほぼ問題なく調べてくれる ● 調べるべき情報源の明示 ○ ハルシネーションをしないように & していないかの確認をさっとできるようにしたい ○ 例: 原因と判断した行とそのログの絞り込み方 ○ 例: 原因と判断したコードのファイル名とその行数 ● ご利益 ○ アラート対応に慣れていない人でもアラート対応でどういったことをやればいいかが明確になった ○ Claude Codeに理解してもらうため、アーキテクチャ図も刷新する機会になった 64

Slide 65

Slide 65 text

Slide 66

Slide 66 text

10X, Inc. ALL RIGHTS RESERVED メタデータ as ガードレール ● 急な依頼で月次の店舗別のGMVと顧客数の推移を出さなければならなくなった、としましょう ● 手でクエリを書いてもよいが、楽をしたい ● 「そうだ、Claude Codeに書いてもらおう!」は思った通りに行かないことも多い ○ GMVに関する複数のテーブルをうまく使い分けてくれない ○ カラムの意味をうまく考慮してくれない ● Claude CodeはBigQueryやSnowflakeのテーブルやスキーマしか分からないし、できないのは当然と言えば当然 ○ テーブル名やスキーマもコンテキストにない場合もある ○ どういう目的で作られたテーブルか、どういう意味のカラムか、などは分からない ● そこで重要になってくるのがメタデータ! 66

Slide 67

Slide 67 text

10X, Inc. ALL RIGHTS RESERVED メタデータ as ガードレール ● テーブルのdescription: ○ 想定用途、レコードの制限(例: 2024年以降のデータしか入っていない) ● カラムのdescription: ○ 集計の定義。目的に沿っているか(同名だけど、定義が違う場合も稀にある) ● カラムの制約: ○ nullがあるか、参照照合性は満たされているか(INNER JOINでレコードが落ちないか) ● テーブルの主キー: ○ JOIN時のヒントになる。うまく解消できていないと重複して集計してしまうリスクも ● テーブルのオーナーやデータ品質 ○ そもそもレポートとして提出するのに相応わしくないデータソースは使わないほうがいい 67 これらのメタデータは人間だけでなくデータ分析をするAgentにとって役に立つ! でも、全てのテーブルに入れていくの、大変すぎない?

Slide 68

Slide 68 text

10X, Inc. ALL RIGHTS RESERVED データに対する期待値を定義しよう 68 10Xでのデータ基盤の変遷とこれからより引用 Tier定義で実現するAI-Readyなデータ利活用より引用 ● 10Xやdelyさんなどでデータに対する期待値やTierを定義する事例が公開されている ● Agentが参照すべきデータも「Trusted」や「Tier 1」であることが多いはず ● AdhocなマートはAgentに「見せない」こともガードレールとして機能する

Slide 69

Slide 69 text

10X, Inc. ALL RIGHTS RESERVED Claude Code以外でもメタデータは役に立つ 69 ● データ活用者の手元でClaude Codeを動かしてもらうのは難しい ● Devinなどブラウザ経由でリポジトリを参照できるAgentであれば、ブラウザで簡単に質問やクエリを書いてもらえる ○ dbtのyamlというメタデータのガードレールに沿って書いてくれる ● PdMがデータプロダクトの仕様を調査するのにも役に立つ

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

10X, Inc. ALL RIGHTS RESERVED Semantic Layer: 「Agentに直接SQLを書かせない」という制約 ● 「そもそもAgentに直接SQLを書かせなければ間違いが起きにくいのでは?」を突き詰めた先の一つにSemantic Layer がある ○ 端的にいうと、JOINの仕方と集約した先のMeasureを規定してくれる動的クエリ生成器 ○ 指標のSSoT化を強力にサポートしてくれる ○ Agentにとって、強力な制約(=ガードレール)となるし、筋のよい制約 ○ Agentと違って、決定的な振舞いをしてくれる ● 逆に言うと、ディメンショナルモデリングやSemantic Layerなどよいガードレールなしで直接クエリをAgentに書かせるのはリスクがあると認識しておく必要がある 72

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

10X, Inc. ALL RIGHTS RESERVED 実際のデータ分析にまだ足りないもの: コンテキスト ● これまでのスライドでも色々なガードレールを紹介してきたが、実際のデータ分析をする場合にはまだ不足することが多い ● コンテキストが足りない! ○ 例: プロダクトの機能リリースがいつあったか ○ 例: キャンペーンや販促情報 ○ 例: 過去にアナリストが同様の分析をしていて、有力な仮説がある ○ 例: 社内で広く利用実績があるテーブルはこれ! ○ 例: データからもNext Actionとしてこれをやればよいことは分かっている ■ そこを動かすためにBizDevが現在頑張っている、それ以外の方向性を探って欲しい ■ そのActionをするための予算はどこから持ってくる? ○ 例: 過去の解約要因、顧客セグメントの特性、競合サービスの動向、外部環境の変化 75

Slide 76

Slide 76 text

10X, Inc. ALL RIGHTS RESERVED コンテキストをガードレールとして与える ● 様々な情報をAgentに与えて、分析のガードレールとして機能させる ○ プロダクトのリリース状況 ○ 過去の分析内容 on Notion / Google Docs ○ 社内のクエリ状況 via 監査ログ ○ 顧客からの問い合わせ / フィードバック回答 ● 参考: ○ データ戦略グループにおけるcontext engineeringの取り組み | MEDLEY Developer Portal ○ AIを"最強のチームメイト"に育てる『コンテキストエンジニアリング』実践法｜notty 76 こういった広義のメタデータの重要性も増している。データエンジニア / Analytics Engineerもコンテキストをどう管理、育てていくかを考えていく必要がある

Slide 77

Slide 77 text

Slide 78

Slide 78 text

10X, Inc. ALL RIGHTS RESERVED Take Home Message ● Claude Codeはまだまだやんちゃ ○ ガードレールがないと、地獄への高速道路をあっという間に作ってしまう ● Claude Codeを用いたdbt開発での実践的なガードレールの敷き方を紹介 ○ データ基盤を作るためのガードレール ○ データ基盤を運用するためのガードレール ○ データ分析をするためのガードレール 78 Take Home Message: ガードレールという制約を使いこなし快適なdbt開発 with Claude Code生活を送りましょう!

Slide 79

Slide 79 text

10X, Inc. ALL RIGHTS RESERVED 最後に ● データエンジニア / アナリティクスエンジニアの仲間を増やしたい! ● コミュニティ: datatech-jpに来てね! ○ アジャイルデータモデリングの輪読会やってます! ● イベント: 夏から秋に色々あるので来てね! ○ Data Engineering Study #31: データエンジニアがこの先生きのこるには...? ○ アーキテクチャConference2025: 現場課題から考えるセマンティックレイヤーとデータモデリング ● 10Xでもデータエンジニアを募集してます! ○ カジュアル面談からお待ちしてます ○ 新規プロダクトについて知りたい方はこちらを参照してください! 79