dbt docsを使ったデータカタログの運用事例紹介

by 10xinc

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

©10X, Inc. All Rights Reserved. データドキュメント管理の難しさ  ● データドキュメント頑張ってやろうとしたがなかなか取り組みを進められなかった ○ 定期的にKPTで出てくる「仕様の管理」や「カラムの意味が分かりづらい」 ○ Tryとして「ドキュメントを書こう」「更新したらドキュメントを修正しよう」というのがでたが書き始めるのも難しいし、ドキュメントがあったとしても更新がされない状態が続いてしまった ● 「あとで書く」が難しく、「あとに回せば回すほど更新が大変になる」という事実 ○ 「あとで書く」は書かない ○ 「あとで誰か他の人」は書いてくれない（実装者が一番わかっている） ○ 現在のドキュメントが正しくない場合、差分更新ではなく現在の仕様をすべて確認した上で「全更新」になってしまう

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©10X, Inc. All Rights Reserved. 解決策の提案 - dbt docs  「あとで書かない、今書く」を実行するために以下の要件を達成するために現在の構成も考慮してdbt docsを採用 ● ドキュメントも差分管理（コード管理）できるようにする ● 画像配置、マークダウンでの記載が可能 ● 修正差分に合わせて同一PRに混ぜてリリース・反映できる ● データカタログのビューワー機能がある ● BigQuery等のカラムディスクリプション枠に情報を同期できる ● CIでドキュメントが書かれているかチェック処理を組み込むことが可能

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text