tblsとLLMを活用した データドキュメントの自動生成

2026/01/21 DataOps Night #9

Transcript

1. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL 〒160-0023 東京都新宿区西新宿 8-17-1 住友不動産新宿グランドタワー 27階 tblsとLLMを活用した データドキュメントの自動生成 DataOps Night #9 2026/01/21　Katsuki Hattori 1
2. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 自己紹介 2 服部 克己（Katsuki Hattori） データエンジニア / WEBアプリエンジニア ・2021年新卒入社 ・広告制作支援ツールの開発に従事 ・Scala, Python, TypeScript
3. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. AGENDA 会社&プロダクト紹介 現状と課題 tblsとLLMの活用例 振り返り 今後について 最後に 発表内容 01 02 03 04 05 3 06
4. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 会社&プロダクト紹介 01 4
5. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. FLINTERS について セプテーニ・グループ /電通グループと連携し マーケティングDXの包括的支援に圧倒的な強みを持っています 各種クライアント 生成AI/データ研修 マーケティング ダッシュボード構築 広告運用自動化 生成AI活用支援 開発内製化支援 (エンジニア派遣) クリエイティブ 最適化 データ基盤構築 ※一例
6. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 主な開発領域 • 広告系システム • (BtoB)業務システム • アジャイル開発 デジタルマーケティングの各種データを活用した様々な WEBシステムを設計・開発・保守 WEBシステム開発 • データ基盤構築 • ダッシュボード構築 • 外部データとの連携 （Snowflake、Treasuredataなど） 各種データのETLを行いCDPへ格納やBIツールを使い、 媒体横断で配信レポートを可視化する開発支援 データソリューション 6
7. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. プロダクト紹介 7 分析・訴求軸作成AI コピー・デザイン生成AI 効果予測AI クリエイティブ制作プロセス全般をAIで支援するツール 運用・CR改善
8. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 02 8
9. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 9 データの仕様が複雑 - 種類が多い（広告媒体や広告メニューの種類ごとにある） - 各媒体から取得した広告データ - 構造データ - レポートデータ - 別チームから取得したデータ - 広告のパフォーマンス予測データ - 取得元が多い - 取り込みスケジュールが異なる - フォーマットが異なる → DBスキーマやデータパイプライン（Airflow DAG）が複雑になる
10. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 10 課題 認知の限界 開発スピードの低下 属人性が高い JOIN時の学習コストが高い
11. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 11 プロダクトの拡大 対応広告媒体の拡大 機能の多角化 開発メンバーの増減
12. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 12 データ周りの良い感じのドキュメントが欲しい！
13. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 現状と課題 13 良いドキュメントとは？ - 最新であること - 正確であること - データの繋がりが見えること - 欲しい情報がすぐにアクセスできること
14. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 03 14
15. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 15 やったこと 1. tbls導入によるDBスキーマ情報の自動ドキュメント化 2. LLMによるAirflow DAGの自動ドキュメント化 3. ドキュメントをGitHub Pagesでホスト
16. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 16 tblsとは？ → DBドキュメントを自動で作成するツール - スキーマ情報を自動的に解析 - Markdown形式やHTML形式のドキュメント、ER図などを生成 - ymlの設定ファイルを書いて使用する - PostgreSQLやRedshiftなど複数のデータソースに対応 - CIに対応 公式：https://github.com/k1LoW/tbls
17. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 17 tbls導入の流れ 1. ドキュメント化する対象の整理 2. データセットごとにtblsのymlファイルを書く 3. tblsのymlファイルを実行 4. CIの構築 5. ドキュメントをGitHub Pagesでホスト
18. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 18 1. ドキュメント化する対象の整理 DBスキーマ - アプリケーションのデータマート（PostgreSQL） - データウェアハウス（BigQueryのデータセット）
19. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 19 2. データセットごとに tblsのymlファイルを書く - データソースの指定 - 出力先の指定 - 何を出力するか - 出力するドキュメントの整形オプション - テーブル/カラムの説明、コメント - lint設定 etc.
20. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 20 3. tblsのymlファイルを実行 tblsコマンドで以下のようなドキュメントが生成される
21. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 21 やったこと 1. tbls導入によるDBスキーマ情報の自動ドキュメント化 ↑ ここまで完了 2. LLMによるAirflow DAGの自動ドキュメント化 3. ドキュメントをGitHub Pagesでホスト
22. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 22 tblsの限界 データパイプラインのドキュメントを生成できない
23. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 23 DAGドキュメントに必要な情報は？ - DAG名 - 目的 - 実行スケジュール - BigQueryテーブルのI/OとBigQueryドキュメントの関連付け - 相互リンク付けなど - BigQuery以外のデータI/O - データ処理フロー - DAGの依存関係
24. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 24 tblsとLLMを組み合わせる AirflowのDAG実装とtblsで生成したドキュメントを使って、LLMで DAGドキュメントを生成する BigQueryドキュメント（.md） DAGのソースコード（.py） DAGドキュメント（.md）
25. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 25 LLMで生成したいドキュメントの内容 以下2つ - 各DAGの個別ドキュメント - 概要ドキュメント（ルートのREADME） - DAGドキュメント一覧 - DAG実行スケジュール一覧 - BigQueryテーブル一覧 - BigQueryデータセット一覧
26. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 26 完成したドキュメントの構造 各DAG BigQueryテーブル tblsで生成 LLMで生成 ルートのREADME
27. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 27 プロンプト作成のポイント - 試行錯誤が必要（一発で上手くいくことはない） - ローカルで手動実行する方が便利 - 暗黙の了解を明示する必要がある - 省略や設定、参照方法など忘れやすい - 必要な情報源と作成物を明確に指定しておく
28. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. tblsとLLMの活用例 28 プロンプトの実践的な書き方 - まず小さく始める - 成功したドキュメントを参照させて横展開する - 必要な情報を継ぎ足して再現性を高める - 不要な情報が生成されないように記載する - プロンプトを修正しながら作成する
29. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 04 29
30. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 30 課題（再掲） 認知の限界 開発スピードの低下 属人性が高い JOIN時の学習コストが高い
31. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 31 課題を解決 認知の限界 → 認知負荷の減少 ドキュメントを見れば分かる状態 「覚える」から「引き出す」に
32. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 32 課題を解決 属人性が高い → 属人性の低下 データの認識と調査フローを統一 ナレッジの共有
33. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 33 課題を解決 導入として、まず見るものがある ドキュメント自体が教育ツールとなる 構造の可視化とガイド JOIN時の学習コストが高い → 学習コストを削減
34. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 振り返り 34 課題を解決 DBのリレーションやデータパイプラインなど複雑 な情報も即座に確認可能 調査コストの削減 開発スピードの低下 → スピードの向上
35. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 今後について 05 35
36. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 今後について 36 今後の課題 - 完全自動ではないのでドキュメントの運用が必要 - 見やすさ優先のため二重管理になっている
37. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 今後について 37 今後考えていること - devin入れてdeepwikiの活用
38. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 最後に 06 38
39. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. ・ 募集職種 39 カジュアル面談実施中！ データエンジニア WEBアプリエンジニア ▪フルスタック開発 インフラ、データ、サーバーサイド、フロントエンドな ど様々な領域に挑戦することが可能 ▪裁量が大きい 開発チームでアーキテクチャ、技術選定が可能 新技術導入にも積極的に取り組む環境 ▪大規模データ デジタルマーケの数億レコードの 大規模データに携われる ▪データマネジメントのプロ データ処理基盤のインフラ構築、設計、開発、デー タの収集、格納、活用まで行う プロフェッショナルな環境
40. CONFIDENTIAL ©FLINTERS, Inc. All Rights Reserved. 〒160-0023 東京都新宿区西新宿 8-17-1 住友不動産新宿グランドタワー 27階 Thank You! 40