Data & AI Summit ’25 Spring 登壇資料 データの見えない糸を紡ぐ：LLMを活用したLookerとdbtによるメタデータ戦略

Transcript

1. データの見えない糸を紡ぐ：LLM を活用した Looker と dbt によるメタデータ戦略 株式会社LegalOn Technologies
2. 2 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. • 自己紹介・会社紹介 • データ基盤の構成要素 • メタデータの重要性 • メタデータの管理と自動化 • 今後の展望とまとめ 目次
3. 3 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. 自己紹介 若菜 勇気 / Head of Data 社内のデータガバナンスをコントロールする データワーキンググループを主催 データエンジニアリング・マネジメント アナリティクス部門を統括
4. 4 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. ＜Purpose＞ 法とテクノロジーの力で、 安心して前進できる社会を創る。 LegalOn Technologies 会社紹介 株式会社LegalOn Technologiesは、AI×リーガルのグローバルカンパニーです。 弁護士の法務知見と自然言語処理技術や機械学習などのテクノロジーを組み合わせ、 法務業務のイノベーションを推進するサービスを開発・提供しています。 会社名 株式会社LegalOn Technologies 設立 2017年4月21日 従業員数 599名（役員含む／2025年4月時点） 資本金 178.5億円（資本準備金等含む） 所在地 〒150-6219 東京都渋谷区桜丘町1-1 渋谷サクラステージSHIBUYAタワー19F
5. 5 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. サービスの紹介 法務業務 学習支援 契約業務 経営・コーポレート支援 AIレビューサービス ※LegalOn Technologies 米国法人が提供 オンライン法務学習支援サービス AI契約管理システム 契約学習メディア「契約ウォッチ」 AIカウンセル 法務・契約業務支援
6. 6 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. データ基盤の構成要素 - 全体像 Looker・dbtによるデータ基盤 Looker データソース (BigQuery) データソース保存 データ加工 データ可視化・抽出 データ分析・意思決定 データ利用者
7. 7 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. source staging intermediate mart 1. データソースに準拠した生テーブル 2. リネームやキャスト等の加工を施したテーブル 3. 複雑な結合や集約を使用する非公開の中間テーブル 4. ビジネスモデルに即した公開テーブル dbtとデータレイヤー dbt Best practice guides: https://docs.getdbt.com/best-practices
8. 8 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. Lookerの役割 : データマート公開 : データモデリングとガバナンス : モダンなBIとデータ探索 dbtで作成したモデルを利用者へ公開 共通のインターフェースでデータ分析・探索・可視化を実現 LookMLによるデータモデリングと公開範囲の管理
9. 9 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. Lookerの利用実績 幅広い部署での活用 多様な用途 セキュリティ対応 利用部門は人事・労務を除く全ての部門が使用 各種プロダクトのKPIやマーケティングファネ ルなど幅広く利用 社内のセキュリティレベルに応じて公開データ を制限、ガバナンスに貢献
10. 10 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. データの理解度を高めるために データの特性や中身を理解して使用する必要がある Lookerで提供しているデータを利用者が有効活用するには どうやって？
11. 11 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. メタデータの重要性 データの本来の意味を理解するには 属性情報であるメタデータを読み解く必要がある データ メタデータ データのコンテキストが 付随する属性情報 数字や文字列などの集まり ＋ 解釈するには
12. 12 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. データ利用者の視点 どのプロダクトのテーブルであるか？ どのような形式のデータとして提供されているのか？ どのような集計ロジックになっているのか？ データ利用者
13. 13 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. データマネジメントとAIの視点 集計したい項目の内容に合致した dimension、measureを提供できるか？ データマネジメント担当視点 AIが学習するにあたり正しいと言えるデ ータであるか？ AI視点 人間とAIの 視点両方が必要
14. 14 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. メタデータの活用 現在ビジネスメタデータをメインで使用 データセット、テーブル、 カラムの説明 集計定義、業務ルール、 変換ルール データのセキュリティ・ プライバシーレベル
15. 15 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. メタデータの流れ どこかでメタデータの流れが消えると情報の鮮度が落ちる メタデータは川の上流である データソース側から流れていく データソース ステージング データマート LookML ダッシュボード Explore
16. 16 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. メタデータ伝搬の課題 ①: メタデータのソースデータ上での入力コスト ②: dbtで定義するyamlへの入力コスト ③: LookMLの各種定義の反映コスト
17. 17 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. メタデータ伝搬の課題 ①: メタデータのソースデータ上での入力コスト ②: dbtで定義するyamlへの入力コスト ③: LookMLの各種定義の反映コスト 開発者サイドの協力・啓蒙 ソースデータからLLMで自動入力・伝搬 dbtをソースにLookMLを自動生成 Pull Request 自動作成
18. 18 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. システム構成 Cloud Storage BigQuery Cloud Logging Database Vertex AI source staging mart LookML/ Looker スキーマ反映 データ転送 スキーマ /description出力 Geminiで sourceに反映 CSV同期 LookML に反映
19. 19 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. システム構成 Cloud Storage BigQuery Cloud Logging Database Vertex AI source staging mart LookML/ Looker スキーマ反映 データ転送 スキーマ /description出力 Geminiで sourceに反映 CSV同期 LookML に反映 自動化ポイン ト
20. 20 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. スキーマ情報でGeminiを活用 ①: 各種スキーマファイルをGitHubから取得し、 Cloud Storage経由でVertex AI Searchに読み込む ②: グラウンディング + プロンプトでdescription付き CSVを生成する ③: 生成したCSVを元にGeminiでdbtのsourceを生成す る source ① ② ③
21. 21 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. スキーマ情報でGeminiを活用: descriptionの長さ調整 Looker上で表示されるLabel名の長さの問題 descriptionの文字列が長く、BigQuery上は問題なくとも、 LookerのExploreで表示すると見辛い Label名と詳細情報の分割 2種類のデリミタ:に分割し、Labelと詳細情報で分けて出力 [ID: ユーザーIDを設定する user_id or user_group_id] Label名
22. 22 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. dbt-osmosisによるソースデータからの伝搬 dbt-osmosis: yamlのメタデータを伝搬させるdbt package 1. source - staging - martと利用者へ公開するプロセスでdescription やセキュリティラベル(Policy Tag)のデータを自動伝搬させる 2. GitHub上にPRを作成したタイミングで、GitHub Actionsが発火。 変更箇所のリファクタリングが稼働し、descriptionを書き換える
23. 23 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. LookMLへの伝搬コスト Viewだけでも数千個存在するので LookMLの更新が面倒 • dbtのmartで公開したテーブルをLookMLで書き直す ◦ View、Explore、dimension、measureを作成する • 変更処理はデータベースだけでなく、ログなど多岐にわ たる ◦ 毎日発生する可能性のあるタスクである
24. 24 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. dbt to LookMLの自動生成 Vertex AI source staging mart LookML/ Looker Geminiで sourceに反映 LookML に反映 dbtのmodel、yamlとLookMLを自動生 成するスクリプトでPRまで自動生成 PRを生成して、レビュワーがチェック 1. dbtのmodel、yamlの生成 2. ソースデータのメタデータ追従 3. 型変更等の破壊的変更の検知 4. Policy Tagの伝搬 5. martをベースにしたLookMLの生成 6. Pull Requestの作成
25. 25 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. 自動化による効果 数千個あるViewのdescription生成が1分で完了 数時間かかるdbt to LookMLの変更を数分で完了 Looker上で表示される情報量が増加・更なる有効活用
26. 26 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. Geminiによるメタデータ整備: ブログでも詳細を公開 https://tech.legalforce.co.jp/entry/2025/05/22/115000
27. 27 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. 破壊的変更に対するアプローチ ログやデータベースが開発の影響で破壊的変更が発生し、 テーブル構造が壊れる可能性がある 現在 将来 スキーマをチェックし、破壊的変更がデータソース側の環境で発生する場合は、 差分をチェックして検知。ただし後手の対応で運用コストが高い 破壊的変更が発生するバージョンごとにテーブルを生成し、バージョンごとに分割 したテーブルを結合させる、等自動化の仕組みづくりを進めている
28. 28 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. 今後の展望 ①: 開発プラクティスのさらなる効率化 ②: AIによるデータインサイトの提供 ③: データ品質の向上 • データマネジメントチームが介入せずともデータをメンテナンス・分析できる状態にする • 各種メタデータの集約ができる状態になったので、他のメタデータも含め、MCPサ ーバーとの連携を強め、データ利用者に簡単にインサイトを提供する • dbt ElementaryやOpenMetadataを導入し、有効活用している • データオブザーバビリティのプラクティスを充実させ、他組織へ横展開していく
29. 29 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に供される際は株式会社LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社LegalOn Technologiesは一切の責任を負いません。©LegalOn Technologies, Inc. all rights reserved. まとめ メタデータの管理は非常に面倒だが、 収集することで様々な用途での利用価値がある 1. データプロデューサー側の組織との連携は不可欠である 2. LLMを使用することでプロセスを自動化・効率化できる 1. データを活かすためには、人間だけでなく、 AIが利用できる状態を作ることが極めて重要である