Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
Search
Nealle
August 19, 2025
Programming
0
2.1k
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
2025/8/20
https://pug.connpass.com/event/364357/
#p_UG 東京:夏のデータ活用大共有会 データ活用の第一歩からAIにやさしいデータ基盤までお届け!
Nealle
August 19, 2025
Tweet
Share
More Decks by Nealle
See All by Nealle
Pythonに漸進的に型をつける
nealle
1
72
品質ワークショップをやってみた
nealle
0
570
DevHRに全部賭けろ
nealle
0
160
AI OCR API on Lambdaを Datadogで可視化してみた
nealle
0
310
生成AI、実際どう? - ニーリーの場合
nealle
0
940
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
nealle
4
16k
ニーリーにおけるプロダクトエンジニア
nealle
0
1.3k
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
510
事業KPIを基に価値の解像度を上げる
nealle
0
510
Other Decks in Programming
See All in Programming
Flutterで分数(Fraction)を表示する方法
koukimiura
0
140
Building, Deploying, and Monitoring Ruby Web Applications with Falcon (Kaigi on Rails 2025)
ioquatix
4
2.3k
AI Coding Meetup #3 - 導入セッション / ai-coding-meetup-3
izumin5210
0
3.4k
登壇は dynamic! な営みである / speech is dynamic
da1chi
0
350
バッチ処理を「状態の記録」から「事実の記録」へ
panda728
PRO
0
170
テーブル定義書の構造化抽出して、生成AIでDWH分析を試してみた / devio2025tokyo
kasacchiful
0
210
Domain-centric? Why Hexagonal, Onion, and Clean Architecture Are Answers to the Wrong Question
olivergierke
3
920
NixOS + Kubernetesで構築する自宅サーバーのすべて
ichi_h3
0
1.1k
All About Angular's New Signal Forms
manfredsteyer
PRO
0
190
開発生産性を上げるための生成AI活用術
starfish719
3
1.5k
スキーマ駆動で、Zod OpenAPI Honoによる、API開発するために、Hono Takibiというライブラリを作っている
nakita628
0
230
EMこそClaude Codeでコード調査しよう
shibayu36
0
230
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
36
6.9k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Site-Speed That Sticks
csswizardry
13
910
A Tale of Four Properties
chriscoyier
161
23k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
980
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
We Have a Design System, Now What?
morganepeng
53
7.8k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
10
600
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Unsuck your backbone
ammeep
671
58k
Scaling GitHub
holman
463
140k
Transcript
TROCCO×dbtで実現する 人にもAIにもやさしいデータ基盤 2025.08.20 #p_UG 東京:夏のデータ活用大共有会 株式会社ニーリー 上田 健太郎 NEALLE 1
2022年8月にニーリーに入社。 Analyticsチームの1人目のメンバーとなり、 「事業や経営の意思決定を支援するデータ分析結果の創出」をミッションに、 データ基盤構築から分析まで幅広く対応。 2 自己紹介 株式会社ニーリー Analyticsチーム エンジニア 上田
健太郎
3 プロダクト紹介
4 今日のお話 • 分析の属人化防止 (イネーブリング) のために、TROCCO×dbtでデータマートを整備した • 結果、属人化防止だけでなく、AI活用にも繋がった = 人にもAIにもやさしいデータ基盤
• 同時に、人 (Analytics Eng.) が注力すべきポイントも見えてきた
5 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的
6 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
▼導入効果 • テーブル・カラム自動追従や豊富なコネクタにより ETLが楽になり、マート整備・分析に注力できた • サポートが充実しているのも大変ありがたかった 7 なぜTROCCO? : 2023年10月頃
• より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
8 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
9 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
▼導入効果 • メンテフリーのdbt実行環境が手に入った • マート&カタログにより分析クエリ作成に必要な知識が 大幅に低減。Bizメンバーの分析参画が増加 • dbt testなどの諸機能によりデータの信頼性・整備性が向上 10
なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
11 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
12 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
13 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに ▼導入効果 • AnalyticsチームのSQL開発は圧倒的に効率化 • SQLコメントとdbt定義のマート群はAIにも 解釈しやすかったようで、初版で使える精度を実現 • Bizメンバーへの効果は計測中 (公開後間もないため)
14 見えてきたポイント: 人にもAIにも優しい基盤を実現するには? No. ポイント アクション 効果 1 徹底的なドキュメンテーション ・dbtモデルでのdescription記載の強制
・分析用SQLへのコメント記載の徹底 ・分析の属人化防止 (イネーブリング) ・AI回答精度の向上 2 分析用データマートの充実化 ・複雑なjoinやcase式、Biz指標の定義を隠蔽 3 利用者とのコミュニケーション ・定期的な分析・マート需要のヒアリング ・実用性の高い データマートの企画 4 マネージドな仕組みの活用 ・TROCCO×dbt でETL・データ検証に 要する時間を削減 ・上記対応の時間の捻出 1~4は同時に、人 (Analytics Eng.) が注力すべきポイント = AIに代替されにくいポイント でもあると思う
ニーリーではプロダクトエンジニア、 その他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!