Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
Search
Nealle
August 19, 2025
Programming
0
1.7k
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
2025/8/20
https://pug.connpass.com/event/364357/
#p_UG 東京:夏のデータ活用大共有会 データ活用の第一歩からAIにやさしいデータ基盤までお届け!
Nealle
August 19, 2025
Tweet
Share
More Decks by Nealle
See All by Nealle
DevHRに全部賭けろ
nealle
0
130
AI OCR API on Lambdaを Datadogで可視化してみた
nealle
0
280
生成AI、実際どう? - ニーリーの場合
nealle
0
830
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
nealle
4
15k
ニーリーにおけるプロダクトエンジニア
nealle
0
1.2k
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
480
事業KPIを基に価値の解像度を上げる
nealle
0
480
一人目PdMとして、まず"自分"をPMFさせることから考える
nealle
0
460
エンジニアが挑む、限界までの越境
nealle
1
1.2k
Other Decks in Programming
See All in Programming
API Platform 4.2: Redefining API Development
soyuka
0
760
Reactをクライアントで使わない
yusukebe
7
5.8k
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
0
460
WebエンジニアがSwiftをブラウザで動かすプレイグラウンドを作ってみた
ohmori_yusuke
0
160
defer f()とdefer fの挙動を 誤解していた話
kogamochiduki
2
130
Server Less Code More - コードを書かない時代に生きるサーバーレスデザイン / server-less-code-more
gawa
5
1.8k
Back to the Future: Let me tell you about the ACP protocol
terhechte
0
120
検索機能リプレイスを4ヶ月→2ヶ月に! AI Agentで実現した2倍速リプレイス
fuuki12
4
810
iOSDC.pdf
chronos2500
2
610
実践AIチャットボットUI実装入門
syumai
7
2.2k
高度なUI/UXこそHotwireで作ろう Kaigi on Rails 2025
naofumi
4
1.7k
2分台で1500examples完走!爆速CIを支える環境構築術 - Kaigi on Rails 2025
falcon8823
3
1.7k
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Designing Experiences People Love
moore
142
24k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Building Applications with DynamoDB
mza
96
6.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Building Adaptive Systems
keathley
43
2.8k
Balancing Empowerment & Direction
lara
4
660
Docker and Python
trallard
46
3.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Transcript
TROCCO×dbtで実現する 人にもAIにもやさしいデータ基盤 2025.08.20 #p_UG 東京:夏のデータ活用大共有会 株式会社ニーリー 上田 健太郎 NEALLE 1
2022年8月にニーリーに入社。 Analyticsチームの1人目のメンバーとなり、 「事業や経営の意思決定を支援するデータ分析結果の創出」をミッションに、 データ基盤構築から分析まで幅広く対応。 2 自己紹介 株式会社ニーリー Analyticsチーム エンジニア 上田
健太郎
3 プロダクト紹介
4 今日のお話 • 分析の属人化防止 (イネーブリング) のために、TROCCO×dbtでデータマートを整備した • 結果、属人化防止だけでなく、AI活用にも繋がった = 人にもAIにもやさしいデータ基盤
• 同時に、人 (Analytics Eng.) が注力すべきポイントも見えてきた
5 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的
6 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
▼導入効果 • テーブル・カラム自動追従や豊富なコネクタにより ETLが楽になり、マート整備・分析に注力できた • サポートが充実しているのも大変ありがたかった 7 なぜTROCCO? : 2023年10月頃
• より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
8 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
9 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
▼導入効果 • メンテフリーのdbt実行環境が手に入った • マート&カタログにより分析クエリ作成に必要な知識が 大幅に低減。Bizメンバーの分析参画が増加 • dbt testなどの諸機能によりデータの信頼性・整備性が向上 10
なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
11 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
12 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
13 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに ▼導入効果 • AnalyticsチームのSQL開発は圧倒的に効率化 • SQLコメントとdbt定義のマート群はAIにも 解釈しやすかったようで、初版で使える精度を実現 • Bizメンバーへの効果は計測中 (公開後間もないため)
14 見えてきたポイント: 人にもAIにも優しい基盤を実現するには? No. ポイント アクション 効果 1 徹底的なドキュメンテーション ・dbtモデルでのdescription記載の強制
・分析用SQLへのコメント記載の徹底 ・分析の属人化防止 (イネーブリング) ・AI回答精度の向上 2 分析用データマートの充実化 ・複雑なjoinやcase式、Biz指標の定義を隠蔽 3 利用者とのコミュニケーション ・定期的な分析・マート需要のヒアリング ・実用性の高い データマートの企画 4 マネージドな仕組みの活用 ・TROCCO×dbt でETL・データ検証に 要する時間を削減 ・上記対応の時間の捻出 1~4は同時に、人 (Analytics Eng.) が注力すべきポイント = AIに代替されにくいポイント でもあると思う
ニーリーではプロダクトエンジニア、 その他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!