Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GAS・関数地獄を脱出! TROCCO・dbt・BigQueryで ストレスフリーなデータ管理...
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
コドモン開発チーム
February 03, 2025
0
990
GAS・関数地獄を脱出! TROCCO・dbt・BigQueryで ストレスフリーなデータ管理 / Stress-Free Data Management with TROCCO, dbt, and BigQuery
コドモン開発チーム
February 03, 2025
Tweet
Share
More Decks by コドモン開発チーム
See All by コドモン開発チーム
「全部書き直す」をしない選択 ー 巨大SPAと同居しながら小さく始めるフレームワーク移行 ー / We Chose Incremental Refactoring Over a Complete Rewrite
codmoninc
0
16
「Reactを使って良かったこと」 を考えていく中で気づいたこと / insights-from-reflecting-on-react
codmoninc
0
14
レガシー共有バッチ基盤への挑戦 SREドリブンなリアーキテクチャリングの取り組み / Tackling the Legacy Shared Batch Infrastructure: An SRE-Driven Re-architecting Initiative
codmoninc
0
570
テスト自動化を進める上でのマインドセットとしてのXP(エクストリーム・プログラミング) / xp-mindset-for-test-automation
codmoninc
0
1.5k
語られた戦略を 語れる戦略へー共通言語を作るPdMの試み / making-strategy-shareable
codmoninc
7
6.1k
コンテナイメージ脆弱性検知の実践事例 ~ 基礎から応用まで ~ / practical-case-studies-in-container-image-vulnerability-detection
codmoninc
1
130
長期運用プロダクトこそ効くコンテキスト管理の妙 / The Art of Context Management for Long-Running Products
codmoninc
0
460
ECSとEFSを組み合わせた Batchサーバー デプロイ方法の模索 / Exploring deployment methods for a Batch server using ECS and EFS
codmoninc
3
120
(ほぼ)ウォーターフォール開発かつ (ほぼ)手動テストの環境で仕事してきたQAエンジニアが コドモンに入って驚いたこと / A QA Engineer's Culture Shock at Codmon
codmoninc
1
1.2k
Featured
See All Featured
How to Ace a Technical Interview
jacobian
281
24k
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
69
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
1
1.4k
What's in a price? How to price your products and services
michaelherold
247
13k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3k
GraphQLとの向き合い方2022年版
quramy
50
14k
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
0
140
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
120
Visualization
eitanlees
150
17k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.1k
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
52
Facilitating Awesome Meetings
lara
57
6.8k
Transcript
GAS・関数地獄を脱出! TROCCO・dbt・BigQueryで ストレスフリーなデータ管理 2025年1月31日 株式会社コドモン 新春!TROCCOで取り組むデータ活用LT大会
2 経歴 サポートチームでVoC分析や問い合わせ予測算出を担当した後、 Analyticsチームにてサクセス含むCS活動のデータマート生成からパ イプラインの構築を担当。 前職の数学高校教諭であるキャリアを生かし、CSのデータ活用によ り教育現場が改善・進展することを目指す。 趣味は数学とモノづくりで数学系YouTubeを運営。オリジナルのパズ ルを作成するシステム・体験の場を作ることが直近の目標🧩 自己紹介
渡邊 陽平 わたなべ ようへい(愛称:ノブ)
3 Mission
4 すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、保育・教育施設向けWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。
5 今日話すこと 従来のCSデータ基盤とデータ量 新しいデータ基盤へ 1 2
6 CONFIDENTIAL - © 2022 CoDMON Inc. 6 まず、こちらが 従来のCSデータ基盤
1. 従来のCSデータ基盤とデータ量
7 CONFIDENTIAL - © 2022 CoDMON Inc. 7 1. 従来のCSデータ基盤とデータ量
• スプレッドシート(数十個) • redash(数十個) • GAS(約300のトリガー) • Zapier
8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 なぜこの状況になったか? 1.
従来のCSデータ基盤とデータ量
9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 1. 従来のCSデータ基盤とデータ量
増加し続ける施設数(20,000施設超)
10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 1. 従来のCSデータ基盤とデータ量
多くのニーズに応える多機能プロダクト 異なるユーザー属性(職員・園児・保護者)
11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 • 従来データ基盤の主な課題
◦ 属人化(トリガー300敷き直した) ◦ エラー対応の工数大 ◦ そもそもエラーに気付けない ◦ 正値になっているかの判断が難しい ◦ 貯蓄はできるが深掘りは不可 1. 従来のCSデータ基盤とデータ量
CONFIDENTIAL - © 2023 codmon Inc.
13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 このデータ量を スプレッドシートでは支え切れない...
そのための新しいデータ基盤を構築せねば!💪 1. 従来のCSデータ基盤とデータ量
14 2 1 今日話すこと 従来のCSデータ基盤とデータ量 新しいデータ基盤へ
15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 2. 新しいデータ基盤へ
• 新データ基盤 ◦ BigQuery ◦ dbt Cloud ◦ TROCCO ◦ スプレッドシート管理からGrowwwing ◦ Looker Studio などなど
16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 2. 新しいデータ基盤へ
コドモンのデータ分析基盤アーキテクチャ
17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 2. 新しいデータ基盤へ
• TROCCOの活用 ◦ 主に外部ツール連携 ▪ Growwwing ▪ kintone など ◦ 活用例 ▪ dbt Cloudで生成したデータをツールに転送 ▪ ツール上にしかないデータをBigQueryへ転送
18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 2. 新しいデータ基盤へ
• CSとの連携による成果🎉 ◦ OBグループ業務の削減できた時間:約 60 時間/月 ◦ エラー対応なども含めると約 84 時間/月の削減🎉
19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 2. 新しいデータ基盤へ
• CSMからも好評🎉 ◦ 日々のアプデもしやすい環境に
20 ご清聴ありがとうございました!
None