コドモンAnalyticsグループの、 2年間の成果と課題 / Codmon Analytics Group: Achievements and Challenges Over Two Years

Transcript

1. コドモンAnalyticsグループの、 2年間の成果と課題 2025年8月1日 株式会社コドモン 第4回福岡データエンジニアリング勉強会（LT）
2. 2 経歴 Analyticsチームにて、ELTパイプラインの構築からデータ抽出まで 広く担当。2024年9月に福岡に移住。因果推論が一番好み。最近は サッカーのデータ分析の機会を覗っている。 自己紹介 若鶴 優 わかつる まさる 2024.04 コドモンのAnalyticsグループに入社 　　　　　 写真共有・販売サービスの分析をメインで担当 2024.07 ELTパイプラインの整備に関わり始める
3. 3 Mission
4. 4 すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、保育・教育施設向けWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。
5. 5 CONFIDENTIAL - © 2022 CoDMON Inc. 5 はじめに データエンジニア界隈では 初歩的な内容を話しますmm
6. 6 今日話すこと Analyticsグループのwin 個人的なlose これから頑張りたいこと 1 2 3
7. 7 今日話すこと Analyticsグループのwin 個人的なlose これから頑張りたいこと 1 2 3
8. 8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 Analyticsグループのwin 2023年8月時点でのざっくりアーキテクチャ 　 2023年8月にAnalyticsグループ発足 それまでデータ分析基盤もなかった 強いて言うなら、、、
9. 9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 Analyticsグループのwin 2023年8月時点でのざっくりアーキテクチャ 　
10. 10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 Analyticsグループのwin 2023年8月時点のトピック 　 ソース：GAS・関数地獄を脱出！ TROCCO・dbt・BigQueryで ストレスフリーなデータ管理
11. 11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 Analyticsグループのwin 2024年4月時点でのざっくりアーキテクチャ 　
12. 12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 Analyticsグループのwin 2024年4月のトピック　 部署のマネージャーが、 lookerStudioの月次のKPIツリーを、 slackに毎日手動でアップロードしていた
13. 13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 Analyticsグループのwin 2025年7月時点でのざっくりアーキテクチャ 　
14. 14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 Analyticsグループのwin グループで頑張ったポイント • データ分析基盤に必要なツールの導入 • AWSからGCPへのデータ転送方式の確立 • プロダクトでUPDATE文を利用しているテーブルに、SCD-type2を採用 • trocco経由での様々なツールのデータ連携 • BQから様々なツールへのデータアクティベーション　 詳しくは、 次回の福岡データエンジニア勉強会で会話しましょう💪
15. 15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 Analyticsグループのwin まとめ データ転送周りを頑張った
16. 16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 Analyticsグループのwin まとめ データマート周り・BIツールはまだまだ課題あり
17. 17 今日話すこと Analyticsグループのwin 個人的なlose これから頑張りたいこと 1 2 3
18. 18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 個人的なlose ここからは、 写真共有・販売サービス に限定して話します。 (私がメイン担当なので)
19. 19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 個人的なlose 2024年4月の状況 • 写真共有・販売サービスのビジネスサイドのメンバー状況 • クエリを書ける人はいない • 約2名から、週に1回ほどアドホックな分析依頼 • Analyticsグループの状況 • 工数は0.5程度 • DWHは作成せずに、dbtのベストプラクティスの構成でモデリング • BIツールはLookerStudioのみ
20. 20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 個人的なlose この時、若鶴はこう思っていた 「このままで問題ないでしょ」
21. 21 CONFIDENTIAL - © 2022 CoDMON Inc. 21 個人的なlose この時、若鶴はこう思っていた 「このままで問題ないでしょ」 しかし、現実は甘くなかった、、
22. 22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 個人的なlose 増加し続ける施設数
23. 23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 個人的なlose 増加し続けるメンバー数
24. 24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 個人的なlose 広がったスコープ https://www.codmon.co.jp/pressrelease/10653/
25. 25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 個人的なlose 2025年6月の状況 • 写真共有・販売サービスのビジネスサイドのメンバー状況 • クエリを書ける人が0人から2~3名に • ビジネスメンバー&PdMのが増え、依頼者数が2名から計10名に ◦ ほぼ毎日のアドホックな分析依頼
26. 26 CONFIDENTIAL - © 2022 CoDMON Inc. 26 個人的なlose そして、工数0.5では爆発した
27. 27 CONFIDENTIAL - © 2022 CoDMON Inc. 27 これから頑張りたいこと 爆発した原因 • SQLを書けるメンバーが「どのテーブルを使うべきか？」を把握できない • マート層にテーブルが増えたため、テーブル定義を理解しにくい • (再利用性を考慮せずにマート層にテーブルを追加している)
28. 28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 これから頑張りたいこと 爆発した原因 • SQLを書けるメンバーが「どのテーブルを使うべきか？」を把握できない • マート層にテーブルが増えたため、テーブル定義を理解しにくい • (再利用性を考慮せずにマート層にテーブルを追加している) • データ抽出依頼が増えたものの、データ抽出を効率化できない • 昔に作成したテーブルが利用できず、クエリを一から書くことになる
29. 29 今日話すこと Analyticsグループのwin 個人的なlose これから頑張りたいこと 1 2 3
30. 30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 これから頑張りたいこと 今後実施したいこと • SQLを書けるメンバーが「どのテーブルを使うべきか？」を把握できない • マート層にテーブルが増えたため、テーブル定義を理解しにくい • (再利用性を考慮せずにマート層にテーブルを追加している) → スタースキーマでデータウェアハウスを作成する • データ抽出依頼が増えたものの、データ抽出を効率化できない • 昔に作成したテーブルが利用できず、クエリを一から書くことになる
31. 31 CONFIDENTIAL - © 2022 CoDMON Inc. 31 これから頑張りたいこと 今後実施したいこと • SQLを書けるメンバーが「どのテーブルを使うべきか？」を把握できない • マート層にテーブルが増えたため、テーブル定義を理解しにくい • (再利用性を考慮せずにマート層にテーブルを追加している) → スタースキーマでデータウェアハウスを作成する • データ抽出依頼が増えたものの、データ抽出を効率化できない • 昔に作成したテーブルが利用できず、クエリを一から書くことになる → 効率的にデータを抽出する仕組みの構築
32. 32 CONFIDENTIAL - © 2022 CoDMON Inc. 32 これから頑張りたいこと 「効率的にデータを抽出する仕組みの構築」 の進め方で、少し迷っています
33. 33 CONFIDENTIAL - © 2022 CoDMON Inc. 33 これから頑張りたいこと 「効率的にデータを抽出する仕組みの構築」で迷っているポイント • データモデリング実施後は、クエリを効率的に書けるので問題ない？ • BIツールを導入する必要ある？導入した場合のROIは？ • MCPサーバーを上手く活用することで、十分に効率的に対応できる？ • (Claudeを利用して技術検証を実施中)
34. 34 ちなみに
35. 35 コドモン採用ページ コドモンでは一緒に働きたい仲間を募集しています！ データを軸に事業の最適な意思決定を支援する！ Analyticsメンバーを募集！ とりんく：画像 AIエンジニア /Computer Vision Engineer
36. 36 ご清聴ありがとうございました！