我が社が考える最強のデータ基盤・開発体制！アナリスト x エンジニアの最強バディ

2024年5月22日(水)開催されたkubell主催イベント『我が社のデータ基盤開発現場 ~Chatwork編~』におけるLT「我が社が考える最強のデータ基盤・開発体制！アナリスト x エンジニアの最強バディ」発表資料です。
イベントページ：https://chatwork.connpass.com/event/318118/
登壇者：株式会社kubell コミュニケーションプラットフォーム本部 データアナリスト 田中 賢太

Transcript

1. 　　　　　　 © Chatwork 我 社 考える最強のデータ基盤・開発体制！ アナリスト x エンジニアの最強バディ 2024年05月22日　 プロダクトエクスペリエンスユニット プロダクトオペレーションチーム 田中 賢太
2. 自己紹介 58 • 田中賢太（たな んた） • @tadaken3(タダケン) • Chatwork ← LINE ← 任天堂 • データアナリスト • データをいい感じに集計・分析して、プロダクトの成長に繋 る • 嫁と子供（３歳👦）と3人 らし • 趣味：レトロゲーム集め https://chado.chatwork.com/entry/2024/03/12/100000 インタビュー
3. 前回のハイライト
4. 前回の「我 社 考える最強のデータ基盤'24最新版」 60
5. 成果 出た と、アナリスト自ら新機能を実現 61 • アナリスト自ら、reverseETL(hightouch)を使ってエンジニアリソースを使わず に新機能を実現で た ◦ 開発工数 確保で な 長 保留になっていた機能だった... ◦ 自らdbtでデータモデルを開発＆検証を経て本番デプロイを実現 た 前回資料
6. 成果 出た と、アナリスト自ら大幅なコスト削減を実現 62 • アナリスト自ら利用実態に即 て、分析モデルを効率化するように。 ◦ BIの応答速度 上 り、業務効率 上 った ◦ クエリ効率 よ なって、コスト 下 った 前回資料
7. • 利用部門 自分たちで開発すると 、アナリストの人 開発なしで 新機能実現と す い。いい話す る • アナリストだ でリバースETL構築。素晴らしい • 「アナリスト 自ら分析機能を実現した」のは大 いな、データ民主 化はもはや当たり前で「データ分析」の民主化 必要 • データの利用者たち 横串でデータを利用で るようになる とって 素敵。DataOpsだなあ 「我 社 考える最強のデータ基盤'24最新版」の反響 63 実際のX（旧Twitter）のコメントはこちら https://twitter.com/hashtag/ChatworkTechTalk?src=hashtag_click&f=live
8. それ、ワタシです 64
9. 今日話す と 65 データアナリスト らみた並列開発体制の オモテガワとウラガワ
10. 並列開発体制のオモテガワ
11. 並列型の開発体制 67 データエンジニア • 利活用現場で開発を進められる共通プラットフォームを整備 てい • データエンジニア ボトルネックにならない 共通プラットフォームは、横串の機能を提供 てデータ基盤開発をスケール る機能を持つ。 直列型 並列型
12. 開発の役割分担 68
13. 開発の役割分担 69 データエンジニア の プラットフォーム 力 アナリストの ドメイン知識
14. 70 もうちょっと詳し 開発体制の分担 1.設計 2.実装 3.単体テスト 4.結合テスト 5.リリース エンジニア アナリスト エンジニア エンジニア アナリスト アナリスト
15. 並列開発体制のハジマリ (オモテガワ)
16. 72 並列開発体制のハジマリ タダケン目線 dbtの開発に入りたい場合、以下のドキュメントを参考に、 開発コンテナをbuildするって感じでい ですよね？（すみません。ドキュメント見つ たので、勝手に） の辺りも 確認いただ るといい なと思います。 操作 よ わ らないと あればMeetと で画面共有しな らフォローと も で ますので、相談 だ い〜 基本的にはそうなります。 ただ、キャプチャのgitブランチ切ってないのでbuildは失敗します。 ブランチとタスクを紐づ るために ちら ら〜検証みたいなタスク切った上でそれに紐づ ブランチを作成して、 buildいただ ると通る と(新Dev環境整備中なので、で たら環境 切り替わ る感じにはなります じまさん みっつさん タダケン
17. 全てはここ ら始まった （アナリストとしてdbt開発の第一号として飛び込む）
18. 74 最初は既存モデルの修正 ら手をつ て、、、 やった と 1. 既存のmodelの修正(まずはdbtになれる） 2. 既存のincremental modelの修正(差分更新の場合の 作法を学ぶ） 3. seedの開発（CSVデータなどの取り込み） 4. 新規のmodelの開発
19. 75 ほぼ単独で設計 ら実装まで！ 組織単位でのプロダクト活用度です 、 んな感じで行 う なと。
20. 76 datainfraのリポジトリではAdditionalで２番目に
21. 並列開発体制でのReverse ETL (オモテガワ)
22. 78 ある日のカスタマーマーケティングとの会話 もっとプロダクト内のデータを使って ユーザーコミュケーション で るといいんだ ど でも、エンジニアはほ にやる とでいっぱいですよ ど もエンジニア不足ですよね、、、 カスタマーマーケティング
23. 79 Reverse ETLのハジマリ タダケン目線 事業側で、デジタルマーケティングツールに、snowflakeのデータ連携し たいのです 、なん いい方法ないです？ モダンデータスタックのジャンル的には、Reverse ETLというと ろですね。 い つ のReverse ETLを検証したWiki あるので共有しますね みっつさん タダケン サポートしますのでわ らないと ろは 気軽に〜 じまさん
24. 80 並列型の開発体制：Reverse ETLの実装 やった と 1. 要求・要件整理 2. 検証（要件を満たせる ） 3. 負荷試験 4. データ連携用dbt modelの開発 5. Reverse ETLの実装
25. Reverse ETL 「hightouch」 81 データソースと連携 を選んで、データ連携 簡単に！ 企業秘密
26. 82 負荷テストもsnowflakeなら容易に 1000万レコードのダミーデータも10分で生成 負荷テストは数年先も見越 て、 1000万レコードでやりな い 技術基盤戦略室 室長 春日さん
27. データの移送速度もす いhightouch 83 1000万レコードの２テーブルを並列でデータ移送して約2時間で完了。*実際は差分更新 いな！hightouch 技術基盤戦略室 室長 春日さん
28. 84 Reverse ETLを実装した で カスタマーマーケティング アナリスト（タダケン） データに基づいて、 ユーザーコミュニケーションで るぞー 分析 ら施策への データ活用まで一気通貫してで るぞー
29. 85 Reverse ETLを実装した で Reverse ETLを実装した で Reverse ETLを実装した で Reverse ETLを実装した で（２回目） エンジニアリソースを使わずに機能追加で てみんなHappy
30. 並列開発体制のウラガワ
31. 87 dbtの開発に入りたい場合、以下のドキュメントを参考に、 開発コンテナをbuildするって感じでい ですよね？（すみません。ドキュメント見つ たので、勝手に） の辺りも 確認いただ るといい なと思います。 （別のドキュメントのURL） 操作 よ わ らないと あればMeetと で画面共有しな らフォローと も で ますので、相談 だ い〜 基本的にはそうなります。 ただ、キャプチャのgitブランチ切ってないのでbuildは失敗します。 ブランチとタスクを紐づ るために ちら ら検証みたいなタスク切った上で それに紐づ ブランチを作成して、buildいただ ると通る と 新Dev環境整備中なので、で たら環境 切り替わる感じにはなります じまさん みっつさん タダケン 並列開発体制の本当のハジマリ
32. 88 dbtの開発にスッと入れた理由 • 部署を超えた協力関係 • ドキュメント あった ら飛び込めた
33. 89 Reverse ETLの本当のハジマリ 事業側で、デジタルマーケティングツールに、snowflakeのデータ連携し たいのです 、なん いい方法ないです？ モダンデータスタックのジャンル的には、Reverse ETLというと ろですね。 い つ のReverse ETLを検証したWiki あるので共有しますね みっつさん タダケン サポートしますのでわ らないと ろは 気軽に〜 じまさん
34. Reverse ETL 「hightouch」をスッと実装で た理由は？ 90 • 部署を超えた協力関係 • データエンジニアの方で、Reverese ETLの検証をしていた ら • し も、実装 容易なモダンデータスタックで
35. • セルフサービスと自動化を通じて、開発業務の生産性を向上させること • アナリストチーム（not エンジニア） 開発に参加で 、より迅速に価値を提供で る • エンジニアは、プラットフォームをより拡充させる業務に取り組むこと 可能 • 将来的には、生成AIを活用し、オペレーションチームやビジネスチームも 開発に参加で る も プラットフォームエンジニアリングとは？ 91 ＊ガードナー 2022に提唱 た概念 cf. https://www.gartner.co.jp/ja/articles/what-is-platform-engineering
36. 92 ひとりでも多 の人 並列で開発で るように アナリストだってドキュメント整備に協力 れ Chatworkのカルチャーや 技術基盤戦略室 室長 春日さん
37. まとめ
38. まとめ 94 • 我 社 考える最強の開発体制は「並列開発体制」 ◦ データエンジニアとアナリストのバディ≒協業 • プラットフォームエンジニアリング ◦ ドキュメントの拡充 ◦ マネージドされたサービスの利用（モダンデータスタック） エンジニア アナリスト えらい人