データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜

2024年 1月 10日（水）にSansan・クリエイティブサーベイ・Uniposの3社で開催したイベントに弊社インターン永井が登壇した際の資料です。

Transcript

1. データエンジニアが
 アナリスト業務で得た学びと
 セルフサービスモデルの実現
 開発部 インターン生
 永井 僚

2. Confidential © CREATIVE SURVEY Outline 1. 導⼊ 2. 去年いちばんのしくじり 3. しくじりの背景 4. しくじりについての深掘り 5. 今後しくじらないために 6. 今後の展望
3. 3
 1. 導⼊
4. © 2023 CREATIVE SURVEY INC. All Rights Reserved. 自己紹介 永井僚 クリエイティブサーベイ株式会社 開発部インターン生 2019年4月明治大学総合数理学部入学。 2023年4月同大学院先端数理科学研究科入学。 ロボットシステムインテグレーション研究室にて、移動ロ ボットや深層強化学習、ネットワークロボットに関する研 究を行っている。 2023年1月よりエンジニアインターン生１号として現職。
5. Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 会社名：クリエイティブサーベイ株式会社 設 ⽴：2014年7⽉ 代表取締役：⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク（Pマーク）取得 国際規格ISO27001（ISMS）取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY
6. Confidential © CREATIVE SURVEY あらゆる顧客接点で営業機会を逃さない「Ask One」 お客様の⽤途や利⽤シーンに合わせて2つの製品ラインナップを提供しています。
7. Confidential © CREATIVE SURVEY 既に多くの企業様に、Ask Oneをご利⽤頂いております ※⼀部抜粋 ‧ 順不同 2023年10⽉現在
8. Confidential © CREATIVE SURVEY データチームとは • データ分析基盤の構築 ◦ プロダクトが保存しているDBのデータをデータ分析基盤に統合
 • データ利活⽤の促進に向けた動き ◦ 契約企業ごとの解約リスクのスコアリング ◦ ヒアリングからダッシュボード作成
9. Confidential © CREATIVE SURVEY データチームの紹介 是枝 達也       永井 僚 (Sansanの⼤澤秀⼀さんが2024より参加)
10. Confidential © CREATIVE SURVEY データ分析基盤のアーキテクチャ

11. 11
 2. 去年いちばんのしくじり
12. Confidential © CREATIVE SURVEY セールスとマーケティングチーム(S&M)向けの ダッシュボード作成プロジェクト がポシャったこと 去年いちばんのしくじりは...
13. Confidential © CREATIVE SURVEY 参画時期 2023年1月~2023年2月 (期間：２ヶ月) 担当工程 企画 / 要件定義 / 設計 / コーディング / 運用・保守 / データ分析 担当職種 データエンジニア / データアナリスト 去年いちばんのしくじりの概要
14. 14
 3. しくじりの背景
15. Confidential © CREATIVE SURVEY • S&Mの指標がクローズドだったため、S&Mチームの上司しか確認できない • メンバーが個別にスプレッドシートに書き出したダッシュボードを活用 ◦ 各人の業務負担の増加 ◦ 現場の業務が増えていた S&Mチームのデータ分析上の主要な課題
16. Confidential © CREATIVE SURVEY データ分析基盤の整備とダッシュボード作成により 誰でも見られるダッシュボードを作ろう！ 課題の解決のためのアプローチ
17. 17
 4. しくじりについての深掘り
18. Confidential © CREATIVE SURVEY S&Mチームの上司に課題のヒアリング • どういうダッシュボードが欲しいのか聞いた ダッシュボード作成に向けて取り組んだこと
19. Confidential © CREATIVE SURVEY 現場がダッシュボードで欲しい情報 • 時系列で顧客の行動が追えること その他の課題 • 上司しかダッシュボードが見られない（重要） ◦ みんなが見られるダッシュボードを作成したいと感じた ヒアリングから⾒つかった課題
20. Confidential © CREATIVE SURVEY ダッシュボード作成 • Amazon QuickSight上での可視化 ◦ トレンド分析とファネル分析のダッシュボードの作成 データ分析基盤の整備 • 60名規模が扱うデータ分析基盤の構築 ◦ データの自動更新 課題に対するアプローチ
21. Confidential © CREATIVE SURVEY • トレンド分析とファネル分析による顧客行動の可視化 Amazon QuickSightを使⽤した顧客⾏動の可視化
22. Confidential © CREATIVE SURVEY • 時系列での顧客行動の予測 • ダッシュボードの属人化の撤廃 という当初掲げていた課題は解決したものの、現場の方々に浸透しなかった 当初掲げていた課題は解決したものの…
23. Confidential © CREATIVE SURVEY プロジェクトを通して⾒つけた予期せぬ課題‧反省点 • 現場の方々に浸透しなかった ◦ S&Mチームの上司にしか課題のヒアリングを行わなかった ◦ 上司の方しか求めていなかった、スプシで十分だった • 現場レベルの人の巻き込みが足りなかった ◦ 他部署との連携は、自部署完結のプロジェクトに比べて障壁が増える ▪ （まずは自部署でデータ利活用の経験を積んでも良かった） • ヒアリングからダッシュボード作成を行うまでに時間が掛かってしまった ◦ S&Mチームのタイムリーな要求分析に応えられなかった • データエンジニア業務とアナリスト業務の両立がかなり大変 ◦ 工数増え、時間が掛かった主な原因の一つ
24. 24
 5. 今後しくじらないために
25. Confidential © CREATIVE SURVEY データエンジニア業務とデータアナリスト業務を分担する ⇨セルフサービスモデルの導入 今後しくじらないために
26. Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務（データパイプライン、データウェアハウス層の整備） ◦ 主な担当：データエンジニア • それ以降のデータ分析業務 ◦ 主な担当：各現場の担当者 今後しくじらないために
27. Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務（データパイプライン、データウェアハウス層の整備） ◦ 主な担当：データエンジニア ◦ 実際にやったこと：dbtの導入 • それ以降のデータ分析業務 ◦ 主な担当：各現場の担当者 ◦ 実際にやったこと：ダッシュボード作成 今後しくじらないために
28. Confidential © CREATIVE SURVEY データエンジニアがやるべきこと(基盤整備で⽬指す⽅向性) • コスト削減 • 素早くデータを届けられるようなパイプライン作り • データの質の向上
29. Confidential © CREATIVE SURVEY dbtの実装 • RDSデータソースを整える ◦ 開発部や他部署の⽅が使いやすいようにデータソースを整備 • Incrementalモデルを用いたデータの増分更新の実装 ◦ 洗い替えによるデータロードのコスト削減 データパイプラインの整備
30. Confidential © CREATIVE SURVEY • DATALAKE層をSnowflakeからS3へ移行 ◦ Snowflake上にDATALAKE層が必要なケースに遭遇しない ◦ データロードのコスト削減 ◦ COPY句の利用→dbt×EXTERNAL STAGEの利用へ データウェアハウス層
31. Confidential © CREATIVE SURVEY コストが掛かって⽇時更 新できなかった dbtの導⼊(DATALAKE層をS3に移⾏前)
32. Confidential © CREATIVE SURVEY DATALAKE層 (Snowflake)に掛かって いたコストが０に ⽇時更新が可能になった dbtの導⼊(DATALAKE層をS3に移⾏後)
33. Confidential © CREATIVE SURVEY 基盤の整備の結果、現場の担当者が実際にやったこと 各現場の担当者 ⇨実際にやったこと：ダッシュボード作成 今後しくじらないために
34. Confidential © CREATIVE SURVEY カスタマーサクセス(CS)の⽅と連携しているプロジェクト • CSのデータ活⽤を進めることができるようになった 現場の⽅がSnowSightを⽤いて、ダッシュボードを⾃作してもらった 解約リスク指標のモニタリング
35. Confidential © CREATIVE SURVEY • 顧客のプロダクトデータダッシュボード作成のフローの仕組み化 1. ローカル環境でSQLが通ることを確認 2. 「依頼に必要な項⽬」を埋めてデータチームとSREチームの担当者にメンション 3. データチームのSQLレビューを経て、必要があれば現場に修正依頼を出す 4. 開発の⽅でsnowflakeへテーブルのインポート、完了次第、開発から連絡 • 依頼に必要な項⽬ a. 解析に利⽤する⽬的 i. 例：顧客の解約リスクの定量化のために、ユーザーのログイン頻度をヘルススコアに追加したいため。 b. インポートしてほしいテーブル c. 実⾏する予定のSQL（Docker環境で通ることが確認できたSQL） d. いつまでに必要か（期限） 実際にCSの⽅々とやったこと
36. 36
 6. 今後の展望
37. Confidential © CREATIVE SURVEY データ分析基盤の整備
 • プロダクトにデータ分析基盤を活用する動きを進めている • データソースの拡充 ◦ Salesforce上のデータソースもdbtで管理できるように
 データ利活用の促進 • データ分析基盤の布教 • CSだけでなく、他部署にもデータ活用を推進する 今後の展望