Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
Search
CREATIVE SURVEY Inc.
January 11, 2024
Technology
1
660
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
2024年 1月 10日(水)にSansan・クリエイティブサーベイ・Uniposの3社で開催したイベントに弊社インターン永井が登壇した際の資料です。
CREATIVE SURVEY Inc.
January 11, 2024
Tweet
Share
More Decks by CREATIVE SURVEY Inc.
See All by CREATIVE SURVEY Inc.
dbt testを導入した話
creativesurvey
0
330
SnowflakeのCI/CDフローを整備した話 / snowflake-cicd-flow-maintenance
creativesurvey
0
550
【技術負債も解消しつつ顧客価値を最大化】ストリームアラインドチームでの挑戦と成果
creativesurvey
0
23
プロダクトエンジニアを支えるSREの動きと理想
creativesurvey
0
130
クリエイティブサーベイ社でのStreamlit活用事例
creativesurvey
0
210
STI導入で開発スピードアップ!一元管理で外部連携をスムーズに
creativesurvey
0
41
新規機能の開発における_早く価値を届ける開発の取り組み.pdf
creativesurvey
0
120
入社1ヶ月目でSREチームの方針と あり方を見直している話
creativesurvey
0
1.1k
Agile Tech Talk vol.1 「プロダクトの革新を支えた開発組織づくり」
creativesurvey
0
39
Other Decks in Technology
See All in Technology
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
950
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
テストケースの自動生成に生成AIの導入を試みた話と生成AIによる今後の期待
shift_evolve
0
190
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
380
プレイドにおけるDatadog APMの活用方法
plaidtech
PRO
2
120
Classmethod Odyssey 登壇資料
yamahiro
0
390
コンテナ・K8s研修 - 後半 Kubernetes 基礎&ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
1
120
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
Featured
See All Featured
Building Effective Engineering Teams - LeadDev
addyosmani
47
2.2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
How to Think Like a Performance Engineer
csswizardry
4
590
Building Flexible Design Systems
yeseniaperezcruz
323
37k
We Have a Design System, Now What?
morganepeng
46
7k
Building Applications with DynamoDB
mza
89
5.8k
The World Runs on Bad Software
bkeepers
PRO
63
11k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
RailsConf 2023
tenderlove
16
720
Ruby is Unlike a Banana
tanoku
96
10k
Transcript
データエンジニアが アナリスト業務で得た学びと セルフサービスモデルの実現 開発部 インターン生 永井 僚
Confidential © CREATIVE SURVEY Outline 1. 導⼊ 2. 去年いちばんのしくじり 3.
しくじりの背景 4. しくじりについての深掘り 5. 今後しくじらないために 6. 今後の展望
3 1. 導⼊
© 2023 CREATIVE SURVEY INC. All Rights Reserved. 自己紹介 永井僚
クリエイティブサーベイ株式会社 開発部インターン生 2019年4月明治大学総合数理学部入学。 2023年4月同大学院先端数理科学研究科入学。 ロボットシステムインテグレーション研究室にて、移動ロ ボットや深層強化学習、ネットワークロボットに関する研 究を行っている。 2023年1月よりエンジニアインターン生1号として現職。
Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 会社名:クリエイティブサーベイ株式会社 設 ⽴:2014年7⽉
代表取締役:⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク(Pマーク)取得 国際規格ISO27001(ISMS)取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY
Confidential © CREATIVE SURVEY あらゆる顧客接点で営業機会を逃さない「Ask One」 お客様の⽤途や利⽤シーンに合わせて2つの製品ラインナップを提供しています。
Confidential © CREATIVE SURVEY 既に多くの企業様に、Ask Oneをご利⽤頂いております ※⼀部抜粋 ‧ 順不同 2023年10⽉現在
Confidential © CREATIVE SURVEY データチームとは • データ分析基盤の構築 ◦ プロダクトが保存しているDBのデータをデータ分析基盤に統合 •
データ利活⽤の促進に向けた動き ◦ 契約企業ごとの解約リスクのスコアリング ◦ ヒアリングからダッシュボード作成
Confidential © CREATIVE SURVEY データチームの紹介 是枝 達也 永井 僚 (Sansanの⼤澤秀⼀さんが2024より参加)
Confidential © CREATIVE SURVEY データ分析基盤のアーキテクチャ
11 2. 去年いちばんのしくじり
Confidential © CREATIVE SURVEY セールスとマーケティングチーム(S&M)向けの ダッシュボード作成プロジェクト がポシャったこと 去年いちばんのしくじりは...
Confidential © CREATIVE SURVEY 参画時期 2023年1月~2023年2月 (期間:2ヶ月) 担当工程 企画 /
要件定義 / 設計 / コーディング / 運用・保守 / データ分析 担当職種 データエンジニア / データアナリスト 去年いちばんのしくじりの概要
14 3. しくじりの背景
Confidential © CREATIVE SURVEY • S&Mの指標がクローズドだったため、S&Mチームの上司しか確認できない • メンバーが個別にスプレッドシートに書き出したダッシュボードを活用 ◦ 各人の業務負担の増加
◦ 現場の業務が増えていた S&Mチームのデータ分析上の主要な課題
Confidential © CREATIVE SURVEY データ分析基盤の整備とダッシュボード作成により 誰でも見られるダッシュボードを作ろう! 課題の解決のためのアプローチ
17 4. しくじりについての深掘り
Confidential © CREATIVE SURVEY S&Mチームの上司に課題のヒアリング • どういうダッシュボードが欲しいのか聞いた ダッシュボード作成に向けて取り組んだこと
Confidential © CREATIVE SURVEY 現場がダッシュボードで欲しい情報 • 時系列で顧客の行動が追えること その他の課題 • 上司しかダッシュボードが見られない(重要)
◦ みんなが見られるダッシュボードを作成したいと感じた ヒアリングから⾒つかった課題
Confidential © CREATIVE SURVEY ダッシュボード作成 • Amazon QuickSight上での可視化 ◦ トレンド分析とファネル分析のダッシュボードの作成
データ分析基盤の整備 • 60名規模が扱うデータ分析基盤の構築 ◦ データの自動更新 課題に対するアプローチ
Confidential © CREATIVE SURVEY • トレンド分析とファネル分析による顧客行動の可視化 Amazon QuickSightを使⽤した顧客⾏動の可視化
Confidential © CREATIVE SURVEY • 時系列での顧客行動の予測 • ダッシュボードの属人化の撤廃 という当初掲げていた課題は解決したものの、現場の方々に浸透しなかった 当初掲げていた課題は解決したものの…
Confidential © CREATIVE SURVEY プロジェクトを通して⾒つけた予期せぬ課題‧反省点 • 現場の方々に浸透しなかった ◦ S&Mチームの上司にしか課題のヒアリングを行わなかった ◦
上司の方しか求めていなかった、スプシで十分だった • 現場レベルの人の巻き込みが足りなかった ◦ 他部署との連携は、自部署完結のプロジェクトに比べて障壁が増える ▪ (まずは自部署でデータ利活用の経験を積んでも良かった) • ヒアリングからダッシュボード作成を行うまでに時間が掛かってしまった ◦ S&Mチームのタイムリーな要求分析に応えられなかった • データエンジニア業務とアナリスト業務の両立がかなり大変 ◦ 工数増え、時間が掛かった主な原因の一つ
24 5. 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニア業務とデータアナリスト業務を分担する ⇨セルフサービスモデルの導入 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア •
それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア ◦
実際にやったこと:dbtの導入 • それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 ◦ 実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニアがやるべきこと(基盤整備で⽬指す⽅向性) • コスト削減 • 素早くデータを届けられるようなパイプライン作り •
データの質の向上
Confidential © CREATIVE SURVEY dbtの実装 • RDSデータソースを整える ◦ 開発部や他部署の⽅が使いやすいようにデータソースを整備 •
Incrementalモデルを用いたデータの増分更新の実装 ◦ 洗い替えによるデータロードのコスト削減 データパイプラインの整備
Confidential © CREATIVE SURVEY • DATALAKE層をSnowflakeからS3へ移行 ◦ Snowflake上にDATALAKE層が必要なケースに遭遇しない ◦ データロードのコスト削減
◦ COPY句の利用→dbt×EXTERNAL STAGEの利用へ データウェアハウス層
Confidential © CREATIVE SURVEY コストが掛かって⽇時更 新できなかった dbtの導⼊(DATALAKE層をS3に移⾏前)
Confidential © CREATIVE SURVEY DATALAKE層 (Snowflake)に掛かって いたコストが0に ⽇時更新が可能になった dbtの導⼊(DATALAKE層をS3に移⾏後)
Confidential © CREATIVE SURVEY 基盤の整備の結果、現場の担当者が実際にやったこと 各現場の担当者 ⇨実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY カスタマーサクセス(CS)の⽅と連携しているプロジェクト • CSのデータ活⽤を進めることができるようになった 現場の⽅がSnowSightを⽤いて、ダッシュボードを⾃作してもらった 解約リスク指標のモニタリング
Confidential © CREATIVE SURVEY • 顧客のプロダクトデータダッシュボード作成のフローの仕組み化 1. ローカル環境でSQLが通ることを確認 2. 「依頼に必要な項⽬」を埋めてデータチームとSREチームの担当者にメンション
3. データチームのSQLレビューを経て、必要があれば現場に修正依頼を出す 4. 開発の⽅でsnowflakeへテーブルのインポート、完了次第、開発から連絡 • 依頼に必要な項⽬ a. 解析に利⽤する⽬的 i. 例:顧客の解約リスクの定量化のために、ユーザーのログイン頻度をヘルススコアに追加したいため。 b. インポートしてほしいテーブル c. 実⾏する予定のSQL(Docker環境で通ることが確認できたSQL) d. いつまでに必要か(期限) 実際にCSの⽅々とやったこと
36 6. 今後の展望
Confidential © CREATIVE SURVEY データ分析基盤の整備 • プロダクトにデータ分析基盤を活用する動きを進めている • データソースの拡充 ◦
Salesforce上のデータソースもdbtで管理できるように データ利活用の促進 • データ分析基盤の布教 • CSだけでなく、他部署にもデータ活用を推進する 今後の展望
None