Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロダクト意思決定の質×スピードを上げる、"いつも"使われるモニタリング開発のアプローチ / ...
Search
Recruit
PRO
November 01, 2022
Technology
2
3.6k
プロダクト意思決定の質×スピードを上げる、"いつも"使われるモニタリング開発のアプローチ / techplay221101_02_shirako
2022/11/01_リクルートが考える『意思決定に効くデータマネジメント』~アナリティクスエンジニア組織の立ち上げと事例紹介~での、白子の講演資料になります
Recruit
PRO
November 01, 2022
Tweet
Share
More Decks by Recruit
See All by Recruit
毎晩の 負荷試験自動実行による効果
recruitengineers
PRO
5
180
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
440
Javaで作る RAGを活用した Q&Aアプリケーション
recruitengineers
PRO
1
160
問題解決に役立つ数理工学
recruitengineers
PRO
13
2.8k
Curiosity & Persistence
recruitengineers
PRO
2
200
結果的にこうなった。から見える メカニズムのようなもの。
recruitengineers
PRO
1
430
成長実感と伸び悩みからふりかえる キャリアグラフ
recruitengineers
PRO
1
210
リクルートの オンプレ環境の未来を語る
recruitengineers
PRO
3
380
LLMのプロダクト装着と独自モデル開発
recruitengineers
PRO
1
390
Other Decks in Technology
See All in Technology
Autify Company Deck
autifyhq
2
44k
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
590
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
750
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.5k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
18k
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
350
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
plaidtech
PRO
0
390
“日本一のM&A企業”を支える、少人数SREの効率化戦略 / SRE NEXT 2025
genda
1
270
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
0
320
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
1k
ポストコロナ時代の SaaS におけるコスト削減の意義
izzii
1
470
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
5.6k
Rails Girls Zürich Keynote
gr2m
95
14k
Done Done
chrislema
184
16k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Documentation Writing (for coders)
carmenintech
72
4.9k
Designing for humans not robots
tammielis
253
25k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Thoughts on Productivity
jonyablonski
69
4.7k
The Language of Interfaces
destraynor
158
25k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Transcript
© Recruit Co., Ltd. All Rights Reserved プロダクト意思決定の質×スピードを上げる、 "いつも"使われるモニタリング開発のアプローチ 1
データ推進室 データテクノロジーユニット D3M部 SaaS D3Mグループ 白子 佳孝 2022/11/01
© Recruit Co., Ltd. All Rights Reserved Speaker 2 白子
佳孝 (シラコ ヨシタカ) 株式会社リクルート (2017/6〜) • SaaS D3Mグループ グループマネージャー • 2017/6〜 データ分析基盤の運用リーダー • 2018/4〜 データマネジメント組織のチームリード • 2019/4〜 旅行・飲食・美容・SaaS領域データマネジメント グループマネージャー • 2021/4〜 SaaS領域データマネジメント グループマネージャー #recruitdata
© Recruit Co., Ltd. All Rights Reserved リクルートが目指すエコシステム 3 出典: Recruit
Holdings 2022年3月期 決算説明会資料 #recruitdata
© Recruit Co., Ltd. All Rights Reserved SaaS D3Mグループ ビジョン
4 プロダクトに関わる人が 1秒で数値の確認、2分で原因の深堀り、30分で意思決定 できる状態の実現 事業の意思決定を正しく行うためのデータ品質に責任を持つ(データマネジメント/ガバナンス) データ環境の整備や教育によってデータ利用者が正しく分析を実行できる状態を実現する(セルフサービスBI) #recruitdata
© Recruit Co., Ltd. All Rights Reserved このセッションでは プロダクト意思決定の質×スピードを上げる、”いつも”使われるモニタリングを開発するために •
どういう課題があったのか • それをどう乗り越えたのか、どう進めたのか • 結果どうなったのか をお話します 5 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 事例紹介 6 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 本事例の対象事業領域 7 7
Air 決済 ... データテクノロジー ユニット データエンジニアリング部 データサイエンス部 SaaS領域 データソリューションユニット Labor SaaS D3M グループ #recruitdata
© Recruit Co., Ltd. All Rights Reserved サービス立ち上げ時のスピードを優先し、プロダクトサイドでデータ業務を実施 分析者毎に個別にモニタリング作成やデータソースとなるテーブルを作成したり、スプレッドシートでKPI数値を集 計・可視化したりと様々な取り組みを行っていた。
あるプロダクトにて... 8 #recruitdata
© Recruit Co., Ltd. All Rights Reserved デリバリーを優先し個々にバラバラとデータ活用を進めたことによって、下記問題が発生 • KGI/KPIの算出定義や使用するデータが統一されていないため、同じ指標でも分析者やレポートごとに異
なる数字が出てきてしまう • モニタリングダッシュボードが雑然としており、どの数字を事業として正しいものとして扱うのか、関係メン バーの目線合わせが出来ていない その結果 9 データを活用した意思決定の質×スピードが低下 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 10 #recruitdata 拡大/グロースフェーズになるにつれて
正しい数字をプロダクトに関わる全員が確認できる状態は更に重要になるはず データマネジメントを推進すべきタイミングだ!
© Recruit Co., Ltd. All Rights Reserved データマネジメント活動に対する事業内の温度感を上げづらい... 事業として検討テーマが多いなかで、本筋の案件と比較した際にデータマネジメント活動に対する温度感が上げづ らいという状況
• データマネジメント活動を進めたら、何が嬉しいんだっけ? • 数値は見えているし、一応モニタリングもできているし、今やる必要ある? 「1秒、2分、30分」を実現し、プロダクトにおけるデータを活用した意思決定の質×スピードを向上させるにはデー タ利活用者、特に意思決定者との協働が必須 (我々の自己満足にならないように) 推進するにあたって大きな壁が 11 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 課題解消に向けて プロダクトサイドとの関係構築とデータマネジメント活動の両面が必要であった 12
データマネジメント活動 まずは正しい数値を出すための土台を固める • 重要指標管理 / データマート開発 プロダクトサイドとの関係構築 「目指すデータ利活用像」に関する目線合わせ データ組織の信頼残高を高める活動 プロダクトに関わる一次情報の獲得 #recruitdata
© Recruit Co., Ltd. All Rights Reserved プロダクトサイドとの関係構築 13 ▪意思決定者との週次定例
「目指すデータ利活用像」に関して丁寧に目線合わせをおこなう ➢ 他プロダクトの状況を踏まえた説明、今後起こり得るリスクの説明 データ組織が何に取り組んでいるのか、それによってどうデータ環境が変化したのかを共有する。また、アドホックな 集計依頼等も受けて示唆だしとかもしてみる。 ➢ データ組織の信頼残高を高める ▪プロダクト戦略を検討する会議体への参加 プロダクト戦略を検討する会議体に参加し、どういう議論/意見が交わされているのか、どの指標が特に注目されてい るのかを把握しにいき、一次情報を獲得する。 #recruitdata
© Recruit Co., Ltd. All Rights Reserved データマネジメント活動 14 モニタリング環境の前に、正しい数値を出すための土台を整備する
▪重要指標の管理 現状モニタリングしている重要指標の定義を把握し、 プロダクトとして見るべき指標の論理定義及び物理定義 (SQL)の正解を決め、一元管理する #recruitdata
© Recruit Co., Ltd. All Rights Reserved モニタリング環境の前に、正しい数値を出すための土台を整備する ▪SSOT(Single Source
of Truth)データマートの開発 重要指標の数値が正しくかつ簡単に算出できるようにする ➢ 信頼できる唯一の情報源とするためには品質がかなり重要 ➢ 品質管理強度を高める取り組み実施 (SQLコーディングルールの整備、マートのカラム名ルール整備、リリース後の品質チェックツール導入等) ※ SSOTとは組織内の全員が同じデータに基づいてビジネスの意思決定を行うことを保証するために使用される概念 (参考: https://www.talend.com/jp/resources/single-source-truth/) データマネジメント活動 15 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 品質管理強度を高める取り組み(一例) 16 SQLコーディングルール
カラム名ルール 参考: https://techlife.cookpad.com/entry/2016/11/09/000033 データマート品質チェック #recruitdata
© Recruit Co., Ltd. All Rights Reserved • データ組織サイドが戦略を理解していることで、筋のいい提案ができる ◦
プロダクト戦略を検討する会議体への参加によって、プロダクト目標や現状直面している課題、大切にしている想 いなどが分かり、意思決定者と解像度が高い状態でコミュニケーション可能に • プロダクトサイドがデータマネジメント活動結果を通じて、重要性を理解し支援してくれる ◦ 「〇〇の会議体での報告に、マートを使って出してない数値は使用NGにしたほうがいい」というコメントも という状態を作ることができ、データマネジメント活動に対する温度感を上げることができた 取り組みにより 17 #recruitdata
© Recruit Co., Ltd. All Rights Reserved そして本題へ 18 事業を巻き込んだデータマネジメント推進が出来る土台ができたので、
意思決定に直接関わるモニタリング(Viz/配信方法/管理方法)の整備を行い、 事業としてみるべき正しい数値にプロダクトに関わる全員が容易にアクセスし、説明なしで理解できる状態にする 「1秒、2分、30分」の実現に向けて #recruitdata
© Recruit Co., Ltd. All Rights Reserved 大事にした考え方 • モニタリング設計はとても難しいので、丁寧に整理・目線合わせする
• 誰の意思決定に影響しないモニタリングは負債と考える ◦ その数値を見た結果どういうアクションに繋がるのかも重要 • 作って終わりではなく、作った後の運用まで考える 19 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 意思決定者との週次ですり合わせを実施 段階的に開発していき、要件要望を都度ヒアリングしつつ進めていくスタイル 段階のイメージ
• モック(手書き) ◦ 見え感/イメージのすり合わせ • α版(プロトタイプ) ◦ 実際のデータを使いTableauで可視化。こういうストーリーで話したいからこういう構 成にしてほしい、などの要望がでてくるので、それを都度反映しつつ進める • 正式版 ◦ UI観点でカラーリングを変えたり、α版で出てきた要望を追加しリリース。配信も実施 取り組んだこと 20 #recruitdata
© Recruit Co., Ltd. All Rights Reserved ちょっとしたTips 21 デザインというのはモニタリングにおいて非常に重要
(直感的に分かるように) TableauUIをきれいにするためにデザイナーに協力要請 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 実現できたこと プロダクトの意思決定者がいるモニタリング会議の場で、作成したダッシュボードが使われるようになり、その場で数 値を見ながら意思決定に関わる建設的な議論ができている状態に
➢ ダッシュボードを通じて、プロダクト意思決定の質×スピードを上げることができた ➢ プロデューサーからは「定義確認の話がなくなった実感がある」とコメントあり プロダクトに関わる人が 1秒で数値の確認、2分で原因の深堀り、30分で意思決定 できる状態を実現 22 #recruitdata
© Recruit Co., Ltd. All Rights Reserved プラスの取り組み モニタリング・分析の環境が揃ったので、セルフサービスBIの推進が可能に 現在、単なるSQL勉強会ではなく、自身の業務に関する分析仮説を立てて、データを抽出して仮説検証する&学んだ
ことを自組織へ拡げるという新しい学習プログラムを実施中 23 事業組織のマネージャーが推薦したメンバーに対し データ分析学習プログラムを実施 他組織 受講生が自組織で データ人材を育成 #recruitdata 1. 学習 2. 自走 3. 拡大 データ分析の”型”を学び 実践してみる 分析の数をこなして 自走する 学習内容を自組織の 他メンバーへ拡げる データ組織
© Recruit Co., Ltd. All Rights Reserved 最後に 24 #recruitdata
© Recruit Co., Ltd. All Rights Reserved 日々の活動を通じて、 担当事業のデータに誰よりも詳しい存在だからこそ、事業責任者から頼られる存在として意思決定支援ができる ということを実感しています
ただし、AEの専門性を活かしてプロダクトグロースを成し遂げるためにはまだまだ白地はたくさんあると思ってます • 利活用向上のための継続的な取り組み (データ利活用のUXを上げる取り組み) • 人手をかけず、データの信頼性を継続的に維持する仕組みづくり • など アナリティクスエンジニアとして、SaaS領域のデータ利活用を更にドライブさせるため、 「1秒2分30分」の世界観をもっとあたりまえにする活動を続けていきます 伝えたいこと 25 #recruitdata