プロダクト意思決定の質×スピードを上げる、"いつも"使われるモニタリング開発のアプローチ / techplay221101_02_shirako

2022/11/01_リクルートが考える『意思決定に効くデータマネジメント』～アナリティクスエンジニア組織の立ち上げと事例紹介～での、白子の講演資料になります

Transcript

1. © Recruit Co., Ltd. All Rights Reserved プロダクト意思決定の質×スピードを上げる、 "いつも"使われるモニタリング開発のアプローチ 1 データ推進室 データテクノロジーユニット D3M部 SaaS D3Mグループ 白子 佳孝 2022/11/01
2. © Recruit Co., Ltd. All Rights Reserved Speaker 2 白子 佳孝 （シラコ ヨシタカ) 株式会社リクルート (2017/6〜) • SaaS D3Mグループ グループマネージャー • 2017/6〜　データ分析基盤の運用リーダー • 2018/4〜　データマネジメント組織のチームリード • 2019/4〜　旅行・飲食・美容・SaaS領域データマネジメント グループマネージャー • 2021/4〜　SaaS領域データマネジメント グループマネージャー #recruitdata
3. © Recruit Co., Ltd. All Rights Reserved リクルートが目指すエコシステム 3 出典：　Recruit Holdings 2022年3月期　決算説明会資料 #recruitdata
4. © Recruit Co., Ltd. All Rights Reserved SaaS D3Mグループ ビジョン 4 プロダクトに関わる人が 1秒で数値の確認、2分で原因の深堀り、30分で意思決定 できる状態の実現 事業の意思決定を正しく行うためのデータ品質に責任を持つ（データマネジメント/ガバナンス） データ環境の整備や教育によってデータ利用者が正しく分析を実行できる状態を実現する（セルフサービスBI） #recruitdata
5. © Recruit Co., Ltd. All Rights Reserved このセッションでは プロダクト意思決定の質×スピードを上げる、”いつも”使われるモニタリングを開発するために • どういう課題があったのか • それをどう乗り越えたのか、どう進めたのか • 結果どうなったのか をお話します 5 #recruitdata
6. © Recruit Co., Ltd. All Rights Reserved 事例紹介 6 #recruitdata
7. © Recruit Co., Ltd. All Rights Reserved 本事例の対象事業領域 7 7 Air 決済 ... データテクノロジー ユニット データエンジニアリング部 データサイエンス部 SaaS領域　データソリューションユニット Labor SaaS D3M グループ #recruitdata
8. © Recruit Co., Ltd. All Rights Reserved サービス立ち上げ時のスピードを優先し、プロダクトサイドでデータ業務を実施 分析者毎に個別にモニタリング作成やデータソースとなるテーブルを作成したり、スプレッドシートでKPI数値を集 計・可視化したりと様々な取り組みを行っていた。 あるプロダクトにて... 8 #recruitdata
9. © Recruit Co., Ltd. All Rights Reserved デリバリーを優先し個々にバラバラとデータ活用を進めたことによって、下記問題が発生 • KGI/KPIの算出定義や使用するデータが統一されていないため、同じ指標でも分析者やレポートごとに異 なる数字が出てきてしまう • モニタリングダッシュボードが雑然としており、どの数字を事業として正しいものとして扱うのか、関係メン バーの目線合わせが出来ていない その結果 9 データを活用した意思決定の質×スピードが低下 #recruitdata
10. © Recruit Co., Ltd. All Rights Reserved 10 #recruitdata 拡大/グロースフェーズになるにつれて 正しい数字をプロダクトに関わる全員が確認できる状態は更に重要になるはず データマネジメントを推進すべきタイミングだ！
11. © Recruit Co., Ltd. All Rights Reserved データマネジメント活動に対する事業内の温度感を上げづらい... 事業として検討テーマが多いなかで、本筋の案件と比較した際にデータマネジメント活動に対する温度感が上げづ らいという状況 • データマネジメント活動を進めたら、何が嬉しいんだっけ？ • 数値は見えているし、一応モニタリングもできているし、今やる必要ある？ 「1秒、2分、30分」を実現し、プロダクトにおけるデータを活用した意思決定の質×スピードを向上させるにはデー タ利活用者、特に意思決定者との協働が必須 （我々の自己満足にならないように） 推進するにあたって大きな壁が 11 #recruitdata
12. © Recruit Co., Ltd. All Rights Reserved 課題解消に向けて プロダクトサイドとの関係構築とデータマネジメント活動の両面が必要であった 12 データマネジメント活動 まずは正しい数値を出すための土台を固める • 重要指標管理 / データマート開発 プロダクトサイドとの関係構築 「目指すデータ利活用像」に関する目線合わせ データ組織の信頼残高を高める活動 プロダクトに関わる一次情報の獲得 #recruitdata
13. © Recruit Co., Ltd. All Rights Reserved プロダクトサイドとの関係構築 13 ▪意思決定者との週次定例 「目指すデータ利活用像」に関して丁寧に目線合わせをおこなう ➢ 他プロダクトの状況を踏まえた説明、今後起こり得るリスクの説明 データ組織が何に取り組んでいるのか、それによってどうデータ環境が変化したのかを共有する。また、アドホックな 集計依頼等も受けて示唆だしとかもしてみる。 ➢ データ組織の信頼残高を高める ▪プロダクト戦略を検討する会議体への参加 プロダクト戦略を検討する会議体に参加し、どういう議論/意見が交わされているのか、どの指標が特に注目されてい るのかを把握しにいき、一次情報を獲得する。 #recruitdata
14. © Recruit Co., Ltd. All Rights Reserved データマネジメント活動 14 モニタリング環境の前に、正しい数値を出すための土台を整備する ▪重要指標の管理 現状モニタリングしている重要指標の定義を把握し、 プロダクトとして見るべき指標の論理定義及び物理定義 （SQL）の正解を決め、一元管理する #recruitdata
15. © Recruit Co., Ltd. All Rights Reserved モニタリング環境の前に、正しい数値を出すための土台を整備する ▪SSOT（Single Source of Truth）データマートの開発 重要指標の数値が正しくかつ簡単に算出できるようにする ➢ 信頼できる唯一の情報源とするためには品質がかなり重要 ➢ 品質管理強度を高める取り組み実施 （SQLコーディングルールの整備、マートのカラム名ルール整備、リリース後の品質チェックツール導入等） ※ SSOTとは組織内の全員が同じデータに基づいてビジネスの意思決定を行うことを保証するために使用される概念 （参考： https://www.talend.com/jp/resources/single-source-truth/) データマネジメント活動 15 #recruitdata
16. © Recruit Co., Ltd. All Rights Reserved 品質管理強度を高める取り組み（一例） 16 SQLコーディングルール カラム名ルール 参考： https://techlife.cookpad.com/entry/2016/11/09/000033 データマート品質チェック #recruitdata
17. © Recruit Co., Ltd. All Rights Reserved • データ組織サイドが戦略を理解していることで、筋のいい提案ができる ◦ プロダクト戦略を検討する会議体への参加によって、プロダクト目標や現状直面している課題、大切にしている想 いなどが分かり、意思決定者と解像度が高い状態でコミュニケーション可能に • プロダクトサイドがデータマネジメント活動結果を通じて、重要性を理解し支援してくれる ◦ 「〇〇の会議体での報告に、マートを使って出してない数値は使用NGにしたほうがいい」というコメントも という状態を作ることができ、データマネジメント活動に対する温度感を上げることができた 取り組みにより 17 #recruitdata
18. © Recruit Co., Ltd. All Rights Reserved そして本題へ 18 事業を巻き込んだデータマネジメント推進が出来る土台ができたので、 意思決定に直接関わるモニタリング（Viz/配信方法/管理方法）の整備を行い、 事業としてみるべき正しい数値にプロダクトに関わる全員が容易にアクセスし、説明なしで理解できる状態にする 「1秒、2分、30分」の実現に向けて #recruitdata
19. © Recruit Co., Ltd. All Rights Reserved 大事にした考え方 • モニタリング設計はとても難しいので、丁寧に整理・目線合わせする • 誰の意思決定に影響しないモニタリングは負債と考える ◦ その数値を見た結果どういうアクションに繋がるのかも重要 • 作って終わりではなく、作った後の運用まで考える 19 #recruitdata
20. © Recruit Co., Ltd. All Rights Reserved 意思決定者との週次ですり合わせを実施 段階的に開発していき、要件要望を都度ヒアリングしつつ進めていくスタイル 段階のイメージ • モック（手書き） ◦ 見え感/イメージのすり合わせ • α版（プロトタイプ） ◦ 実際のデータを使いTableauで可視化。こういうストーリーで話したいからこういう構 成にしてほしい、などの要望がでてくるので、それを都度反映しつつ進める • 正式版 ◦ UI観点でカラーリングを変えたり、α版で出てきた要望を追加しリリース。配信も実施 取り組んだこと 20 #recruitdata
21. © Recruit Co., Ltd. All Rights Reserved ちょっとしたTips 21 デザインというのはモニタリングにおいて非常に重要 (直感的に分かるように） TableauUIをきれいにするためにデザイナーに協力要請 #recruitdata
22. © Recruit Co., Ltd. All Rights Reserved 実現できたこと プロダクトの意思決定者がいるモニタリング会議の場で、作成したダッシュボードが使われるようになり、その場で数 値を見ながら意思決定に関わる建設的な議論ができている状態に ➢ ダッシュボードを通じて、プロダクト意思決定の質×スピードを上げることができた ➢ プロデューサーからは「定義確認の話がなくなった実感がある」とコメントあり プロダクトに関わる人が 1秒で数値の確認、2分で原因の深堀り、30分で意思決定 できる状態を実現 22 #recruitdata
23. © Recruit Co., Ltd. All Rights Reserved プラスの取り組み モニタリング・分析の環境が揃ったので、セルフサービスBIの推進が可能に 現在、単なるSQL勉強会ではなく、自身の業務に関する分析仮説を立てて、データを抽出して仮説検証する＆学んだ ことを自組織へ拡げるという新しい学習プログラムを実施中 23 事業組織のマネージャーが推薦したメンバーに対し データ分析学習プログラムを実施 他組織 受講生が自組織で データ人材を育成 #recruitdata 1. 学習 2. 自走 3. 拡大 データ分析の”型”を学び 実践してみる 分析の数をこなして 自走する 学習内容を自組織の 他メンバーへ拡げる データ組織
24. © Recruit Co., Ltd. All Rights Reserved 最後に 24 #recruitdata
25. © Recruit Co., Ltd. All Rights Reserved 日々の活動を通じて、 担当事業のデータに誰よりも詳しい存在だからこそ、事業責任者から頼られる存在として意思決定支援ができる ということを実感しています ただし、AEの専門性を活かしてプロダクトグロースを成し遂げるためにはまだまだ白地はたくさんあると思ってます • 利活用向上のための継続的な取り組み （データ利活用のUXを上げる取り組み） • 人手をかけず、データの信頼性を継続的に維持する仕組みづくり • など アナリティクスエンジニアとして、SaaS領域のデータ利活用を更にドライブさせるため、 「1秒2分30分」の世界観をもっとあたりまえにする活動を続けていきます 伝えたいこと 25 #recruitdata