PdMが身につけるべきデータ分析スキル 実践編

2023/06/06実施のプロデザ！Vol.11の発表資料になります。

Transcript

1. © Recruit Co., Ltd.
2. © Recruit Co., Ltd. 前回 vol.4の振り返り ポイント ×：データ分析の型 ◯：適切な好奇心 ×：分析手法を知っている ◯：企画に繋げる力 （国語と算数）
3. © Recruit Co., Ltd. パネルディスカッションのTopics 1. 【事例紹介】 社内に埋もれたデータを活用し開発した、営業活動を支援する 「サロンの集客課題を定量的に判断できるWebレポートサービス」 【事例紹介】 『SUUMO』カスタマー向けのレコメンド機能に対し、基礎的な定量 データの分析から、定性的な仮説を策定、PDCAを回した改善施策 データサイエンティストからPdMに転身してわかった、 プロダクトマネージャーがデータ分析をするためのポイントや思考法 2. 3. データを見るのではなく データの裏にある ユーザー行動を 考えること
4. © Recruit Co., Ltd. Topic 1. 【事例紹介】 社内に埋もれたデータを活用し開発した、営業活動を支援する 「課題特定に必要なデータを、必要な形でだせるWebレポート」
5. © Recruit Co., Ltd. 5 iPad版営業商談レポート “Ribbon” 課題特定に必要なデータを、必要な形でだせるwebレポート 特徴 • iPad商談に適した画面設計 • 営業行動に沿った構成及びデータの可視化 （データ・ストーリーテリング） • 簡単ログイン
6. © Recruit Co., Ltd. 6 当時の不：商談前の準備に時間がかかっている
7. © Recruit Co., Ltd. 7 何に時間がかかっているのか理解するために現場を観察 紐解いていくと主要因は2点 不足情報を 追加する作業 様々なデータを 出力して解釈する 社内のデータを組み合わせることで 作業工数を削減できないか データを一元化し商談に沿った構成にすることで 出力&解釈の時間を削減できないか
8. © Recruit Co., Ltd. 8 現場に立ちきって、プロダクト開発することに徹する 自分の足で 一次情報を取りに行く 必要最低限の 情報まで削ぐ 未経験の自分が 営業できる状態まで プロダクトを磨く 何度も商談同行 営業メンバーのペルソナ作成 営業組織GMに商談ロープレ
9. © Recruit Co., Ltd. Topic 2. 【事例紹介】 『SUUMO』カスタマー向けのレコメンド機能に対し、基礎的な定量 データの分析から、定性的な仮説を策定、PDCAを回した改善施策
10. © Recruit Co., Ltd. 10 『SUUMO』について 全国のマンション、一戸建て、土地などの販売・売却情報から賃貸・リフォームまで、 住まいに関するあらゆる情報が満載の「不動産総合ポータルサイト」
11. © Recruit Co., Ltd. 11 『SUUMO』のレコメンド ユーザーにとって最適な物件を 提案する機能 画面例
12. © Recruit Co., Ltd. 12 レコメンド改善の進め方 ① 課題特定（定量分析/モデル分析） ② アプローチ検討 定量分析 ex. レコメンド物件の価格分布 モデル分析 ex. モデルにInputしている特徴量の重要度
13. © Recruit Co., Ltd. 13 しくじり事例 • 自分の強みであるデータ分析の知見を活かすことを軸に検討。 • 現状モデルの課題とそれを克服している手法についてリサーチして 企画を作る。 Yifan Hu, Yehuda Koren, Chris Volinsky "Collaborative Filtering for Implicit Feedback Datasets", 2008.
14. © Recruit Co., Ltd. 14 しくじり事例 • 自分の強みであるデータ分析の知見を活かすことを軸に検討。 • 現状モデルの課題とそれを克服している手法についてリサーチして 企画を作る。 Yifan Hu, Yehuda Koren, Chris Volinsky "Collaborative Filtering for Implicit Feedback Datasets", 2008. 改善が見られず敗北
15. © Recruit Co., Ltd. 15 ユーザー課題起点の思考に転換 • 「基礎分析」と「実機でのレコメンド体験確認」を行ったり来たりし ながら考察することで課題を発見する • 大事なポイント：仮説を持つこと, その仮説を疑うこと • IMP率 • クリック率 • 一人当たり利用回数 • 経由CVR • 価格分布 • セグメント分析 Etc... 基礎分析 実機確認
16. © Recruit Co., Ltd. 16 改善事例 既存レコメンドの概要 上位：お気に入り物件 下位：類似物件 お気に入り物件 類似物件
17. © Recruit Co., Ltd. 17 定量分析から仮説を出す お気に入り物件のCVRが比較的高いことが わかる • 過去にお気に入りした物件なのでCVRが 高いことは納得がいく • ではなぜ残りのユーザーはCVしない？
18. © Recruit Co., Ltd. 18 データの裏側にあるユーザー行動を読み取る CVしないユーザーの行動について考える • すでにCV済み？ • → CV済みの物件は表示されないようになっている • 間違えてお気に入り登録した？ • → そこまで大多数ではないのでは • 時間が経って今はすでに興味を失っている？ • → 念の為、お気に入りから削除してないだけの物件はありそう
19. © Recruit Co., Ltd. 19 選択したアプローチ • 興味の減衰をモデルに組み込んで、興味がなくなったお気に入り物件 は上位に表示されないようにする • 事前にオフライン検証を行うことで、仮説の精度を高める
20. © Recruit Co., Ltd. 20 選択したアプローチ • 興味の減衰をモデルに組み込んで、興味がなくなったお気に入り物件 は上位に表示されないようにする • 事前にオフライン検証を行うことで、仮説の精度を高める A/Bテストした結果、 レコメンドCV数が改善された！
21. © Recruit Co., Ltd. Topic 3. データサイエンティストからPdMに転身してわかった、 プロダクトマネージャーがデータ分析をするためのポイントや思考法
22. © Recruit Co., Ltd. 22 DS×PdMで協業する業務の種類 ① 機械学習・DLを用いたロジック開発 ② モニタリング・BIツールの開発 ③ スポット分析・シミュレーション
23. © Recruit Co., Ltd. 23 協業のポイント 大前提、データ分析はPdMが自身でできた方が良い…！ (現在私も社内でTableauのハンズオンを開催したりしています) ▪ ポイント • 目的を明確に言語化して伝えること • 用途シーンをできるだけ具体化する
24. © Recruit Co., Ltd. 24 ① 機械学習・DLを用いたロジック開発 「何を入れて何が出てくるのか」の定義が重要！
25. © Recruit Co., Ltd. 25 ② モニタリング・BIツールの開発 クライアント向けのクチコミレポートの例 ・自社営業とクライアントにとって価値あるレポートの追求 営業トークをし てみるとこのグ ラフは先に見せ た方がいい このデータは見 せても何もアク ションできない のでいらない こんなデータが あれば、 クライアントが 喜ぶと思う 何度か繰り返した 結果 営業トークの型とセットに なったレポートの完成 PdM中心に営業シミュレーション会を実施 たたき台のレポートをブラッシュアップ
26. © Recruit Co., Ltd. CONNPASSページからぜひご予約ください 差し替え
27. © Recruit Co., Ltd. プロデザ！アーカイブ動画をメルマガで順次配信中！！ こちらよりメルマガ登録ください システムの都合で登録ボタンが 「応募」となっております