実務のデータ分析でハマったことと対策 / Kichijoji.pm 31

#kichijojipm

Transcript

1. 実務のデータ分析でハマった
   ことと対策
   吉祥寺.pm31
   

   View Slide

2. 自己紹介
   📝 名前: - Higuchi Kokoro
   📝 所属: - Wantedly
   📊 職種 - Data Scientict @ 新卒2年目
   🧑‍💻 お仕事 - Wantedly Visitの推薦の改善
   👾 趣味 - 🎾 🏂 🍺 🧖‍♂️ ♨️ 🛫
   アカウント:
   twitter: @zerebom_3
   GitHub: @zerebom
   

   View Slide

3. 本日のネタ
   (来年に向けて)データ分析タスクで、迷子にならないよう対策した話
   背景
   事業課題は役員→マネージャー→メンバーと経由して抽象度が下がって渡される
   課題発見から始める、高い抽象度のタスクに挑戦も
   迷子になることもしばしば
   

   View Slide

4. ハマったことと対策
   

   View Slide

5. ハマったこと: 集計したもののアクションに起こせない
   例: 施策リリース以降、ユーザのプロフィール入力率低下
   リリース前後の入力率をみるも、なだらかな変化で原因が判別できない
   対策: 答えが出せる粒度まで集計を細かくする
   入力率の低下傾向が見られるか? → 主観が入る & 原因を特定できない
   リリースしたプラットフォームだけ低下したか? → Yes, Noを出せる
   

   View Slide

6. ハマったこと: 集計したものの人に説明できない
   GitHub issueで時系列に結果をまとめるも、集計により前提がひっくり返る
   「この結果はもう古くて…」のように都度説明し、支離滅裂に
   対策: どこを前提にしているか立ち戻れるようにする
   ツリー構造にしてどこまで調べたかわかるように
   仮説と事実を分ける
   各仮説の確信度をメモる
   

   View Slide

7. ハマったこと: 答えが出せないのに、時間をかけすぎた
   新しい推薦モデルが、いくつか精度劣化する可能性があった
   ケースをログデータから再現しようとするも不正確・時間がかかる
   対策: データ分析は数ある手法の一つであると認識する
   データと分析経験があるとついデータを触りがち
   Howの一つに過ぎない。ほかで仮説の確信度をあげられないか検討
   ex) ヒアリング, 実際に製品を触る, A/Bテスト
   

   View Slide

8. まとめ
   対策
   解が出せるまで問題を細かくする
   どこまで前提か立ち戻れるようにする
   データ分析は手法の一つであると認識する
   学び
   伝わないなら価値は生めない
   手段より目的
   

   View Slide