実務のデータ分析でハマったことと対策 / Kichijoji.pm 31

#kichijojipm

Transcript

1. 実務のデータ分析でハマった ことと対策 吉祥寺.pm31
2. 自己紹介 📝 名前: - Higuchi Kokoro 📝 所属: - Wantedly 📊 職種 - Data Scientict @ 新卒2年目 🧑‍💻 お仕事 - Wantedly Visitの推薦の改善 👾 趣味 - 🎾 🏂 🍺 🧖‍♂️ ♨️ 🛫 アカウント: twitter: @zerebom_3 GitHub: @zerebom
3. 本日のネタ (来年に向けて)データ分析タスクで、迷子にならないよう対策した話 背景 事業課題は役員→マネージャー→メンバーと経由して抽象度が下がって渡される 課題発見から始める、高い抽象度のタスクに挑戦も 迷子になることもしばしば
4. ハマったことと対策
5. ハマったこと: 集計したもののアクションに起こせない 例: 施策リリース以降、ユーザのプロフィール入力率低下 リリース前後の入力率をみるも、なだらかな変化で原因が判別できない 対策: 答えが出せる粒度まで集計を細かくする 入力率の低下傾向が見られるか? → 主観が入る & 原因を特定できない リリースしたプラットフォームだけ低下したか? → Yes, Noを出せる
6. ハマったこと: 集計したものの人に説明できない GitHub issueで時系列に結果をまとめるも、集計により前提がひっくり返る 「この結果はもう古くて…」のように都度説明し、支離滅裂に 対策: どこを前提にしているか立ち戻れるようにする ツリー構造にしてどこまで調べたかわかるように 仮説と事実を分ける 各仮説の確信度をメモる
7. ハマったこと: 答えが出せないのに、時間をかけすぎた 新しい推薦モデルが、いくつか精度劣化する可能性があった ケースをログデータから再現しようとするも不正確・時間がかかる 対策: データ分析は数ある手法の一つであると認識する データと分析経験があるとついデータを触りがち Howの一つに過ぎない。ほかで仮説の確信度をあげられないか検討 ex) ヒアリング, 実際に製品を触る, A/Bテスト
8. まとめ 対策 解が出せるまで問題を細かくする どこまで前提か立ち戻れるようにする データ分析は手法の一つであると認識する 学び 伝わないなら価値は生めない 手段より目的