Upgrade to Pro — share decks privately, control downloads, hide ads and more …

実務のデータ分析でハマったことと対策 / Kichijoji.pm 31

Higuchi kokoro
November 22, 2022

実務のデータ分析でハマったことと対策 / Kichijoji.pm 31

#kichijojipm

Higuchi kokoro

November 22, 2022
Tweet

More Decks by Higuchi kokoro

Other Decks in Business

Transcript

  1. 実務のデータ分析でハマった
    ことと対策
    吉祥寺.pm31

    View Slide

  2. 自己紹介
    📝 名前: - Higuchi Kokoro
    📝 所属: - Wantedly
    📊 職種 - Data Scientict @ 新卒2年目
    🧑‍💻 お仕事 - Wantedly Visitの推薦の改善
    👾 趣味 - 🎾 🏂 🍺 🧖‍♂️ ♨️ 🛫
    アカウント:
    twitter: @zerebom_3
    GitHub: @zerebom

    View Slide

  3. 本日のネタ
    (来年に向けて)データ分析タスクで、迷子にならないよう対策した話
    背景
    事業課題は役員→マネージャー→メンバーと経由して抽象度が下がって渡される
    課題発見から始める、高い抽象度のタスクに挑戦も
    迷子になることもしばしば

    View Slide

  4. ハマったことと対策

    View Slide

  5. ハマったこと: 集計したもののアクションに起こせない
    例: 施策リリース以降、ユーザのプロフィール入力率低下
    リリース前後の入力率をみるも、なだらかな変化で原因が判別できない
    対策: 答えが出せる粒度まで集計を細かくする
    入力率の低下傾向が見られるか? → 主観が入る & 原因を特定できない
    リリースしたプラットフォームだけ低下したか? → Yes, Noを出せる

    View Slide

  6. ハマったこと: 集計したものの人に説明できない
    GitHub issueで時系列に結果をまとめるも、集計により前提がひっくり返る
    「この結果はもう古くて…」のように都度説明し、支離滅裂に
    対策: どこを前提にしているか立ち戻れるようにする
    ツリー構造にしてどこまで調べたかわかるように
    仮説と事実を分ける
    各仮説の確信度をメモる

    View Slide

  7. ハマったこと: 答えが出せないのに、時間をかけすぎた
    新しい推薦モデルが、いくつか精度劣化する可能性があった
    ケースをログデータから再現しようとするも不正確・時間がかかる
    対策: データ分析は数ある手法の一つであると認識する
    データと分析経験があるとついデータを触りがち
    Howの一つに過ぎない。ほかで仮説の確信度をあげられないか検討
    ex) ヒアリング, 実際に製品を触る, A/Bテスト

    View Slide

  8. まとめ
    対策
    解が出せるまで問題を細かくする
    どこまで前提か立ち戻れるようにする
    データ分析は手法の一つであると認識する
    学び
    伝わないなら価値は生めない
    手段より目的

    View Slide