Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DSOps #8

Yusuke Kaneko
February 28, 2022
25k

DSOps #8

公開用

Yusuke Kaneko

February 28, 2022
Tweet

Transcript

  1. プロダクトでのDSの仕事は • 改善すべき点を明らかにして,改善方法を創出する ◦ 改善できる点を見つける必要がある ◦ データから面白い情報を得るために直感的な理解を助ける可視化は効果的 • 明らかになった改善すべき点と改善方法を誤りなく伝え,アクションをしてもらう ◦

    意思決定がしやすいように改善点と改善方法,改善幅を伝える必要がある ◦ 意思決定の判断をサポートするために可視化は効果的 DSの仕事をスムーズに進めるためにはうまく可視化していく必要がある
  2. データ分析の中で可視化の使い所は2パターンある ドメイン知識がない 問題発見や問題解決に繋がるアイディアを出す データから事業について理解するために,可視化を使う • 売り上げが大きく増えた時期がありそう -> 時系列にみたら,売り上げはどうなっているんだろうか? • サイズによってCTRは変わりそう

    -> サイズ別にみたら,CTRはどうなってるんだろうか? ドメイン知識がある(問題発見や解決に対するアイディアがある) ドメイン知識を使って,立てた仮説を検証する 立てた仮説を検証するために,可視化を使う • 動画広告のCPAが低い -> 広告主ごとに静止画と動画でCPAを比較する • imp数が多いユーザはCTRが低い -> 広告の表示頻度別にCTRを可視化する
  3. データ分析の中で可視化の使い所は2パターンある ドメイン知識がない 問題発見や問題解決に繋がるアイディアを出す データから事業について理解するために,可視化を使う • 売り上げが大きく増えた時期がありそう -> 時系列にみたら,売り上げはどうなっているんだろうか? • サイズによってCTRは変わりそう

    -> サイズ別にみたら,CTRはどうなってるんだろうか? ドメイン知識がある(問題発見や解決に対するアイディアがある) ドメイン知識を使って,立てた仮説を検証する 立てた仮説を検証するために,可視化を使う • 動画広告のCPAが低い -> 広告主ごとに静止画と動画でCPAを比較する • imp数が多いユーザはCTRが低い -> 広告の表示頻度別にCTRを可視化する 共通しているのは • 可視化する目的や仮説がある • 仮説を検証するために,可視化の強みである直感的に解 釈しやすいことを使っている
  4. 細かい粒度でCalibration Curveを可視化してみる uidが学習しているのは過去のcvの傾向ではないか? 学習データ中でのCVの有無で分けてCalibration Curveを描画する 学習データ中でCVがあるユーザのデータだけを使って,Calibration Curveを描く 過去にcvしているユーザのデータに対して, • ユーザのidがない場合

    : 全体的に上振れしている (予測値が低い) • ユーザのがある場合 : 予測値と実測値が近い ユーザのidがない場合は過去のユーザごとの cvしやすさを考慮できていない => ユーザのidはユーザのcvしやすさを表す特徴量に違いない => uidをユーザのcvの傾向を考慮した特徴に置き換えることができれば,いいとこ取りができそう ユーザのidを特徴量として加えている ユーザのidを特徴量として加えていない Calibration Curveが y = xに近づいている
  5. 細かい粒度でCalibration Curveを可視化してみる uidが学習しているのは過去のcvの傾向ではないか? 学習データ中でのCVの有無で分けてCalibration Curveを描画する 学習データ中でCVがあるユーザのデータだけを使って,Calibration Curveを描く 過去にcvしているユーザのデータに対して, • ユーザのidがない場合

    : 全体的に上振れしている (予測値が低い) • ユーザのidがある場合 : 予測値と実測値が近い ユーザのidがない場合は過去のユーザごとの cvしやすさを考慮できていない => ユーザのidはユーザのcvしやすさを表す特徴量に違いない => ユーザのidをユーザのcvの傾向を考慮した特徴に置き換えることができれば,いいとこ取りができそう ユーザのidを特徴量として加えている ユーザのidを特徴量として加えていない Calibration Curveが y = xに近づいている