DSOps #6-1

公開用

Transcript

1. DS Ops #6 機械学習を⽤いた意思決定
2. ⾃⼰紹介 l 名前 Ø 阿部 拳之（あべ けんし） l 所属 Ø AI Lab > 強化学習チーム Ø Research Scientist l 研究領域 Ø 強化学習・バンディット Ø マルチエージェントシステム Ø 不完全情報ゲーム
3. 今⽇話すこと l 分析・予測と意思決定の関係性のおさらい l 予測精度の向上＝意思決定の改善︖︖ l どうやって意思決定を改善するのか︖︖
4. 分析・予測と意思決定の関係性のおさらい
5. 第⼀回講義のおさらい l DSが直⾯するビジネスモデルの⼀つとして，「分析・予測の結果を使った意思決定」 がある l どうやら予測と意思決定はリンクしているらしい︖︖
6. 予測と意思決定 l 実際，機械学習による予測を⽤いたタスクの 多くは，意思決定と密接な関係を持つ 予測 意思決定
7. 予測と意思決定 l 例えば・・・ Ø Dynalyst/AirtrackなどのDSP ü CTR/CVR/来訪予測をもとに，⼊札額を決定 Ø 極AI ü クリエイティブの効果を予測して新しいク リエイティブを⽣成 →これらのタスクでは，意思決定を⾏うために 機械学習による予測を⽤いる CTR 予測 〇〇円 ⼊札
8. 予測と意思決定 l 例えば・・・ Ø Dynalyst/AirtrackなどのDSP ü CTR/CVR/来訪予測をもとに，⼊札額を決定 Ø 極AI ü クリエイティブの効果を予測して新しいク リエイティブを⽣成 →これらのタスクでは，意思決定を⾏うために 機械学習による予測を⽤いる 効果 予測 素材 作成
9. 予測精度の向上＝意思決定の改善︖︖
10. よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習 予測 意思決定 検証
11. よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習 予測 意思決定 検証 予測精度を上げるためにひたすら全⼒を尽くす
12. よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習 予測 意思決定 検証 予測精度を上げるためにひたすら全⼒を尽くす →これは正しいこと︖︖
13. 予測精度向上＝意思決定改善︖ l 意思決定に使う予測器の予測精度を上げることは，本当に意思決定に改善になる︖ l 例えば・・・ Ø 広告A，Bのどちらかを配信することで，CTRを上げたい Ø 広告のCTR予測器を学習させ，それをもとに予測CTRが良い⽅の広告を配信する →このとき，「予測精度が⾼い＝配信する広告のCTRが⾼い」は常に成り⽴つ︖︖
14. 予測精度が⾼くても意思決定が改善 しない例 l 広告A︓CTR 4.0% l 広告B︓CTR 3.5% →広告Aを配信した⽅がCTRが⾼くなる
15. 予測精度が⾼くても意思決定が改善 しない例 l 広告A︓CTR 4.0% l 広告B︓CTR 3.5% →広告Aを配信した⽅がCTRが⾼くなる l 次のように予測をする２つの予測器のどちらか使うことを考える Ø 予測器①︓（広告A︓CTR 3.5%），（広告B︓CTR 3.8%） Ø 予測器②︓（広告A︓CTR 5.0%），（広告B︓CTR 2.5%） →予測器①の⽅が精度が良い →予測器①を使⽤しましょう︕︕
16. 予測精度が⾼くても意思決定が改善 しない例 l しかし，予測器①に従って広告配信を⾏うと・・・ Ø 予測器①︓（広告A︓CTR 3.5%），（広告B︓CTR 3.8%）と予測するので， Ø 広告Bを配信する l ⼀⽅で，予測器②に従って広告配信を⾏うと・・・ Ø 予測器②︓（広告A︓CTR 5.0%），（広告B︓CTR 2.5%） Ø 広告Aを配信する →精度が悪い予測器②を使う⽅が良かった・・・
17. なんでこんなことが起きるのか︖ l 予測による順位が変わると配信される広告が変わる →意思決定に影響を及ぼす l 予測によってどのような意思決定が⾏われるかを踏まえて学習・モデル選択しな かった結果，このような現象が起こった
18. 複数の予測器使っているケース l 規模が⼤きいプロダクトでは，複数の予測器を⽤いて意思決定をすることがある l それぞれの予測器をバラバラに学習させると，意思決定が改善するか予想しにくい 予測 意思決定 Dataset
      指標Aの予測器 Dataset
      指標Bの予測器 Dataset
      指標Cの予測器
19. ここまでの話のまとめ l 実タスクでは意思決定のために予測を⾏うことは多々ある l 予測精度向上と意思決定改善は必ずしもつながらない場合がある l 本来何を達成するために予測器の学習を⾏っているのか，考える必要がある
20. どうやって意思決定を改善するのか︖︖
21. 意思決定の改善⽅法例 ①予測器による意思決定を実際にデプロイしてみる ②予測精度を測る指標と意思決定で改善したいKPIをリンクさせる ③意思決定のやり⽅そのものを改善する
22. ①予測器による意思決定を実際にデプロ イしてみる l 例えば，A/Bテストして前の予測器に⽐べて良くなったかを⾒る Dataset
       
    本番投⼊ 学習・検証 結果分析
23. ①予測器による意思決定を実際にデプロ イしてみる l 例えば，A/Bテストして前の予測器に⽐べて良くなったかを⾒る l 意思決定の性能は分かるが，それをもとにどう予測器を改善するかは⾃明ではない Dataset
       
    本番投⼊ 学習・検証 結果分析
24. ②予測精度を測る指標と意思決定で改善 したいKPIをリンクさせる l 「この予測精度を改善したら，ほぼ確実に意思決定が改善する」というような精度 指標を考える l 実現できたら強⼒だが，かなり難しい Ø 予測をもとにどのような意思決定が⾏われるかを踏まえて精度指標を考えないとい けない Ø 意思決定のやり⽅を変えたら精度指標を再考する必要がある
25. ③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する  
    予測器に加えて
26. ③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する  
    予測器に加えて 何らかの指標を元に 意思決定も最適化︕
27. ③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する → 実質，意思決定を⾃動化しているようなもの  
    予測器に加えて 何らかの指標を元に 意思決定も最適化︕
28. ③意思決定のやり⽅そのものを改善する l 可能であれば，予測器＋意思決定モデルを合わせて学習させた⽅が望ましい  
    ⼀つの塊として考えて学習
29. ③意思決定のやり⽅そのものを改善する l さらに究極的には，改善したいKPIをダイレクトに最適化したい Ø 強化学習・バンディット  
    KPIこれくらいです 改善しました
30. 強化学習・バンディット l 意思決定を改善するための機械学習の枠組み Ø これまで意思決定を⾏った経験的なデータをもとに，KPIが改善するように意思決 定を学習 l 実装コスト，メンテナンスコストを問わないのであれば，ビジネス上のKPIを最適化 する上で最適な枠組み  
    KPI 
         Dataset 経験的なデータ を蓄積
31. 強化学習・バンディット l 意思決定を改善するための機械学習の枠組み Ø これまで意思決定を⾏った経験的なデータをもとに，KPIが改善するように意思決 定を学習 l 実装コスト，メンテナンスコストを問わないのであれば，ビジネス上のKPIを最適化 する上で最適な枠組み Dataset KPIが改善するように 意思決定をデータから改善  
    
32. 意思決定の⾃動化の課題 l 予測精度を上げるための学習よりも最適化が⼤変 Ø 本番環境でフィードバックを得ながらの学習は危険性が伴う Ø オフラインで学習させる場合，改善したい指標の推定が必要になる l 意思決定フロー全体の流れを抑えていないといけない Ø 巨⼤なシステムを持っている場合，予測器と意思決定モデルは別々に管理・担当さ れている場合も多い
33. まとめ
34. 改めて考えてみましょう l なんのために予測をするのかを理解していますか︖ l ちゃんと意思決定のことを考えて予測器作っていますか︖ l 予測精度を上げることだけに躍起になっていませんか︖
35. ディスカッション
36. ディスカッション l 実は意思決定を含めて考えないといけないタスクはどのようなタスクか︖ Ø 逆に，予測精度を向上させるだけで⼗分なタスクとは︖ Ø 所属しているプロダクトでの例も考えてみましょう