DSOps #6-1 - Speaker Deck

DSOps #6-1

by Yusuke Kaneko

Slide 1

Slide 1 text

DS Ops #6 機械学習を⽤いた意思決定

Slide 2

Slide 2 text

⾃⼰紹介 l 名前 Ø 阿部拳之（あべけんし） l 所属 Ø AI Lab > 強化学習チーム Ø Research Scientist l 研究領域 Ø 強化学習・バンディット Ø マルチエージェントシステム Ø 不完全情報ゲーム

Slide 3

Slide 3 text

今⽇話すこと l 分析・予測と意思決定の関係性のおさらい l 予測精度の向上＝意思決定の改善︖︖ l どうやって意思決定を改善するのか︖︖

Slide 4

Slide 4 text

分析・予測と意思決定の関係性のおさらい

Slide 5

Slide 5 text

第⼀回講義のおさらい l DSが直⾯するビジネスモデルの⼀つとして，「分析・予測の結果を使った意思決定」がある l どうやら予測と意思決定はリンクしているらしい︖︖

Slide 6

Slide 6 text

予測と意思決定 l 実際，機械学習による予測を⽤いたタスクの多くは，意思決定と密接な関係を持つ予測意思決定

Slide 7

Slide 7 text

予測と意思決定 l 例えば・・・ Ø Dynalyst/AirtrackなどのDSP ü CTR/CVR/来訪予測をもとに，⼊札額を決定 Ø 極AI ü クリエイティブの効果を予測して新しいクリエイティブを⽣成 →これらのタスクでは，意思決定を⾏うために機械学習による予測を⽤いる CTR 予測〇〇円⼊札

Slide 8

Slide 8 text

予測と意思決定 l 例えば・・・ Ø Dynalyst/AirtrackなどのDSP ü CTR/CVR/来訪予測をもとに，⼊札額を決定 Ø 極AI ü クリエイティブの効果を予測して新しいクリエイティブを⽣成 →これらのタスクでは，意思決定を⾏うために機械学習による予測を⽤いる効果予測素材作成

Slide 9

Slide 9 text

予測精度の向上＝意思決定の改善︖︖

Slide 10

Slide 10 text

よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習予測意思決定検証

Slide 11

Slide 11 text

よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習予測意思決定検証予測精度を上げるためにひたすら全⼒を尽くす

Slide 12

Slide 12 text

よくあるプロダクトでの予測と意思決定 1. 予測を意思決定に⽤いて，プロダクトのKPIを改善したい 2. 訓練・検証⽤データを使って予測器を学習・精度改善する 3. 予測精度が良かった予測器を使って意思決定を⾏う Dataset 学習予測意思決定検証予測精度を上げるためにひたすら全⼒を尽くす →これは正しいこと︖︖

Slide 13

Slide 13 text

予測精度向上＝意思決定改善︖ l 意思決定に使う予測器の予測精度を上げることは，本当に意思決定に改善になる︖ l 例えば・・・ Ø 広告A，Bのどちらかを配信することで，CTRを上げたい Ø 広告のCTR予測器を学習させ，それをもとに予測CTRが良い⽅の広告を配信する →このとき，「予測精度が⾼い＝配信する広告のCTRが⾼い」は常に成り⽴つ︖︖

Slide 14

Slide 14 text

予測精度が⾼くても意思決定が改善しない例 l 広告A︓CTR 4.0% l 広告B︓CTR 3.5% →広告Aを配信した⽅がCTRが⾼くなる

Slide 15

Slide 15 text

予測精度が⾼くても意思決定が改善しない例 l 広告A︓CTR 4.0% l 広告B︓CTR 3.5% →広告Aを配信した⽅がCTRが⾼くなる l 次のように予測をする２つの予測器のどちらか使うことを考える Ø 予測器①︓（広告A︓CTR 3.5%），（広告B︓CTR 3.8%） Ø 予測器②︓（広告A︓CTR 5.0%），（広告B︓CTR 2.5%） →予測器①の⽅が精度が良い →予測器①を使⽤しましょう︕︕

Slide 16

Slide 16 text

予測精度が⾼くても意思決定が改善しない例 l しかし，予測器①に従って広告配信を⾏うと・・・ Ø 予測器①︓（広告A︓CTR 3.5%），（広告B︓CTR 3.8%）と予測するので， Ø 広告Bを配信する l ⼀⽅で，予測器②に従って広告配信を⾏うと・・・ Ø 予測器②︓（広告A︓CTR 5.0%），（広告B︓CTR 2.5%） Ø 広告Aを配信する →精度が悪い予測器②を使う⽅が良かった・・・

Slide 17

Slide 17 text

なんでこんなことが起きるのか︖ l 予測による順位が変わると配信される広告が変わる →意思決定に影響を及ぼす l 予測によってどのような意思決定が⾏われるかを踏まえて学習・モデル選択しなかった結果，このような現象が起こった

Slide 18

Slide 18 text

複数の予測器使っているケース l 規模が⼤きいプロダクトでは，複数の予測器を⽤いて意思決定をすることがある l それぞれの予測器をバラバラに学習させると，意思決定が改善するか予想しにくい予測意思決定 Dataset 指標Aの予測器 Dataset 指標Bの予測器 Dataset 指標Cの予測器

Slide 19

Slide 19 text

ここまでの話のまとめ l 実タスクでは意思決定のために予測を⾏うことは多々ある l 予測精度向上と意思決定改善は必ずしもつながらない場合がある l 本来何を達成するために予測器の学習を⾏っているのか，考える必要がある

Slide 20

Slide 20 text

どうやって意思決定を改善するのか︖︖

Slide 21

Slide 21 text

意思決定の改善⽅法例 ①予測器による意思決定を実際にデプロイしてみる ②予測精度を測る指標と意思決定で改善したいKPIをリンクさせる ③意思決定のやり⽅そのものを改善する

Slide 22

Slide 22 text

①予測器による意思決定を実際にデプロイしてみる l 例えば，A/Bテストして前の予測器に⽐べて良くなったかを⾒る Dataset 本番投⼊学習・検証結果分析

Slide 23

Slide 23 text

①予測器による意思決定を実際にデプロイしてみる l 例えば，A/Bテストして前の予測器に⽐べて良くなったかを⾒る l 意思決定の性能は分かるが，それをもとにどう予測器を改善するかは⾃明ではない Dataset 本番投⼊学習・検証結果分析

Slide 24

Slide 24 text

②予測精度を測る指標と意思決定で改善したいKPIをリンクさせる l 「この予測精度を改善したら，ほぼ確実に意思決定が改善する」というような精度指標を考える l 実現できたら強⼒だが，かなり難しい Ø 予測をもとにどのような意思決定が⾏われるかを踏まえて精度指標を考えないといけない Ø 意思決定のやり⽅を変えたら精度指標を再考する必要がある

Slide 25

Slide 25 text

③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する予測器に加えて

Slide 26

Slide 26 text

③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する予測器に加えて何らかの指標を元に意思決定も最適化︕

Slide 27

Slide 27 text

③意思決定のやり⽅そのものを改善する l 「予測値を使ってどうやって意思決定するか」という部分を最適化する → 実質，意思決定を⾃動化しているようなもの予測器に加えて何らかの指標を元に意思決定も最適化︕

Slide 28

Slide 28 text

③意思決定のやり⽅そのものを改善する l 可能であれば，予測器＋意思決定モデルを合わせて学習させた⽅が望ましい⼀つの塊として考えて学習

Slide 29

Slide 29 text

③意思決定のやり⽅そのものを改善する l さらに究極的には，改善したいKPIをダイレクトに最適化したい Ø 強化学習・バンディット KPIこれくらいです改善しました

Slide 30

Slide 30 text

強化学習・バンディット l 意思決定を改善するための機械学習の枠組み Ø これまで意思決定を⾏った経験的なデータをもとに，KPIが改善するように意思決定を学習 l 実装コスト，メンテナンスコストを問わないのであれば，ビジネス上のKPIを最適化する上で最適な枠組み KPI Dataset 経験的なデータを蓄積

Slide 31

Slide 31 text

強化学習・バンディット l 意思決定を改善するための機械学習の枠組み Ø これまで意思決定を⾏った経験的なデータをもとに，KPIが改善するように意思決定を学習 l 実装コスト，メンテナンスコストを問わないのであれば，ビジネス上のKPIを最適化する上で最適な枠組み Dataset KPIが改善するように意思決定をデータから改善

Slide 32

Slide 32 text

意思決定の⾃動化の課題 l 予測精度を上げるための学習よりも最適化が⼤変 Ø 本番環境でフィードバックを得ながらの学習は危険性が伴う Ø オフラインで学習させる場合，改善したい指標の推定が必要になる l 意思決定フロー全体の流れを抑えていないといけない Ø 巨⼤なシステムを持っている場合，予測器と意思決定モデルは別々に管理・担当されている場合も多い

Slide 33

Slide 33 text

まとめ

Slide 34

Slide 34 text

改めて考えてみましょう l なんのために予測をするのかを理解していますか︖ l ちゃんと意思決定のことを考えて予測器作っていますか︖ l 予測精度を上げることだけに躍起になっていませんか︖

Slide 35

Slide 35 text

ディスカッション

Slide 36

Slide 36 text

ディスカッション l 実は意思決定を含めて考えないといけないタスクはどのようなタスクか︖ Ø 逆に，予測精度を向上させるだけで⼗分なタスクとは︖ Ø 所属しているプロダクトでの例も考えてみましょう