$30 off During Our Annual Pro Sale. View Details »

効果検証入門から見直す 「データサイエンス」

Shota Yasui
August 28, 2020

効果検証入門から見直す 「データサイエンス」

Shota Yasui

August 28, 2020
Tweet

More Decks by Shota Yasui

Other Decks in Science

Transcript

  1. 効果検証入門から見直す

    「データサイエンス」

    @データサイエンス協会セミナー

    2020.08.28

    安井翔太


    View Slide

  2. 2
    自己紹介

    名前:安井翔太(32)
    職業:Economic Research Scientist
    Data Science Center 副所長
    経歴:
    2011年 立教大学 経済学部卒業
    2013年 Norwegian School of Economics MSc in Economics
    2013年 Cyberagent 入社(総合職, 微妙な分析の量産)
    2015年 アドテク部門へ異動(専門職, MLの応用)
    2017年 AILabへ異動(研究職, ML + CI回りの応用)
    @housecat442


    View Slide

  3. 書籍紹介

    ● 効果検証に関する本を書きました

    ● 因果推論/計量経済学を使った効果の検証

    ● 今日の前半部分の内容


    View Slide

  4. なぜ因果推論が大事なのか?

    4
    ● よく見るデータサイエンスの問題

    ○ 効果の検証はかなりいい加減なことができる

    ○ データのバイアスは無視されがち

    →この2つに対してリスクがよく理解されていない


    ● 因果推論はリスクの理解と対応策を教えてくれる

    ○ 「効果」について正面から取り組む唯一(?)の分野

    ○ データのバイアスの対処方法がわかる


    View Slide

  5. 今日の内容

    1. 効果検証の入門


    2. 効果検証の考え方に基づく

    データサイエンスに対する2つの疑問


    3. 効果の出せるデータサイエンス

    5

    View Slide

  6. 1.効果検証の入門

    効果検証の入門の入門


    View Slide

  7. 効果検証(因果推論)の大まかなイメージ

    1.効果を定義する

    2.統計学を使って

    データから効果を推定する


    View Slide

  8. 効果検証(因果推論)の大まかなイメージ

    1.効果を定義する

    2.統計学を使って

    データから効果を推定する


    View Slide

  9. 効果の定義

    何かしらの施策 

    世界線Aの鍋 

    世界線Bの鍋 

    9
    鍋

    ● 鍋Aと鍋Bの味の差(効果)を知りたい

    塩を加えるか否か... 


    View Slide

  10. Donald Rubin@Harvard 

    ポテンシャル  アウトカム フレームワーク

    Potential Outcome Framework

    世界線Bの鍋の味 
 世界線Aの鍋の味 

    施策の効果 


    View Slide

  11. 効果検証(因果推論)の大まかなイメージ

    1.効果を定義する

    2.統計学を使って

    データから効果を推定する

    世界線Bの鍋の味 
 世界線Aの鍋の味 

    施策の効果 


    View Slide

  12. 統計学とは?

    手元にあるデータから、母集団のことを考えるための学問


    ● 例: 味噌汁

    ○ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する


    ● ざっくりした用語のまとめ

    ○ パラメータ(期待値): 鍋全体の塩辛さ

    ○ 推定量(平均): 小皿の塩辛さ

    ○ 推定値: 推定量の実際の値のこと。(データで得られる値)

    12

    View Slide

  13. 効果検証(因果推論)の大まかなイメージ

    1.効果を定義する

    2.統計学を使って

    データから効果を推定する

    世界線Bの鍋の味 
 世界線Aの鍋の味 

    施策の効果 

    母集団

    手元のデータ
 サンプリング


    View Slide

  14. 1.効果検証の入門

    セレクションバイアスについて


    View Slide

  15. クーポンの効果を考える

    クーポンを付与(介
    入)

    世界線Aのユーザー i さん 

    ユーザー i さん

    15
    世界線Bのユーザー i さん 

    購入:2000円

    購入:3000円

    ECサイトであるユーザーにクーポンを配布 


    View Slide

  16. クーポンの効果を考える

    16
    クーポンを付与(介
    入)

    世界線Bのユーザー 

    世界線Aのユーザー 

    購入:3000円
 購入:2000円

    効果:1000円


    View Slide

  17. 理想的なデータ

    17
    ● クーポンをユーザーに割り振る

    ● クーポンがある場合とない場合の売上がわかるとする

    ● 差分を取ればクーポンの効果が1000円であることがわかる


    View Slide

  18. 因果推論の根本問題

    クーポンを付与(介
    入)

    世界線Aのユーザー 

    ユーザー

    同時に観測が

    できない

    18
    世界線Bのユーザー 

    購入:2000円

    購入:3000円


    View Slide

  19. 実際に得られるデータ

    19
    ● クーポンを渡せば、クーポンのありの売り上げが観測される。

    ● クーポンを渡さなければ、クーポンなしの売り上げが観測される。

    ● 直接差分を計算することはもう出来ない。


    View Slide

  20. 適当な集計の問題

    20
    クーポンが配布されなかった 

    ユーザーの平均売り上げ 

    クーポンが配布された 

    ユーザーの平均売り上げ 

    1000円

    3000円

    効果は

    2000円?


    View Slide

  21. セレクションバイアスの問題

    21
    クーポンがなくても

    発生する売上

    クーポンの効果

    1000円
 単純な比較で

    効果と思い込む部分 

    2000円

    セレクション 

    バイアス


    View Slide

  22. 発生源が存在する

    22
    例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・ 

    予測購買確率:80%

    予測購買確率:70%

    何かしらの予測モデル

    予測購買確率:60%

    予測購買確率:40%

    担当者

    Z = 0

    Z = 1


    View Slide

  23. 発生源が存在する

    23
    例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・ 

    予測購買確率:80%

    予測購買確率:70%

    何かしらの予測モデル

    予測購買確率:60%

    予測購買確率:40%

    担当者

    クーポンがなくても
    売り上げが高い
       が高い
       が低い
    Z = 1

    Z = 0


    View Slide

  24. バイアスの発生にはパターンがある

    ● 介入Zは何かしらの意思決定を元に割り振られる

    ○ 誰が、何のために、何を参照して割り振っているか?


    ● クーポンの場合・・・

    ○ 担当者がクーポン施策の成功を目指して割り振る。

    ○ 何をもって成功と考えるか?

    ■ 単純な集計の結果で売り上げが高くなることを成功とすると・・・ 

    24

    View Slide

  25. 一応式で理解しておく

    25
    データ上で平均の差を効果と考える 

    クーポンが配布されなかった

    ユーザーの平均売り上げ 

    クーポンが配布された

    ユーザーの平均売り上げ 


    View Slide

  26. 一応式で理解しておく

    26
    データ上で平均の差を効果と考える 

    期待値

    期待値

    これらの平均は母集団上では 

    条件付き期待値の推定になっている 


    View Slide

  27. 一応式で理解しておく

    27
    期待値

    期待値

    セレクションバイアス 

    データ上で平均の差を効果と考える 

    本当に推定したい効果 


    View Slide

  28. 1.効果検証の入門

    A/Bテストのご利益


    View Slide

  29. Golden Standard Research Design: A/Bテスト(RCT)

    29

    View Slide

  30. A/Bテストの流れ

    ● 介入(Z)を定義する

    ● 介入の有無をランダムに決める 

    ● 介入有無のグループ間を比較する 

    30
    出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

    View Slide

  31. A/Bテストとセレクションバイアス

    31
    クーポンがなくても

    発生する売上

    クーポンの効果

    1000円

    ランダムに

    クーポンを割り振り

    ● クーポンをランダムに選んだユーザー
    に配布

    ● その結果Y0がZ=1とZ=0のグループに
    おいて同等になった 


    View Slide

  32. 一応式で理解しておく

    32
    期待値

    期待値

    セレクションバイアス = 0 

    データ上で平均の差を効果と考える 

    本当に推定したい効果 


    View Slide

  33. 1.効果検証の入門

    実験できないとき:回帰分析


    View Slide

  34. 回帰分析とは・・・?

    34
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    View Slide

  35. 回帰分析とは・・・?

    35
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね


    View Slide

  36. 回帰分析とは・・・?

    36
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    View Slide

  37. 回帰分析とは・・・?

    37
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    ● 予測の性能を最適化するためにstep wise AICでモデル
    選択したり


    View Slide

  38. 回帰分析とは・・・?

    38
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    ● 予測の性能を最適化するためにstep wise AICでモデル
    選択したり

    ● Cross-Validationで汎化誤差を考慮してモデル選択したり

    View Slide

  39. 回帰分析とは・・・?

    39
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    ● 予測の性能を最適化するためにstep wise AICでモデル
    選択したり

    ● Cross-Validationで汎化誤差を考慮してモデル選択したり

    ● あとR^2もありましたね・・・


    View Slide

  40. 回帰分析とは・・・?

    40
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    ● 予測の性能を最適化するためにstep wise AICでモデル
    選択したり

    ● Cross-Validationで汎化誤差を考慮してモデル選択したり

    ● あとR^2もありましたね・・・

    ● え、分散不均一性・・・?


    View Slide

  41. 回帰分析とは・・・?

    41
    回帰分析ってあれですよね・・・

    ● 誤差を最小にするように線を学習するやつですよね

    ● データの分布に合わせてロジスティック回帰とか考えな
    いといけないですよね

    ● VIFとかみて多重共線性も確認しないとですね

    ● 予測の性能を最適化するためにstep wise AICでモデル
    選択したり

    ● Cross-Validationで汎化誤差を考慮してモデル選択したり

    ● あとR^2もありましたね・・・

    ● え、分散不均一性・・・?

    ● い、因果効果・・・


    View Slide

  42. 元ネタ:
    Empirical Strategies Short
    Course by Joshua Angrist

    View Slide

  43. 複雑怪奇な回帰

    43
    いろいろな分野の常識が持ち込まれて 

    キメラ化した回帰分析 

    因果
    効果
    説明
    予測

    View Slide

  44. 複雑怪奇な回帰

    44
    いろいろな分野の常識が持ち込まれて 

    キメラ化した回帰分析 

    効果検証だけ考えた 

    シンプルな回帰分析 

    因果
    効果
    説明
    予測
    因果
    効果

    View Slide

  45. 効果検証での回帰分析の考え方

    バイアスのある
    母集団
    サンプル
    45
    母集団
    推定したい真の効果 


    View Slide

  46. 効果検証での回帰分析の考え方

    バイアスのある
    母集団
    サンプル
    46
    母集団
    セレクションバイアスの原因と思われる変数 

    ・過去の購買量

    ・年齢や性別などのデモグラ 

    ・etc...

    推定したい真の効果 

    Zの効果を表すパラメーター

    View Slide

  47. 効果検証での回帰分析の考え方

    バイアスのある
    母集団
    サンプル
    47
    母集団
    セレクションバイアスの原因になる変数をモ
    デルに入れると近づく 

    セレクションバイアスの原因と思われる変数 

    ・過去の購買量

    ・年齢や性別などのデモグラ 

    ・etc...

    推定したい真の効果 

    Zの効果を表すパラメーター

    View Slide

  48. 効果検証での回帰分析の考え方

    バイアスのある
    母集団
    サンプル
    48
    母集団
    セレクションバイアスの原因になる変数をモ
    デルに入れると近づく 

    推定したい真の効果 

    Zの効果を表すパラメーター

    この母集団も観測できない

    =この回帰分析は実行不可能

    母集団で回帰分析!


    View Slide

  49. 効果検証での回帰分析の考え方

    バイアスのある
    母集団
    サンプル
    49
    母集団
    セレクションバイアスの原因になる変数をモ
    デルに入れると近づく 

    推定したい真の効果 

    ● 母集団におけるγの推定値 

    ● 真の効果の推定値
    手元のデータで回帰分析!

    母集団で回帰分析! 

    推定!


    View Slide

  50. きになること・・・

    ● xってどう選べば良いの?

    ● 入れちゃダメな変数は?

    ● 多重共線性考えなくて良いのか?

    ● 予測性能みなくて良いのか?

    ● 線形回帰で良いのか?

    →効果検証入門をぜひ


    View Slide

  51. 1.効果検証の入門

    実験できないとき:傾向スコア


    View Slide

  52. 傾向スコアとは?

    ● 介入が割り振られる確率のこと

    ○ ロジスティック回帰などで推定が可能

    ● これを使ってバイアスを小さくする

    ● 主な使い方

    ○ マッチング

    ○ IPW(IPS or Holvitz-Thompson Estimator)

    52

    View Slide

  53. クーポンを配ってみる

    53
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%

    ● クーポンの効果は一律1000円 

    ●   が高いユーザーにはクーポンが配られないという設定 

    ● セレクションバイアスは負の値になる 


    View Slide

  54. 集計で効果を推定する

    54
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    平均売上=2556
 平均売上=3359

    →推定された効果は約800円 

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  55. IPWのイメージ

    55
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    このデータが全て観測できた 

    場合の平均が知りたい 

    このデータが全て観測できた 

    場合の平均が知りたい 

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  56. IPWのイメージ

    56
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    このデータが全て観測できた 

    場合の平均が知りたい 

    このデータが全て観測できた 

    場合の平均が知りたい 

    この差分が効果の推定値になる 

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  57. IPWのイメージ

    57
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    5人中1人しか観測されない 

    →このユーザーを5人分カウントしよう 

    x5
 売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  58. IPWのイメージ

    58
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    5人中2人しか観測されない 

    →2人を2.5人分ずつカウントしよう 

    x5

    x2.5

    x2.5

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  59. IPWのイメージ

    59
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    4人中2人しか観測されない 

    →2人を2人分ずつカウントしよう 

    x2.5

    x2.5

    x5

    x2

    x2

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  60. IPWのイメージ

    60
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    {(3824x5) + (3726x2.5) + (2506 x 2.5) + (3015x2) + (2727x2) } / 14 = 3477

    x2.5

    x2.5

    x5

    x2

    x2

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  61. IPWのイメージ

    61
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    {(2047 + 2953 + 2833 + 2866)x1.25 + (2482 + 2443 + 2102)x1.66 + (2234 + 2044)x2
    } / 14 =2492

    x1.25

    x2

    x1.25

    x1.25

    x1.25

    x1.66

    x1.66

    x1.66

    x2

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  62. IPWのイメージ

    62
    ユーザーグループA

    ユーザーグループB

    ユーザーグループC

    推定された売上

    =2492

    推定された売上

    =3477

    →推定された効果は約985円 

    売り上げ:高

    クーポン確率:20%

    売り上げ:中

    クーポン確率:40%

    売り上げ:低

    クーポン確率:50%


    View Slide

  63. (余談)マッチングのイメージ

    63
    →推定された効果は約940円 



    3824 - 2833 = 991

    3726 - 2482 = 1283

    3506 - 2443 = 1063

    3015 - 2334 = 681

    2727 - 2044 = 683

    傾向スコアの近いユーザーをペアにして、差分
    を効果として計算する。 


    View Slide

  64. 広告テンプレート選択@CyberAgent

    64
    slot
    _1
    slot
    _2
    slot
    _3 slot_1
    sl
    ot
    _2
    ユーザー

    セグメント{A,B,C}

    予測モデル
 意思決定

    ルール

    slot_1
    sl
    ot
    _2
    広告表示
 クリック

    広告画像の

    選択肢

    セグメントにより選ばれやすい画像が異なる

    ● セグメントA

    ○ 80%の確率でZ=1

    ○ 20%の確率でZ=0

    ● セグメントB

    ○ 60%の確率でZ=1

    ○ 40%の確率でZ=0

    ● セグメントC

    ○ 40%の確率でZ=1

    ○ 60%の確率でZ=0


    View Slide

  65. 考えるお題

    広告画像の選択肢を評価・比較したい

    →無駄なものは削除したい


    65
    slot_1 slot_2 slot_3
    slot_1
    slot
    _2
    template_id: 26 template_id: 75

    View Slide

  66. とりあえず集計した結果

    ● template_id毎にCTRを計算する
    ● template_id:26のCTRが高そう
    →Biasを含んだ結果
    営業や事業責任者の方が見るデータ
    66
    26以外いら
    ないね!!

    View Slide

  67. ● バイアスがある程度減っているはず。
    ● 26がよかったというのは幻想だった。
    ● CTRはどれも大差ないという結果。
    傾向スコアを使ったIPW

    67

    View Slide

  68. 2.効果検証から出る疑問

    教師ありの機械学習を例に考える


    View Slide

  69. 効果検証から得られる観点

    69
    観測されるデータには

    バイアスが存在する

    世界線Bの鍋の味 
 世界線Aの鍋の味 

    施策の効果 

    効果は2つの世界線の差にある

    →これらの観点は他のDS技術でどう捉えられているのか?


    View Slide

  70. 2.効果検証から出る2つの疑問

    教師あり学習を例に考える

    - バイアスはどう考えられているのか?


    View Slide

  71. 学習データがある母集団から手に入る

    71
    母集団
    サンプル
    (学習データ)

    View Slide

  72. 誤差を定義する

    72
    母集団
    サンプル
    (学習データ)
    あるモデルfの誤差を定義


    View Slide

  73. モデルを学習する(誤差の最小化)

    73
    母集団
    サンプル
    (学習データ)
    あるモデルfの誤差

    誤差を最小にするように 

    モデルを学習する


    View Slide

  74. データ上の誤差は推定値

    74
    母集団
    サンプル
    (学習データ)
    あるモデルfの誤差の推定値

    あるモデルfの真の誤差(母集団におけるの誤差) 

    実は誤差の推定値を最小にする
    ようにモデルを学習している 


    View Slide

  75. 同じ母集団からテストデータが得られる

    75
    母集団
    サンプル
    (学習データ)
    サンプル
    テストデータ
    誤差の推定値を最小化して得られるモデル 

    同じ母集団から得られたデータなので 

    誤差は小さくなるはず 


    View Slide

  76. 母集団
    学習データにバイアスがある場合

    76
    バイアスのある
    母集団
    サンプル
    (学習データ)
    サンプル
    テストデータ
    バイアスのある母集団の誤差の推定値 

    を最小化して得られたモデル 

    別の母集団への誤差を最小にしているので 

    誤差は思うように小さくならない 


    View Slide

  77. おさらい

    ● 学習データにはバイアスがあるかも

    ○ 調査に協力してくれたユーザーのデータしかない

    ○ でも予測は全部のユーザーにしたい


    ● 何も考慮しなければどうなるのか?

    ○ バイアスのある母集団への誤差を最小化する

    ○ これはバイアスの無い母集団への誤差最小化とは一致しない

    77

    View Slide

  78. 実際どう捉えられているか?

    ● 技術的には対応策はいろいろ提案されている

    ○ Covariate Shift

    ○ Domain Adaptation

    ○ etc...

    ● 技術に関して手に入りやすい情報があまりない

    ○ 日本語の教科書とかにはほぼ情報がない

    ○ 特にどんな時に使えば良いのかが議論されてない

    78

    View Slide

  79. 母集団
    他の分野でも起きること

    79
    バイアスのある
    母集団
    サンプル
    (学習データ)
    得られるデータにはバイアスがある 

    単純に損失の最小化をしても本当に行いたい
    予測や知識は得られない 

    バイアスの無い母集団での損失が最小化できると

    予測ができたり何かがわかったりする

    View Slide

  80. 例:モデルの解釈性とバイアス

    ● 教師あり学習を行ってモデルから情報を得る

    ○ Aという要素が重要!

    ○ といった情報を得ることができる(と考えられている)

    ● 学習データにバイアスがあるとどうなる?

    ○ 結果がコロコロ変わることが示唆されている

    ■ バイアスがあるデータではAが重要 

    ■ バイアスのないデータではBが重要 

    ○ 参考)Robust and Stable Black Box Explanations @ ICML20

    80

    View Slide

  81. 2.効果検証から出る2つの疑問

    教師あり学習を例に考える

    - 効果について考える


    View Slide

  82. よくあるデータサイエンスプロジェクト

    82
    予測モデルの作成

    知識や示唆の発見

    ビジネスへの応用

    適当な効果検証

    データの取得

    データ

    サイエンティスト


    View Slide

  83. データサイエンスの効果検証が行われるとする

    83
    予測モデルの作成

    知識や示唆の発見

    ビジネスへの応用

    効果検証

    ・ABテスト

    ・因果推論

    データの取得

    データ

    サイエンティスト


    View Slide

  84. テック企業では常識

    84
    +1000 test
    /day
    +200 test
    /day
    2013年に行われていたABテストの数 

    →1000 test/day in 2017 

    出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

    View Slide

  85. テック企業以外でも・・・

    85

    View Slide

  86. 86
    最後に因果効果で評価されるなら、

    因果効果を直接最大化すれば良いのでは?


    View Slide

  87. 例えば・・・

    ● 因果推論を使った意思決定してみよう

    ● 個人の因果効果を機械学習で予測してみよう

    などが考えられる

    87

    View Slide

  88. こういう意見もある

    88
    えーでもあれですよね


    機械学習の予測をビジネスで使う場合、
    予測性能が向上すれ
    ばビジネス上の意思決定も改善されますよね?


    だからCross-Validationでの評価を改善してゆけばビジネスで
    も改善が起きるはずですよね?


    だからわざわざPotential Outcome Frameworkとか持ち込まな
    くても良いのではないでしょうか?

    View Slide

  89. 23回ABテストした結果・・・ 

    ● 横軸:機械学習のオフラインでの予測能力の改善 

    ● 縦軸:ビジネスKPIの改善 

    ● オフラインの予測能力とビジネスKPIに関係無し 

    Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019.
    150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com.
    In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19).
    89
    残念なお知らせ@KDD2019


    View Slide

  90. なぜそうなるのか?

    ● 意思決定の質との繋がりが明確か?

    ○ 計測可能な予測性能の改善と意思決定の繋がりが見えているか?

    ○ 多くの場合繋がりが曖昧だったり弱かったりする

    ● 補足)

    ○ 予測がビジネスKPIに明確に関連する場合は問題なし

    90

    View Slide

  91. 利用可能な技術もある

    ● 因果推論を使った意思決定

    ○ Aの効果がよかったから、Aを使おうという話。

    ● 機械学習で因果効果を予測する

    ○ いろいろ工夫して効果を予測する

    ○ Uplift Modeling / ITE Prediction

    ● 強化学習で報酬(累積因果効果)を最大化する

    ○ Bandit Algorithm

    →こちらは日本語でも情報がちらほらある

    91

    View Slide

  92. DSをビジネスで使ってみることと、

    成果につなげることの間には大きな谷がある。

    92
    効果検証

    応用・実装
 成果

    データサイエンティスト


    View Slide

  93. 3.効果の出せる

    データサイエンティスト


    View Slide

  94. 効果検証から得られる観点

    94
    観測されるデータには

    バイアスが存在する

    世界線Bの鍋の味 
 世界線Aの鍋の味 

    施策の効果 

    効果は2つの世界線の差にある

    →様々なケースでこれらの観点が重要になる


    View Slide

  95. 何が必要なのか?

    ● 技術的な話

    ○ バイアス対処にまつわる技術

    ○ 効果を改善する技術

    ● ソフトな話

    ○ 自分のデータにバイアスがあるのかを発見できるか?

    ○ 重要な効果が何かを先に定義できるか?


    →バイアスの検知や効果の定義がなければ技術は無意味

    95

    View Slide

  96. 効果を出すために重要なスキル

    ● バイアスの存在に気がつけるか?

    ○ 体系はない(経済学が近いかも?)

    ○ バイアスのあるデータだけみてもバイアスはわからない

    ○ なので、実はドメイン知識が非常に重要

    ● 推定したい効果を明確に定義できるか?

    ○ 因果推論では、Z = 0 or 1の効果しかわからない。

    ○ 何がビジネスに重要なのかをよく議論する必要がある

    ○ 「どの要因が一番効いているのか?」はかなり難しい

    96

    View Slide

  97. スキルチェックリストへ

    勝手に提案

    現状:バイアスに関連する内容ほぼ無し


    提案:


    ● バイアスに気が付けるスキル入れてみませんか?


    ● 効果を定義できることは重要ではありませんか?

    97

    View Slide

  98. 98
    Enjoy!


    View Slide