効果検証入門から見直す「データサイエンス」

効果検証入門から見直す 
「データサイエンス」 
@データサイエンス協会セミナー 
2020.08.28 
安井翔太 

View Slide

2
自己紹介 
名前：安井翔太（32）
職業：Economic Research Scientist
Data Science Center 副所長
経歴：
2011年立教大学経済学部卒業
2013年 Norwegian School of Economics MSc in Economics
2013年 Cyberagent 入社（総合職, 微妙な分析の量産）
2015年アドテク部門へ異動（専門職, MLの応用）
2017年 AILabへ異動（研究職, ML + CI回りの応用）
@housecat442 

View Slide

書籍紹介 
● 効果検証に関する本を書きました 
● 因果推論/計量経済学を使った効果の検証 
● 今日の前半部分の内容 

View Slide

なぜ因果推論が大事なのか？ 
4
● よく見るデータサイエンスの問題 
○ 効果の検証はかなりいい加減なことができる 
○ データのバイアスは無視されがち 
→この2つに対してリスクがよく理解されていない 
 
● 因果推論はリスクの理解と対応策を教えてくれる 
○ 「効果」について正面から取り組む唯一（？）の分野 
○ データのバイアスの対処方法がわかる 

View Slide

今日の内容 
1. 効果検証の入門 
 
2. 効果検証の考え方に基づく 
データサイエンスに対する2つの疑問 
 
3. 効果の出せるデータサイエンス 
5

View Slide

1.効果検証の入門 
効果検証の入門の入門 

View Slide

効果検証（因果推論）の大まかなイメージ 
1.効果を定義する 
2.統計学を使って 
データから効果を推定する 

View Slide

効果の定義 
何かしらの施策  
世界線Aの鍋  
世界線Bの鍋  
9
鍋 
● 鍋Aと鍋Bの味の差（効果）を知りたい 
塩を加えるか否か...  

View Slide

Donald [email protected]  
ポテンシャル　アウトカムフレームワーク 
Potential Outcome Framework 
世界線Bの鍋の味   世界線Aの鍋の味  
施策の効果  

View Slide

施策の効果  

View Slide

統計学とは？ 
手元にあるデータから、母集団のことを考えるための学問 
 
● 例: 味噌汁 
○ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する 
 
● ざっくりした用語のまとめ 
○ パラメータ(期待値): 鍋全体の塩辛さ 
○ 推定量(平均): 小皿の塩辛さ 
○ 推定値: 推定量の実際の値のこと。（データで得られる値）
 
12

View Slide

施策の効果  
母集団 
手元のデータ  サンプリング 

View Slide

セレクションバイアスについて 

View Slide

クーポンの効果を考える 
クーポンを付与（介
入） 
世界線Aのユーザー i さん  
ユーザー i さん 
15
世界線Bのユーザー i さん  
購入：2000円 
購入：3000円 
ECサイトであるユーザーにクーポンを配布  

View Slide

クーポンの効果を考える 
16
入） 
世界線Bのユーザー  
世界線Aのユーザー  
購入：3000円  購入：2000円 
効果：1000円 

View Slide

理想的なデータ 
17
● クーポンをユーザーに割り振る 
● クーポンがある場合とない場合の売上がわかるとする 
● 差分を取ればクーポンの効果が1000円であることがわかる 

View Slide

因果推論の根本問題 
入） 
世界線Aのユーザー  
ユーザー 
同時に観測が 
できない 
18
世界線Bのユーザー  
購入：2000円 
購入：3000円 

View Slide

実際に得られるデータ 
19
● クーポンを渡せば、クーポンのありの売り上げが観測される。 
● クーポンを渡さなければ、クーポンなしの売り上げが観測される。 
● 直接差分を計算することはもう出来ない。 

View Slide

適当な集計の問題 
20
クーポンが配布されなかった  
ユーザーの平均売り上げ  
クーポンが配布された  
１０００円 
３０００円 
効果は 
２０００円？ 

View Slide

セレクションバイアスの問題 
21
クーポンがなくても 
発生する売上 
クーポンの効果 
１０００円  単純な比較で 
効果と思い込む部分  
２０００円 
セレクション  
バイアス 

View Slide

発生源が存在する 
22
例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・  
予測購買確率：80% 
何かしらの予測モデル 
担当者 
Z = 0 
Z = 1 

View Slide

発生源が存在する 
23
例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・  
何かしらの予測モデル 
担当者 
クーポンがなくても
売り上げが高い
　　　が高い
　　　が低い
Z = 1 
Z = 0 

View Slide

バイアスの発生にはパターンがある 
● 介入Zは何かしらの意思決定を元に割り振られる 
○ 誰が、何のために、何を参照して割り振っているか？ 
 
● クーポンの場合・・・ 
○ 担当者がクーポン施策の成功を目指して割り振る。 
○ 何をもって成功と考えるか？ 
■ 単純な集計の結果で売り上げが高くなることを成功とすると・・・  
24

View Slide

一応式で理解しておく 
25
データ上で平均の差を効果と考える  
クーポンが配布されなかった 
クーポンが配布された 

View Slide

26
期待値 
期待値 
これらの平均は母集団上では  
条件付き期待値の推定になっている  

View Slide

27
期待値 
期待値 
セレクションバイアス  
本当に推定したい効果  

View Slide

A/Bテストのご利益 

View Slide

Golden Standard Research Design: A/Bテスト（RCT） 
29

View Slide

A/Bテストの流れ 
● 介入(Z)を定義する 
● 介入の有無をランダムに決める  
● 介入有無のグループ間を比較する  
30
出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

View Slide

A/Bテストとセレクションバイアス 
31
クーポンがなくても 
発生する売上 
クーポンの効果 
１０００円 
ランダムに 
クーポンを割り振り 
● クーポンをランダムに選んだユーザー
に配布 
● その結果Y0がZ=1とZ=0のグループに
おいて同等になった  

View Slide

32
期待値 
期待値 
セレクションバイアス = 0  
本当に推定したい効果  

View Slide

実験できないとき：回帰分析 

View Slide

回帰分析とは・・・？ 
34
回帰分析ってあれですよね・・・ 
● 誤差を最小にするように線を学習するやつですよね
 

View Slide

35
 
● データの分布に合わせてロジスティック回帰とか考えな
いといけないですよね 

View Slide

36
 
● VIFとかみて多重共線性も確認しないとですね
 

View Slide

37
 
 
● 予測の性能を最適化するためにstep wise AICでモデル
選択したり 

View Slide

38
 
 
選択したり 
● Cross-Validationで汎化誤差を考慮してモデル選択したり
 

View Slide

39
 
 
選択したり 
 
● あとR^2もありましたね・・・ 

View Slide

40
 
 
選択したり 
 
● え、分散不均一性・・・？ 

View Slide

41
 
 
選択したり 
 
● え、分散不均一性・・・？ 
● い、因果効果・・・ 

View Slide

元ネタ：
Empirical Strategies Short
Course by Joshua Angrist

View Slide

複雑怪奇な回帰 
43
いろいろな分野の常識が持ち込まれて  
キメラ化した回帰分析  
因果
効果
説明
予測

View Slide

複雑怪奇な回帰 
44
いろいろな分野の常識が持ち込まれて  
キメラ化した回帰分析  
効果検証だけ考えた  
シンプルな回帰分析  
因果
効果
説明
予測
因果
効果

View Slide

効果検証での回帰分析の考え方 
バイアスのある
母集団
サンプル
45
母集団
推定したい真の効果  

View Slide

母集団
サンプル
46
母集団
セレクションバイアスの原因と思われる変数  
・過去の購買量 
・年齢や性別などのデモグラ  
・etc... 
Zの効果を表すパラメーター
 

View Slide

母集団
サンプル
47
母集団
セレクションバイアスの原因になる変数をモ
デルに入れると近づく  
セレクションバイアスの原因と思われる変数  
・過去の購買量 
・年齢や性別などのデモグラ  
・etc... 
 

View Slide

母集団
サンプル
48
母集団
 
この母集団も観測できない 
=この回帰分析は実行不可能 
母集団で回帰分析！ 

View Slide

母集団
サンプル
49
母集団
● 母集団におけるγの推定値  
● 真の効果の推定値
手元のデータで回帰分析！ 
母集団で回帰分析！  
推定！ 

View Slide

きになること・・・ 
● xってどう選べば良いの？ 
● 入れちゃダメな変数は？ 
● 多重共線性考えなくて良いのか？ 
● 予測性能みなくて良いのか？ 
● 線形回帰で良いのか？ 
→効果検証入門をぜひ 

View Slide

実験できないとき：傾向スコア 

View Slide

傾向スコアとは？ 
● 介入が割り振られる確率のこと 
○ ロジスティック回帰などで推定が可能 
● これを使ってバイアスを小さくする 
● 主な使い方 
○ マッチング 
○ IPW(IPS or Holvitz-Thompson Estimator) 
52

View Slide

クーポンを配ってみる 
53
ユーザーグループA
 
ユーザーグループB
 
ユーザーグループC
 
売り上げ：高 
クーポン確率：20% 
売り上げ：中 
売り上げ：低 
● クーポンの効果は一律１０００円  
● 　　が高いユーザーにはクーポンが配られないという設定  
● セレクションバイアスは負の値になる  

View Slide

集計で効果を推定する 
54
 
 
 
平均売上＝2556  平均売上＝3359 
→推定された効果は約800円  

View Slide

IPWのイメージ 
55
 
 
 
このデータが全て観測できた  
場合の平均が知りたい  

View Slide

56
 
 
 
この差分が効果の推定値になる  

View Slide

57
 
 
 
５人中１人しか観測されない  
→このユーザーを５人分カウントしよう  
x5  売り上げ：高 

View Slide

58
 
 
 
５人中２人しか観測されない  
→２人を2.5人分ずつカウントしよう  
x5 
x2.5 
x2.5 

View Slide

59
 
 
 
4人中２人しか観測されない  
→２人を2人分ずつカウントしよう  
x2.5 
x2.5 
x5 
x2 
x2 

View Slide

60
 
 
 
{(3824x5) + (3726x2.5) + (2506 x 2.5) + (3015x2) + (2727x2) } / 14 = 3477 
x2.5 
x2.5 
x5 
x2 
x2 

View Slide

61
 
 
 
{(2047 + 2953 + 2833 + 2866)x1.25 + (2482 + 2443 + 2102)x1.66 + (2234 + 2044)x2
} / 14 =2492 
x1.25 
x2 
x1.25 
x1.25 
x1.25 
x1.66 
x1.66 
x1.66 
x2 

View Slide

62
 
 
 
推定された売上 
＝2492 
推定された売上 
＝3477 

View Slide

（余談）マッチングのイメージ 
63
 
 
3824 - 2833 = 991 
3726 - 2482 = 1283 
3506 - 2443 = 1063 
3015 - 2334 = 681 
2727 - 2044 = 683 
傾向スコアの近いユーザーをペアにして、差分
を効果として計算する。  

View Slide

広告テンプレート選択@CyberAgent 
64
slot
_1
slot
_2
slot
_3 slot_1
sl
ot
_2
ユーザー 
セグメント{A,B,C} 
予測モデル  意思決定 
ルール 
slot_1
sl
ot
_2
広告表示  クリック 
広告画像の 
選択肢 
セグメントにより選ばれやすい画像が異なる 
● セグメントA 
○ 80%の確率でZ=1 
○ 20%の確率でZ=0 
● セグメントB 
○ 60%の確率でZ=1 
○ 40%の確率でZ=0 
● セグメントC 
○ 40%の確率でZ=1 
○ 60%の確率でZ=0 

View Slide

考えるお題 
広告画像の選択肢を評価・比較したい 
→無駄なものは削除したい 
 
65
slot_1 slot_2 slot_3
slot_1
slot
_2
template_id: 26 template_id: 75

View Slide

とりあえず集計した結果 
● template_id毎にCTRを計算する
● template_id:26のCTRが高そう
→Biasを含んだ結果
営業や事業責任者の方が見るデータ
66
26以外いら
ないね！！

View Slide

● バイアスがある程度減っているはず。
● 26がよかったというのは幻想だった。
● CTRはどれも大差ないという結果。
傾向スコアを使ったIPW 
67

View Slide

2.効果検証から出る疑問 
教師ありの機械学習を例に考える 

View Slide

効果検証から得られる観点 
69
観測されるデータには 
バイアスが存在する 
施策の効果  
効果は2つの世界線の差にある 
→これらの観点は他のDS技術でどう捉えられているのか？ 

View Slide

2.効果検証から出る2つの疑問 
教師あり学習を例に考える 
- バイアスはどう考えられているのか？ 
 

View Slide

学習データがある母集団から手に入る 
71
母集団
サンプル
(学習データ)

View Slide

誤差を定義する 
72
母集団
サンプル
(学習データ)
あるモデルfの誤差を定義 

View Slide

モデルを学習する（誤差の最小化） 
73
母集団
サンプル
(学習データ)
あるモデルfの誤差 
誤差を最小にするように  
モデルを学習する 

View Slide

データ上の誤差は推定値 
74
母集団
サンプル
(学習データ)
あるモデルfの誤差の推定値 
あるモデルfの真の誤差（母集団におけるの誤差）  
実は誤差の推定値を最小にする
ようにモデルを学習している  

View Slide

同じ母集団からテストデータが得られる 
75
母集団
サンプル
(学習データ)
サンプル
テストデータ
誤差の推定値を最小化して得られるモデル  
同じ母集団から得られたデータなので  
誤差は小さくなるはず  

View Slide

母集団
学習データにバイアスがある場合 
76
母集団
サンプル
(学習データ)
サンプル
テストデータ
バイアスのある母集団の誤差の推定値  
を最小化して得られたモデル  
別の母集団への誤差を最小にしているので  
誤差は思うように小さくならない  

View Slide

おさらい 
● 学習データにはバイアスがあるかも 
○ 調査に協力してくれたユーザーのデータしかない 
○ でも予測は全部のユーザーにしたい 
 
● 何も考慮しなければどうなるのか？ 
○ バイアスのある母集団への誤差を最小化する 
○ これはバイアスの無い母集団への誤差最小化とは一致しない 
77

View Slide

実際どう捉えられているか？ 
● 技術的には対応策はいろいろ提案されている 
○ Covariate Shift 
○ Domain Adaptation 
○ etc... 
● 技術に関して手に入りやすい情報があまりない 
○ 日本語の教科書とかにはほぼ情報がない 
○ 特にどんな時に使えば良いのかが議論されてない 
78

View Slide

母集団
他の分野でも起きること 
79
母集団
サンプル
(学習データ)
得られるデータにはバイアスがある  
単純に損失の最小化をしても本当に行いたい
予測や知識は得られない  
バイアスの無い母集団での損失が最小化できると
 
予測ができたり何かがわかったりする
 

View Slide

例：モデルの解釈性とバイアス 
● 教師あり学習を行ってモデルから情報を得る 
○ Aという要素が重要！ 
○ といった情報を得ることができる（と考えられている） 
● 学習データにバイアスがあるとどうなる？ 
○ 結果がコロコロ変わることが示唆されている 
■ バイアスがあるデータではAが重要  
■ バイアスのないデータではBが重要  
○ 参考）Robust and Stable Black Box Explanations @ ICML20 
80

View Slide

2.効果検証から出る2つの疑問 
教師あり学習を例に考える 
- 効果について考える 

View Slide

よくあるデータサイエンスプロジェクト 
82
予測モデルの作成 
知識や示唆の発見 
ビジネスへの応用 
適当な効果検証 
データの取得 
データ 
サイエンティスト 

View Slide

データサイエンスの効果検証が行われるとする 
83
予測モデルの作成 
知識や示唆の発見 
ビジネスへの応用 
効果検証 
・ABテスト 
・因果推論 
データの取得 
データ 
サイエンティスト 

View Slide

テック企業では常識 
84
+1000 test
/day
+200 test
/day
2013年に行われていたABテストの数  
→1000 test/day in 2017  
出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

View Slide

テック企業以外でも・・・ 
85

View Slide

86
最後に因果効果で評価されるなら、 
因果効果を直接最大化すれば良いのでは？ 

View Slide

例えば・・・ 
● 因果推論を使った意思決定してみよう 
● 個人の因果効果を機械学習で予測してみよう 
などが考えられる 
87

View Slide

こういう意見もある 
88
えーでもあれですよね 
 
機械学習の予測をビジネスで使う場合、
予測性能が向上すれ
ばビジネス上の意思決定も改善されますよね？
 
 
だからCross-Validationでの評価を改善してゆけばビジネスで
も改善が起きるはずですよね？
 
 
だからわざわざPotential Outcome Frameworkとか持ち込まな
くても良いのではないでしょうか？
 

View Slide

23回ABテストした結果・・・  
● 横軸：機械学習のオフラインでの予測能力の改善  
● 縦軸：ビジネスKPIの改善  
● オフラインの予測能力とビジネスKPIに関係無し  
Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019.
150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com.
In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19).
89
残念なお知らせ@KDD2019 

View Slide

なぜそうなるのか？ 
● 意思決定の質との繋がりが明確か？ 
○ 計測可能な予測性能の改善と意思決定の繋がりが見えているか？ 
○ 多くの場合繋がりが曖昧だったり弱かったりする 
● 補足） 
○ 予測がビジネスKPIに明確に関連する場合は問題なし 
90

View Slide

利用可能な技術もある 
● 因果推論を使った意思決定 
○ Aの効果がよかったから、Aを使おうという話。 
● 機械学習で因果効果を予測する 
○ いろいろ工夫して効果を予測する 
○ Uplift Modeling / ITE Prediction 
● 強化学習で報酬（累積因果効果）を最大化する 
○ Bandit Algorithm 
→こちらは日本語でも情報がちらほらある 
91

View Slide

DSをビジネスで使ってみることと、 
成果につなげることの間には大きな谷がある。 
92
効果検証 
応用・実装  成果 
データサイエンティスト 

View Slide

3.効果の出せる 
データサイエンティスト 

View Slide

効果検証から得られる観点 
94
観測されるデータには 
バイアスが存在する 
施策の効果  
効果は2つの世界線の差にある 
→様々なケースでこれらの観点が重要になる 

View Slide

何が必要なのか？ 
● 技術的な話 
○ バイアス対処にまつわる技術 
○ 効果を改善する技術 
● ソフトな話 
○ 自分のデータにバイアスがあるのかを発見できるか？ 
○ 重要な効果が何かを先に定義できるか？ 
 
→バイアスの検知や効果の定義がなければ技術は無意味 
95

View Slide

効果を出すために重要なスキル 
● バイアスの存在に気がつけるか？ 
○ 体系はない（経済学が近いかも？） 
○ バイアスのあるデータだけみてもバイアスはわからない 
○ なので、実はドメイン知識が非常に重要 
● 推定したい効果を明確に定義できるか？ 
○ 因果推論では、Z = 0 or 1の効果しかわからない。 
○ 何がビジネスに重要なのかをよく議論する必要がある 
○ 「どの要因が一番効いているのか？」はかなり難しい 
96

View Slide

スキルチェックリストへ 
勝手に提案 
現状：バイアスに関連する内容ほぼ無し 
 
提案： 
 
● バイアスに気が付けるスキル入れてみませんか？ 
 
● 効果を定義できることは重要ではありませんか？ 
97

View Slide

98
Enjoy! 

View Slide

効果検証入門から見直す「データサイエンス」

効果検証入門から見直す「データサイエンス」

Shota Yasui

More Decks by Shota Yasui

Other Decks in Science

Featured

Transcript

効果検証入門から見直す 「データサイエンス」

効果検証入門から見直す 「データサイエンス」

Shota Yasui

More Decks by Shota Yasui

Other Decks in Science

Featured

Transcript

効果検証入門から見直す「データサイエンス」

効果検証入門から見直す「データサイエンス」