Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gurobi Machine Learning 1 因果推論とアップリフトモデリング
Search
NearMeの技術発表資料です
PRO
June 16, 2023
Research
0
170
Gurobi Machine Learning 1 因果推論とアップリフトモデリング
NearMeの技術発表資料です
PRO
June 16, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
2つの曲線を比較する方法ってあるの? 〜フレシェ距離を試してみた〜 with Python
nearme_tech
PRO
1
18
Constrained K-means Clustering (クラスタサイズの制限をしたK-means法) を調べてみた
nearme_tech
PRO
0
16
VRPの近傍操作SWAP*について調べてみた
nearme_tech
PRO
1
49
新人エンジニアが読んでためになった本
nearme_tech
PRO
2
21
Object–relational mapping and query builder battle 1: Intro to Prisma
nearme_tech
PRO
1
29
深層学習モデルの最適化 -Deep Learning Tuning Playbookを読む-
nearme_tech
PRO
1
52
機械学習を支える連続最適化
nearme_tech
PRO
1
44
サードパーティクッキーの終焉と Topics APIによる代替の可能性
nearme_tech
PRO
1
81
ONNXハンズオン
nearme_tech
PRO
2
28
Other Decks in Research
See All in Research
SSII2024 [OS1] 現場の課題を解決する ロボットラーニング
ssii
PRO
0
420
Conducting AI Research on High-Performance Computing (HPC) Systems
yoshipon
2
460
AIが非ヒト動物に与える有益・有害な影響の検討
takeshit_m
0
300
SSII2024 [OS3] 企業における基盤モデル開発の実際
ssii
PRO
0
490
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
2.5k
20240710_熊本県議会・熊本市議会_都市交通勉強会
trafficbrain
0
560
一人称視点映像解析の基礎と応用(CVIMチュートリアル)
takumayagi
0
800
RCEへの近道
kawakatz
1
620
20240523 Japan Investment Conference 2024
cfajapan
0
730
WikipediaやYouTubeにおける論文参照 / joss2024
corgies
1
210
仮説検定とP値
shuntaros
6
7.3k
「人間にAIはどのように辿り着けばよいのか?ー 系統的汎化からの第一歩 ー」@第22回 Language and Robotics研究会
maguro27
0
410
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
18
2.6k
Designing with Data
zakiwarfel
96
5k
Designing Experiences People Love
moore
136
23k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Thoughts on Productivity
jonyablonski
64
4.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
What's new in Ruby 2.0
geeforr
338
31k
How GitHub (no longer) Works
holman
305
140k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Rails Girls Zürich Keynote
gr2m
93
13k
Making Projects Easy
brettharned
111
5.7k
Building Applications with DynamoDB
mza
89
5.8k
Transcript
0 Gurobi Machine Learning 1 因果推論とアップリフトモデリング 2023-06-16 第49回NearMe技術勉強会 @yujiosaka
1 機械学習
2 既知のデータを学習することで、未知のデータについて予測すること 機械学習のおさらい x1とx2の2 変数だけを使って、 メールをSPAMかHAMかに分類したい • x1: 文字化けの数 •
x2: 文中の「おめでとう」の回数 として、以下の分類ができる f(x) > 0: SPAM f(x) < 0: HAM
3 教師あり • 分類 ◦ スパムフィルタ ◦ 画像認識 • 回帰
◦ 株価予測 ◦ 不動産価格予測 教師なし • クラスタリング • GAN(Generative Adversarial Netrowk) 機械学習の分類
4 • 治療を行うことで患者が回復するかどうか • 奨学金を与えることで入学率が向上するかどうか • 割引することで売上が伸ばせるかどうか • etc. リスク
コスト コスト 介入操作が行われる分野 因果推論は、リスクやコストを伴う介入を行う分野とその研究 リスクやコストを最小限に抑えつつ、効果を最大化させたい
5 普通の予測と何が違うのか?
6 因果推論の根本問題 https://ja.wikipedia.org/wiki/%E7%9B%B8%E9%96%A2%E9%96%A2%E4%BF%82%E3%81%A8%E5%9B%A0%E6%9E%9C% E9%96%A2%E4%BF%82
7 アップリフトモデリング
8 対象を4章限に分類 この象限内の対象を分類したい
9 • 「勉強したらテストに合格した」という観測からは 「勉強しなかったらテストに合格しなかった」のかはわからない • 後からこの学生は、「Persuadable」か「Sure Things」かは分類できない • ABテストを行えば、統計的に分類することは可能 •
実用的には、「Persuadable」の分類予測が行えれば十分なことが多い 解説 ABテストを必須としない方法も研究されている 勉強したから合格した 勉強してもしなくても合格した 誰に勉強させる(Treatment)べきかを知りたい
10 勉強した学生(Treated)としなかった学生(Control)の2つのグループにランダムに分ける ①勉強した学生(Treated)を対象に、 過去の成績等のデータから「(勉強した場合の)合格率」を予想するモデルを構築 ②勉強しなかった学生(Control)を対象に、 過去の成績等のデータから「(勉強しなかった場合の)合格率」を予想するモデルを構築 2モデル 過去の成績が分かっている新たな学生に対し、「① - ②
> 0」であれば、 その学生は勉強することで合格率が上がるだろうと予測できる コストの高い勉強(塾に通わせる等)であれば、「① - ②」の差が より大きい学生だけに介入するといった応用もできる
11 • パラメータチューニングが難しくなる • 予測時の計算量が2倍になる • 特徴量の解釈が難しくなる 2モデルの問題点 → それぞれ異なるチューニングをして問題ないかは判断が難しい
→ 一度実行すればいい学習と違って、予測時の計算量は直接サーバーコストに影響する → 2つの学習結果で全く異なる特徴が抽出されてしまう
12 変数Zを導入して、教師として学習 Pythonコード例 1モデル // 学習データ df = pd.DataFrame({ 'y':
[1, 0, 1, 0], //合格したか?(response) 't': [1, 1, 0, 0], // 勉強したか?(treatment) 'x1': [0.2, 0.8, 0.3, 0.4], 'x2': [0.4, 0.4, 0.2, 0.2] }) x = df[['x1', 'x2']] z = 1 - (df['y'] ^ df['t']) // z = [1, 0, 0, 1] model.fit(x, z) // どんな分類器でも可
13 介入の回数や予算に制約がある場合に効果を最大化させたい 例: 試験に合格したn人の学生に対して、奨学金を配ることで入学する学生数を最大化させたい。 ただし、奨学金には予算上限があり、1人あたり250万円以内、n*0.2人までにしか配れない。 どの学生に対して奨学金をどれだけ配るべきか? アップリフトモデリングが答えてくれない問題 数理最適化と機械学習の統合が必要 → 次回
Gurobi Machine Learning を解説
14 • Decision trees for uplift modeling 参考資料
15 Thank you