Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ウェブ最適化からはじめる機械学習 3章
Search
Masafumi Abeta
April 01, 2021
Science
1
94
ウェブ最適化からはじめる機械学習 3章
「ウェブ最適化からはじめる機械学習」輪講会で発表した資料です。
Masafumi Abeta
April 01, 2021
Tweet
Share
More Decks by Masafumi Abeta
See All by Masafumi Abeta
Pythonのパッケージマネージャー「uv」
abeta
0
300
GPTモデルでキャラクター設定する際の課題
abeta
0
310
GPTをLINEで使えるようにして布教した
abeta
0
170
【Nishika】プリント基板の電子部品検出
abeta
0
310
初心者向けChatGPT入門
abeta
0
230
GPT Short Talk
abeta
0
130
拡散モデルについて少しだけ
abeta
0
62
動的計画モデル
abeta
0
160
物体追跡
abeta
0
290
Other Decks in Science
See All in Science
機械学習 - pandas入門
trycycle
PRO
0
320
傾向スコアによる効果検証 / Propensity Score Analysis and Causal Effect Estimation
ikuma_w
0
140
People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text
rudorudo11
0
110
システム数理と応用分野の未来を切り拓くロードマップ・エンターテインメント(スポーツ)への応用 / Applied mathematics for sports entertainment
konakalab
1
400
高校生就活へのDA導入の提案
shunyanoda
0
6k
データベース10: 拡張実体関連モデル
trycycle
PRO
0
990
mathematics of indirect reciprocity
yohm
1
190
機械学習 - 授業概要
trycycle
PRO
0
250
LayerXにおける業務の完全自動運転化に向けたAI技術活用事例 / layerx-ai-jsai2025
shimacos
2
1.7k
生成検索エンジン最適化に関する研究の紹介
ynakano
2
1.4k
baseballrによるMLBデータの抽出と階層ベイズモデルによる打率の推定 / TokyoR118
dropout009
2
580
Ignite の1年間の軌跡
ktombow
0
160
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Visualization
eitanlees
148
16k
Unsuck your backbone
ammeep
671
58k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Six Lessons from altMBA
skipperchong
28
4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
189
55k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Thoughts on Productivity
jonyablonski
70
4.9k
The World Runs on Bad Software
bkeepers
PRO
71
11k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Transcript
XX University ウェブ最適化からはじめる機械学習 3章 2021.3.30 Abeta
2 4つのデザインによるA/Bテスト 4種のデザインのパターンでコンバージョンを測定。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ ヒーロー画像 ボタン 表⽰回数
クリック数 クリック率 A 商品イメージ 今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A B C D
3 ベイズ推定によるクリック率推定 B、D案が良さそう。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ
今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A C B D
4 効果分析 ボタンと画像がどれくらい影響しているのか?データの⽣成過程をモデリングする。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼
∼ ∼ ?! = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 ?" ?𝟐 分布のモデリング ?" ?" 効果を結合する関数 ?𝟏 のモデリング
5 関数のモデリング 効果を線形結合し、ロジット関数でモデリングする。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ
今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0 0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 88 4 0.0455 ダミー変数化 𝜃 = Logistic 𝛼 + 𝛽! 𝑥! + 𝛽" 𝑥" Logistic 𝑥 = 1 1 + 𝑒%& 関数のモデリング
6 分布のモデリング 連続分布で正負の値をとり、広い値域をとれる分布として正規分布を利⽤する。 事前分布の分散のを⼤きく設定すれば、広い値をとることを許容できる。
7 統計モデル 最終的な統計モデル。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼
∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" )
8 統計モデルの推定結果 ヒーロ画像とボタンそれぞれの効果を評価できた。HDI区間は狭くなっている。 𝛽! 𝛽"
9 新たなデータに対する推定 ボタンの効果が低くなっている。 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0
0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 412 4 0.0194 𝛽! 𝛽"
10 交互作⽤の追加 交互作⽤を追加してモデルを変更する。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼
∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" + 𝜸𝒙𝟏𝒙𝟐 = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" ) 𝜸 交互作⽤の効果 ∼ 𝓝(𝝁𝟑 , 𝝈𝟑 ) 主効果
11 新たなモデルによる推定 ボタンの効果と交互作⽤の効果が認められる。 𝛽! 𝛽" 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A
B C D 何を詳しく⾒るのか 分かりにくい 「今すぐ購⼊」より もハードルが低い
12 で、どのモデルを選べばいいの? 交互作⽤が多すぎても解釈しにくい。相関がある項を導⼊すると推定が不安定になる。 したがってシンプルなモデルからスタートし、可視化をしつつモデルに変数を加えていくのがよい。 定量的にモデルを評価するにはWAIC(widely applicable information criterion, Watanabe-Akaike information
criterion )という指標を使⽤する。 𝜽の⾯ WAIC = 3.9 WAIC = 2.1
13 (おまけ)AIC 真の分布:𝑞(𝑥) 確率モデル:𝑝(𝑥|𝑤) 予測分布: 𝑝 𝑥 * 𝑤 ,
* 𝑤は最尤推定量。 汎化損失:𝐿(* 𝑤) = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|* 𝑤) ← 知りたいもの (カルバック・ライブラ−情報量: 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 * 𝑤 = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺% ) 経験対数損失関数: 𝐿(* 𝑤) = − ! % ∑&'! % log 𝑝 𝑋& * 𝑤 経験対数損失関数と汎化損失の間にはバイアスがある。 AIC = − 1 𝑛 < &'! % log 𝑝 𝑋& * 𝑤 + 𝑑 𝑛 , E AIC = E 𝐿 * 𝑤 + 𝜊 1 𝑛 ただし、AICは事後分布が正規分布で近似できることを仮定している。
14 (おまけ)WAIC 真の分布:𝑞(𝑥) 確率モデル:𝑝(𝑥|𝑤) 予測分布: 𝑝 𝑥 𝑋% = ∫
𝑑𝑤 𝑝 𝑥 𝑤 𝑝 𝑤 𝑋% , 𝑋% = (𝑋! , 𝑋( , 𝑋) , … , 𝑋% )はサンプル 汎化損失:𝐺% = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|𝑋%) ← 知りたいもの (カルバック・ライブラ−情報量: 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 𝑋% = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺) 経験損失: 𝑇% = − ! % ∑&'! % log 𝑝 𝑋& 𝑋% 汎関数分散: 𝑉 % = ∑&'! % ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 ( 𝑝 𝑤 𝑋% − ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 𝑝(𝑤|𝑋%) ( WAIC:𝑊 % = 𝑇% + *+! % , E 𝐺% = E 𝑊 % + 𝜊 ! %
15 (おまけ)直交計画 「交互作⽤がない」と認めれば、検証する組み合わせを減らすことが出来る。農業や製造業などの実験が⼤変 なケースでは、データの⽣成過程を仮定して、実験数を減らすことができる。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A B
C D 𝜃 = Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" 𝒙𝟏 𝒙𝟐 A 0 0 B 0 1 C 1 0 D 1 1