Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ウェブ最適化からはじめる機械学習 3章

ウェブ最適化からはじめる機械学習 3章

D731ae44245b80c37b59d588287aacd7?s=128

Masafumi Abeta

April 01, 2021
Tweet

Transcript

  1. XX University ウェブ最適化からはじめる機械学習 3章 2021.3.30 Abeta

  2. 2 4つのデザインによるA/Bテスト 4種のデザインのパターンでコンバージョンを測定。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ ヒーロー画像 ボタン 表⽰回数

    クリック数 クリック率 A 商品イメージ 今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A B C D
  3. 3 ベイズ推定によるクリック率推定 B、D案が良さそう。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ

    今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A C B D
  4. 4 効果分析 ボタンと画像がどれくらい影響しているのか?データの⽣成過程をモデリングする。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼

    ∼ ∼ ?! = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 ?" ?𝟐 分布のモデリング ?" ?" 効果を結合する関数 ?𝟏 のモデリング
  5. 5 関数のモデリング 効果を線形結合し、ロジット関数でモデリングする。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ

    今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0 0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 88 4 0.0455 ダミー変数化 𝜃 = Logistic 𝛼 + 𝛽! 𝑥! + 𝛽" 𝑥" Logistic 𝑥 = 1 1 + 𝑒%& 関数のモデリング
  6. 6 分布のモデリング 連続分布で正負の値をとり、広い値域をとれる分布として正規分布を利⽤する。 事前分布の分散のを⼤きく設定すれば、広い値をとることを許容できる。

  7. 7 統計モデル 最終的な統計モデル。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼

    ∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" )
  8. 8 統計モデルの推定結果 ヒーロ画像とボタンそれぞれの効果を評価できた。HDI区間は狭くなっている。 𝛽! 𝛽"

  9. 9 新たなデータに対する推定 ボタンの効果が低くなっている。 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0

    0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 412 4 0.0194 𝛽! 𝛽"
  10. 10 交互作⽤の追加 交互作⽤を追加してモデルを変更する。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼

    ∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" + 𝜸𝒙𝟏𝒙𝟐 = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" ) 𝜸 交互作⽤の効果 ∼ 𝓝(𝝁𝟑 , 𝝈𝟑 ) 主効果
  11. 11 新たなモデルによる推定 ボタンの効果と交互作⽤の効果が認められる。 𝛽! 𝛽" 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A

    B C D 何を詳しく⾒るのか 分かりにくい 「今すぐ購⼊」より もハードルが低い
  12. 12 で、どのモデルを選べばいいの? 交互作⽤が多すぎても解釈しにくい。相関がある項を導⼊すると推定が不安定になる。 したがってシンプルなモデルからスタートし、可視化をしつつモデルに変数を加えていくのがよい。 定量的にモデルを評価するにはWAIC(widely applicable information criterion, Watanabe-Akaike information

    criterion )という指標を使⽤する。 𝜽の⾯ WAIC = 3.9 WAIC = 2.1
  13. 13 (おまけ)AIC 真の分布:𝑞(𝑥) 確率モデル:𝑝(𝑥|𝑤) 予測分布: 𝑝 𝑥 * 𝑤 ,

    * 𝑤は最尤推定量。 汎化損失:𝐿(* 𝑤) = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|* 𝑤) ← 知りたいもの (カルバック・ライブラ−情報量: 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 * 𝑤 = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺% ) 経験対数損失関数: 𝐿(* 𝑤) = − ! % ∑&'! % log 𝑝 𝑋& * 𝑤 経験対数損失関数と汎化損失の間にはバイアスがある。 AIC = − 1 𝑛 < &'! % log 𝑝 𝑋& * 𝑤 + 𝑑 𝑛 , E AIC = E 𝐿 * 𝑤 + 𝜊 1 𝑛 ただし、AICは事後分布が正規分布で近似できることを仮定している。
  14. 14 (おまけ)WAIC 真の分布:𝑞(𝑥) 確率モデル:𝑝(𝑥|𝑤) 予測分布: 𝑝 𝑥 𝑋% = ∫

    𝑑𝑤 𝑝 𝑥 𝑤 𝑝 𝑤 𝑋% , 𝑋% = (𝑋! , 𝑋( , 𝑋) , … , 𝑋% )はサンプル 汎化損失:𝐺% = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|𝑋%) ← 知りたいもの (カルバック・ライブラ−情報量: 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 𝑋% = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺) 経験損失: 𝑇% = − ! % ∑&'! % log 𝑝 𝑋& 𝑋% 汎関数分散: 𝑉 % = ∑&'! % ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 ( 𝑝 𝑤 𝑋% − ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 𝑝(𝑤|𝑋%) ( WAIC:𝑊 % = 𝑇% + *+! % , E 𝐺% = E 𝑊 % + 𝜊 ! %
  15. 15 (おまけ)直交計画 「交互作⽤がない」と認めれば、検証する組み合わせを減らすことが出来る。農業や製造業などの実験が⼤変 なケースでは、データの⽣成過程を仮定して、実験数を減らすことができる。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A B

    C D 𝜃 = Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" 𝒙𝟏 𝒙𝟐 A 0 0 B 0 1 C 1 0 D 1 1