実験デザインと因果探索のミッシングリンクに関する調査

by Asei Sugiyama

Slide 1

Slide 1 text

実験デザインと因果探索のミッシングリンクに関する調査 Asei Sugiyama

Slide 2

Slide 2 text

⾃⼰紹介杉⼭阿聖 Software Engineer @ Repro AI Labs TensorFlow コントリビューター TFX : Issue ⽴てたり PR ⽴てたり docs-l10n : 翻訳 & レビュー機械学習図鑑共著

Slide 3

Slide 3 text

⽬的 . 異なる A/B テストを何度も⾏うことで知⾒を得る⼿法である分散分析と、その発展について明らかにしたい . 実験デザインがなぜ機械学習勢やマーケターに浸透していないのかを明らかにしたい

Slide 4

Slide 4 text

概要実験デザインは⽣命科学の分野ではデータから知⾒を導くための⼿法として重要性が知られている⼀⽅、機械学習勢の間では広く議論されておらず、現代までのどこかで断絶が発⽣しているそこで、実験デザインのその後の発展について、適⽤分野を含めて調査を⾏い、因果探索までの発展の道のりを明らかにしたまた、実験デザインが知られていない理由を検討し、利⽤の難易度と流派の対⽴に原因があるのではないかという仮説を⽴てられた

Slide 5

Slide 5 text

TOC 問題設定: 繰り返しのある A/B テスト <- 実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論まとめ

Slide 6

Slide 6 text

問題設定: 繰り返しのある A/B テスト単純な A/B テスト画像と⽂⾯の組み合わせによるテスト課題: 画像を変えることと⽂⾯を変えることのどちらが重要か？

Slide 7

Slide 7 text

単純な A/B テストユーザーに提⽰する画像の候補がいくつかあり、どの画像がもっとも良いか知りたいケース対照群 (Control) と介⼊群 (Treatment) を⽐較適当なところで実験を打ち切り、もっとも成績の良いものを採⽤する Image from Netflix Technology Blog https://netflixtechblog.com/selecting- the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6

Slide 8

Slide 8 text

複数要素が変化する A/B テストタイトル画像と背景画像の2 要素がある A/B テストこの場合でも通常通り Control / Treatment でテストを⾏えば良い⼀度に複数の要素を変えてテストすると結果がわかりにくくなる Images from https://about.netflix.com/en/news/the-power-of-a-picture

Slide 9

Slide 9 text

課題: 重要な要素は何か？画像を変えることとタイトルを変えることのどちらが重要か？特定の背景画像はタイトルよりも影響が⼤きかったかもしれないが全体的な傾向は？背景画像とタイトルロゴのどちらに予算をかけるべきか？上記の問いは1回の A/B テストでは解決しないが、どのように計測すれば良い？ Images from https://about.netflix.com/en/news/the-power-of-a-picture

Slide 10

Slide 10 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い <- 分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論まとめ

Slide 11

Slide 11 text

実験デザインと統計解析実験デザインとは実験デザインで解決したい課題 A/Bテストの実験デザイン要因と⽔準の混同に注意マーケティングにおける実験デザイン

Slide 12

Slide 12 text

実験デザインとは実験をデザインするとは、とったデータの解析に使われる統計法の仕組みを知ることだけではない。それ以上に、科学的なものの考え⽅を学ぶことである。⾃分のデータに⾃信を持つことである。⾃分が測っていると思っているものを本当に測っていると知っていることである。 from ⽣命科学の実験デザイン第4版

Slide 13

Slide 13 text

実験デザインで解決したい課題失敗を未然に防ぐため、次の事項について検討して実験を計画する検証したい業務上の仮説データの収集⽅法データの集計⽅法データに⽤いる統計⼿法データから意思決定する内容やその基準データの収集で失敗しがちなので、ここを事前に検討する事が重要

Slide 14

Slide 14 text

A/Bテストの実験デザイン A/B テストは1因⼦2⽔準の実験デザイン因⼦: 実験で着⽬している結果を作⽤する要素、変数⽔準: この実験における因⼦が取りうる値結果は次のような表にまとめられ、検定はt検定を⽤いる Push通知(因⼦) 対象⼈数 CV数 CVR あり (⽔準) 1,000 20 2.0% なし (⽔準) 1,000 10 1.0%

Slide 15

Slide 15 text

因⼦と⽔準の混同に注意 (1/2) 複雑な実験を⾏おうとすると、変更している対象が因⼦に相当するのか⽔準に相当するのかわかりにくくなる複雑なデザインで起こってくる問題は、異なる因⼦とそのレベルの混同である。(中略)ブランドの異なる5つの液体肥料を使って実験をするとしたらどうだろう。今度はそれほどはっきりしないのではないだろうか。5つの液体肥料は異なる因⼦なのだろうか、それとも同⼀の因⼦の異なるレベルなのだろうか。 -- ⽣命科学の実験デザイン第4版 p.180

Slide 16

Slide 16 text

因⼦と⽔準の混同に注意 (2/2) 肥料AとBを独⽴に使う場合 : 肥料Aと肥料Bの使⽤を因⼦として扱う肥料AとBを独⽴に使わない場合 : 肥料のブランドという因⼦の⽔準として肥料Aと肥料Bを扱う

Slide 17

Slide 17 text

マーケティングにおける実験デザインリサーチデザインと呼ばれている左: マーケティングのために統計をかじってみたい⼈向けの⼊⾨書籍右: 統計や因果推論をマーケティングに応⽤してみたい⼈向けの⼊⾨書籍

Slide 18

Slide 18 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤ <- 構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論まとめ

Slide 19

Slide 19 text

分散分析とそのマーケティングへの応⽤ A/Bテストを繰り返す実験デザイン分散分析についての資料分散分析とマーケティング品質管理への応⽤分散分析の利点・⽋点

Slide 20

Slide 20 text

A/Bテストを繰り返す実験デザイン (1/2) Push 通知の画像の有無と2つのメッセージを同時に試したい場合因⼦1. 画像の有無、ありとなしの2⽔準因⼦2. メッセージの種類、今回は2種類なので2⽔準 CVR の⽐較表メッセージ1 (因⼦2の⽔準1) メッセージ2 (因⼦2の⽔準1) 画像あり(因⼦1の⽔準1) CVR 2.0% CVR 1.5% 画像なし(因⼦1の⽔準2) CVR 1.2 CVR 1.0%

Slide 21

Slide 21 text

A/Bテストを繰り返す実験デザイン (2/2) このような集計では「何が結果に寄与したのか」を分析可能「重要な変数を変えると結果が⼤きく変わる=分散⼤」と考えるイメージは次の式のとおり全体の分散= 画像による分散+ メッセージによる分散 + 組み合わせによる分散+ 残りの分散( 残差) メッセージを変更することや、画像を変更することにより全体に与える影響を分析する⼿法を分散分析と呼ぶ

Slide 22

Slide 22 text

分散分析とマーケティング (1/2) 3群以上の⽐較を⾏う場合の⼿法として紹介される右は「1からのマーケティング分析 (碩学社 2011)」の⽬次から抜粋 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著） | 碩学舎

Slide 23

Slide 23 text

分散分析とマーケティング (2/2) マーケティングにおける実験デザインの重要性が主張されているリサーチデザインの考え⽅によると経営学ではリサーチデザインと呼ばれている様⼦ 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著） | 碩学舎

Slide 24

Slide 24 text

分散分析の利点・⽋点因⼦が結果を左右する度合いがわかる⼀度で複数の因⼦の効果について分析できる交互作⽤の強さがわかる結果の⾒⽅が複雑実験そのものも複雑 from ⽇科技連実験計画法-⽅法編- ⼭⽥秀 p.84

Slide 25

Slide 25 text

補⾜. 交互作⽤分散分析では、因⼦の主効果と交互作⽤を分けて考える実験結果が因⼦の主効果の⾜し合わせで説明できないときに、交互作⽤があるという images from 7.3 交互作⽤とは?

Slide 26

Slide 26 text

品質管理への応⽤ (1/2) 分散分析は品質管理、とくにタグチメソッドに応⽤される左: 実務への応⽤として品質管理への適⽤を紹介右: 分散分析とタグチメソッド(タグチの式)の間の理論的な関係について紹介

Slide 27

Slide 27 text

品質管理への応⽤ (1/2) ⼿順は次の通り i. ⽬的の設定 ii. 因⼦の列挙 (右図) iii. ⽔準の設定 iv. 実験 v. 結果の確認 & 考察製造業では環境を制御できるため因⼦を特定でき相性が良いと思われる

Slide 28

Slide 28 text

分散分析についての資料ハンバーガー統計学にようこそ！たぶんこれが⼀番簡単だと思います

Slide 29

Slide 29 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤ <- 構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論まとめ

Slide 30

Slide 30 text

構造解析とそのマーケティングへの応⽤分散分析と線形回帰分散分析と因⼦解析因⼦解析の例分散分析と構造解析 (SEM;構造⽅程式モデリング) マーケティングへの応⽤例共分散構造解析と品質管理共分散構造解析の限界

Slide 31

Slide 31 text

分散分析と線形回帰分散分析では線形モデルを仮定⽬的変数を各因⼦と相互作⽤項で説明するように線形回帰右図はモデルの例 from ⽇科技連実験計画法-⽅法編- ⼭⽥秀 p.77

Slide 32

Slide 32 text

分散分析と因⼦解析因⼦分析は代表的にはアンケート結果の解釈に⽤いられる分散分析では因⼦やその⽔準を実験条件として明⽰的に指定し、⽬的変数の値が実験条件ごとにさまざまに与えられる因⼦分析では因⼦はさまざまな観測変数の背後に現れる、共通したあ構造として捉えられる操作としては、アンケート結果を分散が最⼤になるよう、主成分分析することに近い (が、主成分分析に同じと⾔うと怒られる)

Slide 33

Slide 33 text

補⾜: 主成分分析と因⼦解析の類似点と相違点類似点ともに共分散⾏列を説明相違点因果の⽅向 (右図) 誤差項の有無 from 主成分分析は因⼦分析ではない!

Slide 34

Slide 34 text

因⼦分析の例 (1/2) ⽇経リサーチの「ブランド戦略サーベイ」における分析例アンケートで「そう思う」と回答された割合を「企業数×25項⽬」の⾏列に集計し、因⼦分析 image from 因⼦分析 | ⽇経リサーチ

Slide 35

Slide 35 text

因⼦分析の例 (2/2) 分析結果は⼈が意味づけ因⼦1. のれん因⼦2. 活性⼒因⼦3. ⼤衆性因⼦4. 先鋭性因⼦の数やそれぞれの因⼦の意味付けには強い仮説が必要 image from 因⼦分析 | ⽇経リサーチ

Slide 36

Slide 36 text

分散分析と共分散構造解析分散分析で⽤いている線形モデルを⾃分で設計できるようにしたのが構造解析線形モデルに階層構造を導⼊したり、モデルに制約を加えたりして、分析者の知識を外挿する技法探索的なものと記述的なもので、⼤きく結果の解釈⽅法が違う共分散構造解析は SEM;構造⽅程式モデリングとも呼ばれる

Slide 37

Slide 37 text

補⾜: 外挿と内挿内挿: データのある区間について出⼒を推定外挿: データのない区間について出⼒を推定外挿の例: Moore の法則外挿のためにモデルへ制約を加えることがある右図は単調性を加えた例 image from TensorFlow Lattice (TFL)

Slide 38

Slide 38 text

マーケティングへの応⽤例 (1/4) 共分散構造解析を⽤いた顧客満⾜度分析⽇本⽣産性本部が定期的に発表 from 2020年度第1回JCSI調査発表⽂

Slide 39

Slide 39 text

マーケティングへの応⽤例 (2/4) 全 110 問のアンケート調査回答者数約 27,000 ⼈設問構成は右のとおり from 2020年度第1回調査詳細資料

Slide 40

Slide 40 text

マーケティングへの応⽤例 (3/4) 顧客の⼼理状態を表すCSIモデルに従いアンケートを設計各設問は10段階評価 from 2020年度第1回調査詳細資料

Slide 41

Slide 41 text

マーケティングへの応⽤例 (4/4) アンケート結果からパス図を作成⼩野譲司 JCSIによる顧客満⾜モデルの構築マーケティングジャーナル 30(1), 20-34, , ⽇本マーケティング協会, 2010

Slide 42

Slide 42 text

共分散構造解析とその他の⼿法パス図を⽤いると⽐較的わかりやすく区別可能上図パス解析 | ⽇経リサーチ下図

Slide 43

Slide 43 text

共分散構造解析と品質管理意外と活⽤は進んでいない様⼦「潜在変数」の考え⽅がなじまないのかもしれない from よくある質問 - 品質管理なら⽇本科学技術連盟

Slide 44

Slide 44 text

共分散構造解析の限界結果がモデルに⼤きく依存するモデルが正しいかどうかを確かめる⼿段はない (All models are wrong - Wikipedia) しかし、実は、構造推定にはそれ以前に重⼤な短所がある。それは、⾃然実験に⽐べると、内的妥当性に劣る、という点だ。 -- from 実証分析⼊⾨⽇本評論社 p.242

Slide 45

Slide 45 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索 <- それぞれの解析⼿法の利⽤⽅法議論まとめ

Slide 46

Slide 46 text

構造解析とベイズモデリング・因果探索共分散構造解析と因果関係構造解析とベイズモデリング構造解析と因果探索

Slide 47

Slide 47 text

共分散構造解析と因果関係共分散構造解析では因果関係を考慮できる点が優位とされている Q. 構造⽅程式モデリングを実践すると、観察データの因果関係を定量的に評価・解釈できると聞きました。構造⽅程式モデリングとは何ですか？ A. 「構造⽅程式モデリング」（「共分散構造分析」とも呼ばれます。以下，SEM）は、多変量解析⼿法の1つであり、観察データに基づいて変数間の因果関係を定量的に評価・解釈できることが特徴です。 -- from よくある質問 - 品質管理なら⽇本科学技術連盟

Slide 48

Slide 48 text

構造解析とベイズモデリング階層ベイズモデルの特殊系が共分散構造解析 (SEM) 確率分布は(多次元)正規分布のみ確率変数間の関係は線形結合のみ階層ベイズモデルを扱える Stan で SEM は実装できる Stanで構造⽅程式モデリングをやってみた | Sunny side up!

Slide 49

Slide 49 text

構造解析と因果探索 (1/2) 因果グラフ (DAG) を線形モデルで表現すると、因果効果の推定が実⾏できる前提⽬的⼿法因果グラフが既知因果効果の推定 SEM 因果グラフが既知因果関係の強さの推定 SEM 因果グラフが部分的に既知因果効果の推定因果推論因果グラフが未知因果グラフの推定因果探索

Slide 50

Slide 50 text

構造解析と因果探索 (2/2) 分散分析では因⼦間の相関はわかるものの、因果関係の⽅向はわからない SEMでは因果関係の正しさの保証が困難 LiNGAM では制約を課した線形モデルを⽤いて因果関係を識別する from 因果探索: 基本から最近の発展までを概説

Slide 51

Slide 51 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法 <- 議論まとめ

Slide 52

Slide 52 text

それぞれの解析⼿法の利⽤⽅法 t検定・分散分析: statsmodels パス分析・構造⽅程式モデリング : semopy 階層ベイズ: たくさんある因果探索: LiNGAM, causalnex

Slide 53

Slide 53 text

statsmodels OLS で分散分析を実⾏できる formula = 'S ~ C(E) + C(M) + X' lm = ols(formula, salary_table).fit() tutorial は Interactions and ANOVA — statsmodels

Slide 54

Slide 54 text

semopy # structural part eta3 ~ x1 + x2 eta4 ~ x3 x3 ~ eta1 + eta2 + x1 + x4 x4 ~ eta4 x5 ~ x4 # measurement part eta1 =~ y1 + y2 + y3 eta2 =~ y3 eta3 =~ y4 + y5 eta4 =~ y4 + y6 # additional covariances eta2 ~~ x2 y5 ~~ y6

Slide 55

Slide 55 text

階層ベイズに使えるライブラリの例 PyMC4 PyMC4 で単回帰 (ただしベイズ) @pm.model def model(data): mu = yield pm.Normal(loc=0, scale=10, name="mu") sig = yield pm.Exponential(rate=0.1, name="sig") like = yield pm.Normal(loc=mu, scale=sig, observed=data, name="like") return like estimation_model = model(data) trace = pm.sample(model(data), num_samples=800) 最近の事情は近年の PPL の動向が詳しい

Slide 56

Slide 56 text

LiNGAM 統計的因果探索⽤ライブラリ model = lingam.DirectLiNGAM() model.fit(X) make_dot(model.adjacency_matrix_) 機能追加やメンテナンスがされている (重要) from lingam/DrawGraph.ipynb

Slide 57

Slide 57 text

causalnex 統計的因果探索⽤ライブラリ sm = from_pandas(struct_data) sm.remove_edges_below_threshold(0.8) viz = plot_structure( sm, graph_attributes={"scale": "0.5"}, all_node_attributes=NODE_STYLE.WEAK, all_edge_attributes=EDGE_STYLE.WEAK) Image(viz.draw(format='png')) LiNGAM に⽐べると後進なものの、投資は進んでいる模様 from A first CausalNex tutorial — causalnex 0.8.1 documentation

Slide 58

Slide 58 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論 <- まとめ

Slide 59

Slide 59 text

議論なぜ実験デザインは現代の機械学習勢やマーケターに伝わってきていないのか？考察理論⾯からの考察ゴシップ⾯からの考察根拠は乏しいです

Slide 60

Slide 60 text

理論⾯からの考察分析者に要求される前提が厳しすぎたのでは？実験デザインは (アカデミアを除いて) 次のように伝播している製造業: 実験デザイン→タグチメソッド (分散分析) マーケティング: 実験デザイン→アンケート分析 (SEM) 上記の⼿法はどちらも、データの⽣成過程に理論的な知識が必要 Big Data の時代が到来し「相関だけでいいんだよ」という世論に機械学習の時代が到来し「因果関係はわからなくてもデータさえあれば再現できる」という世論に上記の結果、失伝したのでは？

Slide 61

Slide 61 text

ゴシップ⾯からの考察因果推論の⼿法を⽤いる⾃然実験派と構造推定の⼿法を⽤いる構造推定派は仲が悪い現在流⾏しているのは RCT のような実験デザインを必要としない⾃然実験実証分析のスーパースターたちが互いに⼝汚く罵り合っていて、「うわ、こいつらめっちゃ仲悪い、絶対和解できないだろうな」と感じることだろう。 -- from 実証分析⼊⾨⽇本評論社 p.241

Slide 62

Slide 62 text

TOC 問題設定: 繰り返しのある A/B テスト実験デザインによる解析⼿法の違い分散分析とそのマーケティングへの応⽤構造解析とそのマーケティングへの応⽤構造解析とベイズモデリング・因果探索それぞれの解析⼿法の利⽤⽅法議論まとめ <-

Slide 63

Slide 63 text

まとめ A/B テストを繰り返す実験の分析には分散分析が⽤いられる分散分析では、要因間の関連について分析を⾏う分散解析では現実を把握し実験する必要があり、実験環境の統制を⾏いやすい製造業、とくに品質管理で発展している共分散構造解析では、分析者の知識をモデルとして与えることができ、アンケートの結果分析に利⽤されるマーケティングへ共分散構造解析を応⽤するためには⼈のモデル化が必要なため、単純な A/B テストよりも分析者に知識が要求されるさらなる発展には因果関係をデータから発⾒する因果探索がある

Slide 64

Slide 64 text

参考にした書籍

Slide 65

Slide 65 text

実験デザイン⽣命科学の実験デザイン［第4版］G. D. ラクストン／N. コルグレイヴ著名古屋⼤学出版会 2019年 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著）碩学舎 2011 年実験計画法－⽅法編－⼭⽥秀著⽇科技連出版社 2004年⼊⾨実験計画法永⽥靖著⽇科技連出版社 2000年

Slide 66

Slide 66 text

共分散構造解析 (1/2) 共分散構造分析［⼊⾨編］ ― 構造⽅程式モデリング― 豊⽥秀樹著朝倉書店 1998年共分散構造分析［応⽤編］ ― 構造⽅程式モデリング― 豊⽥秀樹著朝倉書店 2000年共分散構造分析［技術編］ ― 構造⽅程式モデリング― 豊⽥秀樹編著朝倉書店 2003年共分散構造分析［疑問編］ ― 構造⽅程式モデリング― 豊⽥秀樹編著朝倉書店 2003年

Slide 67

Slide 67 text

共分散構造解析 (2/2) 共分散構造分析［理論編］ ― 構造⽅程式モデリング― 豊⽥秀樹著朝倉書店 2007年新装版共分散構造分析はじめの⼀歩: 図の意味から学ぶパス解析⼊⾨⼩塩真司著アルテ 2020年実証分析⼊⾨森⽥果著⽇本評論社 2014年