Share
Embed
実験デザインと因果探索のミッシングリンクに関する調査
実験デザインと分散分析、共分散構造解析 (構造方程式モデリング)、因果探索の間の関係について調査した結果です。参考にした資料にはリンクを張っていますので、DL すると便利です。
共分散構造解析と因果推論の関係について述べた資料には http://www.sigmath.es.osaka-u.ac.jp/~kano/research/application/2006/05tutorialAppStat_sl.pdf もあり、こちらのほうがより詳細に扱っています。
Asei Sugiyama
October 28, 2020
Transcript
67 slides
-
⾃⼰紹介 杉⼭ 阿聖 Software Engineer @ Repro AI Labs TensorFlow
コントリビューター TFX : Issue ⽴てたり PR ⽴てたり docs-l10n : 翻訳 & レビュー 機械学習図鑑 共著 -
単純な A/B テスト ユーザーに提⽰する画像の 候補がいくつかあり、どの 画像がもっとも良いか知り たいケース 対照群 (Control) と
介⼊群 (Treatment) を⽐較 適当なところで実験を打ち 切り、もっとも成績の良い ものを採⽤する Image from Netflix Technology Blog https://netflixtechblog.com/selecting- the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6 -
複数要素が変化する A/B テスト タイトル画像と背景画像の2 要素がある A/B テスト この場合でも通常通り Control /
Treatment でテス トを⾏えば良い ⼀度に複数の要素を変えて テストすると結果がわかり にくくなる Images from https://about.netflix.com/en/news/the-power-of-a-picture -
課題: 重要な要素は何か? 画像を変えることとタイトルを変えることの どちらが重要か? 特定の背景画像はタイトルよりも影響が⼤き かったかもしれないが全体的な傾向は? 背景画像とタイトルロゴのどちらに予算をか けるべきか? 上記の問いは1回の A/B
テストでは解決しない が、どのように計測すれば良い? Images from https://about.netflix.com/en/news/the-power-of-a-picture -
A/Bテストの実験デザイン A/B テストは1因⼦2⽔準の実験デザイン 因⼦: 実験で着⽬している結果を作⽤する要素、変数 ⽔準: この実験における因⼦が取りうる値 結果は次のような表にまとめられ、検定はt検定を⽤いる Push通知(因⼦) 対象⼈数
CV数 CVR あり (⽔準) 1,000 20 2.0% なし (⽔準) 1,000 10 1.0% -
マーケティングにおける 実験デザイン リサーチデザインと呼ばれ ている 左: マーケティングのために 統計をかじってみたい⼈向 けの⼊⾨書籍 右: 統計や因果推論をマーケ
ティングに応⽤してみたい ⼈向けの⼊⾨書籍 -
A/Bテストを繰り返す実験デザイン (1/2) Push 通知の画像の有無と2つのメッセージを同時に試したい場合 因⼦1. 画像の有無、ありとなしの2⽔準 因⼦2. メッセージの種類、今回は2種類なので2⽔準 CVR の⽐較表
メッセージ1 (因⼦2の⽔準1) メッセージ2 (因⼦2の⽔準1) 画像あり(因⼦1の⽔準1) CVR 2.0% CVR 1.5% 画像なし(因⼦1の⽔準2) CVR 1.2 CVR 1.0% -
A/Bテストを繰り返す実験デザイン (2/2) このような集計では「何が結果に寄与したのか」を分析可能 「重要な変数を変えると結果が⼤きく変わる=分散⼤」と考える イメージは次の式のとおり 全体の分散= 画像による分散+ メッセージによる分散 + 組み合わせによる分散+
残りの分散( 残差) メッセージを変更することや、画像を変更することにより全体に与える 影響を分析する⼿法を分散分析と呼ぶ -
分散分析とマーケティン グ (1/2) 3群以上の⽐較を⾏う場合の ⼿法として紹介される 右は「1からのマーケティン グ分析 (碩学社 2011)」の⽬ 次から抜粋
1からのマーケティング分析 - 恩藏直⼈・冨⽥健司(編著) | 碩学舎 -
分散分析とマーケティン グ (2/2) マーケティングにおける実 験デザインの重要性が主張 されている リサーチデザインの考え⽅ によると経営学ではリサー チデザインと呼ばれている 様⼦
1からのマーケティング分析 - 恩藏直⼈・冨⽥健司(編著) | 碩学舎 -
品質管理への応⽤ (1/2) 分散分析は品質管理、とく にタグチメソッドに応⽤さ れる 左: 実務への応⽤として品質 管理への適⽤を紹介 右: 分散分析とタグチメソッ
ド(タグチの式)の間の理論的 な関係について紹介 -
品質管理への応⽤ (1/2) ⼿順は次の通り i. ⽬的の設定 ii. 因⼦の列挙 (右図) iii. ⽔準の設定
iv. 実験 v. 結果の確認 & 考察 製造業では環境を制御でき るため因⼦を特定でき相性 が良いと思われる -
因⼦分析の例 (2/2) 分析結果は⼈が意味づけ 因⼦1. のれん 因⼦2. 活性⼒ 因⼦3. ⼤衆性 因⼦4.
先鋭性 因⼦の数やそれぞれの因⼦ の意味付けには強い仮説が 必要 image from 因⼦分析 | ⽇経リサーチ -
補⾜: 外挿と内挿 内挿: データのある区間につ いて出⼒を推定 外挿: データのない区間につ いて出⼒を推定 外挿の例: Moore
の法則 外挿のためにモデルへ制約 を加えることがある 右図は単調性を加えた例 image from TensorFlow Lattice (TFL) -
マーケティン グへの応⽤例 (2/4) 全 110 問のア ンケート調査 回答者数約 27,000 ⼈
設問構成は右 のとおり from 2020年度第1回調査詳細資料 -
マーケティン グへの応⽤例 (3/4) 顧客の⼼理状 態を表すCSIモ デルに従いア ンケートを設 計 各設問は10段 階評価
from 2020年度第1回調査詳細資料 -
マーケティン グへの応⽤例 (4/4) アンケート結 果からパス図 を作成 ⼩野 譲司 JCSIによる顧客満⾜モデルの構築 マーケティ
ングジャーナル 30(1), 20-34, , ⽇本マーケティング協 会, 2010 -
共分散構造解 析と品質管理 意外と活⽤は 進んでいない 様⼦ 「潜在変数」 の考え⽅がな じまないのか もしれない from
よくある質問 - 品質管理なら⽇本科学技術連盟 -
共分散構造解析の限界 結果がモデルに⼤きく依存する モデルが正しいかどうかを確かめる⼿段はな い (All models are wrong - Wikipedia)
しかし、実は、構造推定にはそれ以前に重⼤ な短所がある。それは、⾃然実験に⽐べる と、内的妥当性に劣る、という点だ。 -- from 実証分析⼊⾨ ⽇本評論社 p.242 -
構造解析とベイズモデリング 階層ベイズモデルの特殊系が共分散構造解析 (SEM) 確率分布は(多次元)正規分布のみ 確率変数間の関係は線形結合のみ 階層ベイズモデルを扱える Stan で SEM は実
装できる Stanで構造⽅程式モデリングをやってみ た | Sunny side up! -
構造解析と因果探索 (1/2) 因果グラフ (DAG) を線形モデルで表現すると、因果効果の推定が実⾏で きる 前提 ⽬的 ⼿法 因果グラフが既知
因果効果の推定 SEM 因果グラフが既知 因果関係の強さの推定 SEM 因果グラフが部分的に既知 因果効果の推定 因果推論 因果グラフが未知 因果グラフの推定 因果探索 -
構造解析と因果探索 (2/2) 分散分析では因⼦間の相関 はわかるものの、因果関係 の⽅向はわからない SEMでは因果関係の正しさ の保証が困難 LiNGAM では制約を課した 線形モデルを⽤いて因果関
係を識別する from 因果探索: 基本から最近の発展までを概説 -
statsmodels OLS で分散分析を実⾏でき る formula = 'S ~ C(E) +
C(M) + X' lm = ols(formula, salary_table).fit() tutorial は Interactions and ANOVA — statsmodels -
semopy # structural part eta3 ~ x1 + x2 eta4
~ x3 x3 ~ eta1 + eta2 + x1 + x4 x4 ~ eta4 x5 ~ x4 # measurement part eta1 =~ y1 + y2 + y3 eta2 =~ y3 eta3 =~ y4 + y5 eta4 =~ y4 + y6 # additional covariances eta2 ~~ x2 y5 ~~ y6 -
階層ベイズに使えるライブラリの例 PyMC4 PyMC4 で単回帰 (ただしベイズ) @pm.model def model(data): mu =
yield pm.Normal(loc=0, scale=10, name="mu") sig = yield pm.Exponential(rate=0.1, name="sig") like = yield pm.Normal(loc=mu, scale=sig, observed=data, name="like") return like estimation_model = model(data) trace = pm.sample(model(data), num_samples=800) 最近の事情は近年の PPL の動向 が詳しい -
causalnex 統計的因果探索⽤ライブラリ sm = from_pandas(struct_data) sm.remove_edges_below_threshold(0.8) viz = plot_structure( sm,
graph_attributes={"scale": "0.5"}, all_node_attributes=NODE_STYLE.WEAK, all_edge_attributes=EDGE_STYLE.WEAK) Image(viz.draw(format='png')) LiNGAM に⽐べると後進なものの、 投資は進んでいる模様 from A first CausalNex tutorial — causalnex 0.8.1 documentation -
理論⾯からの考察 分析者に要求される前提が厳しすぎたのでは? 実験デザインは (アカデミアを除いて) 次のように伝播している 製造業: 実験デザイン→タグチメソッド (分散分析) マーケティング: 実験デザイン→アンケート分析
(SEM) 上記の⼿法はどちらも、データの⽣成過程に理論的な知識が必要 Big Data の時代が到来し「相関だけでいいんだよ」という世論に 機械学習の時代が到来し「因果関係はわからなくてもデータさえあれば 再現できる」という世論に 上記の結果、失伝したのでは? -
まとめ A/B テストを繰り返す実験の分析には分散分析が⽤いられる 分散分析では、要因間の関連について分析を⾏う 分散解析では現実を把握し実験する必要があり、実験環境の統制を⾏い やすい製造業、とくに品質管理で発展している 共分散構造解析では、分析者の知識をモデルとして与えることができ、 アンケートの結果分析に利⽤される マーケティングへ共分散構造解析を応⽤するためには⼈のモデル化が必 要なため、単純な
A/B テストよりも分析者に知識が要求される さらなる発展には因果関係をデータから発⾒する因果探索がある -
実験デザイン ⽣命科学の実験デザイン[第4版]G. D. ラクストン/N. コルグレイヴ 著 名古屋⼤学出版会 2019年 1からのマーケティング分析 -
恩藏直⼈・冨⽥健司(編著)碩学舎 2011 年 実験計画法-⽅法編- ⼭⽥ 秀著 ⽇科技連出版社 2004年 ⼊⾨ 実験計画法 永⽥ 靖著 ⽇科技連出版社 2000年 -
共分散構造解析 (1/2) 共分散構造分析[⼊⾨編] ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 1998年
共分散構造分析[応⽤編] ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 2000年 共分散構造分析[技術編] ― 構造⽅程式モデリング― 豊⽥ 秀樹編著 朝 倉書店 2003年 共分散構造分析[疑問編] ― 構造⽅程式モデリング― 豊⽥ 秀樹編著 朝 倉書店 2003年 -
共分散構造解析 (2/2) 共分散構造分析[理論編] ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 2007年
新装版 共分散構造分析はじめの⼀歩: 図の意味から学ぶパス解析⼊⾨ ⼩ 塩 真司著 アルテ 2020年 実証分析⼊⾨ 森⽥ 果著 ⽇本評論社 2014年