実験デザインと因果探索のミッシングリンクに関する調査

実験デザインと分散分析、共分散構造解析 (構造方程式モデリング)、因果探索の間の関係について調査した結果です。参考にした資料にはリンクを張っていますので、DL すると便利です。

共分散構造解析と因果推論の関係について述べた資料には http://www.sigmath.es.osaka-u.ac.jp/~kano/research/application/2006/05tutorialAppStat_sl.pdf もあり、こちらのほうがより詳細に扱っています。

Transcript

1. 実験デザインと因果探索の ミッシングリンクに関する調査 Asei Sugiyama
2. ⾃⼰紹介 杉⼭ 阿聖 Software Engineer @ Repro AI Labs TensorFlow コントリビューター TFX : Issue ⽴てたり PR ⽴てたり docs-l10n : 翻訳 & レビュー 機械学習図鑑 共著
3. ⽬的 . 異なる A/B テストを何度も⾏うことで知⾒を得る⼿法である分散分析 と、その発展について明らかにしたい . 実験デザインがなぜ機械学習勢やマーケターに浸透していないのかを明 らかにしたい
4. 概要 実験デザインは⽣命科学の分野ではデータから知⾒を導くための⼿法と して重要性が知られている ⼀⽅、機械学習勢の間では広く議論されておらず、現代までのどこかで 断絶が発⽣している そこで、実験デザインのその後の発展について、適⽤分野を含めて調査 を⾏い、因果探索までの発展の道のりを明らかにした また、実験デザインが知られていない理由を検討し、利⽤の難易度と流 派の対⽴に原因があるのではないかという仮説を⽴てられた
5. TOC 問題設定: 繰り返しのある A/B テスト <- 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 まとめ
6. 問題設定: 繰り返しのある A/B テスト 単純な A/B テスト 画像と⽂⾯の組み合わせによるテスト 課題: 画像を変えることと⽂⾯を変えることのどちらが重要か？
7. 単純な A/B テスト ユーザーに提⽰する画像の 候補がいくつかあり、どの 画像がもっとも良いか知り たいケース 対照群 (Control) と 介⼊群 (Treatment) を⽐較 適当なところで実験を打ち 切り、もっとも成績の良い ものを採⽤する Image from Netflix Technology Blog https://netflixtechblog.com/selecting- the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6
8. 複数要素が変化する A/B テスト タイトル画像と背景画像の2 要素がある A/B テスト この場合でも通常通り Control / Treatment でテス トを⾏えば良い ⼀度に複数の要素を変えて テストすると結果がわかり にくくなる Images from https://about.netflix.com/en/news/the-power-of-a-picture
9. 課題: 重要な要素は何か？ 画像を変えることとタイトルを変えることの どちらが重要か？ 特定の背景画像はタイトルよりも影響が⼤き かったかもしれないが全体的な傾向は？ 背景画像とタイトルロゴのどちらに予算をか けるべきか？ 上記の問いは1回の A/B テストでは解決しない が、どのように計測すれば良い？ Images from https://about.netflix.com/en/news/the-power-of-a-picture
10. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い <- 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 まとめ
11. 実験デザインと統計解析 実験デザインとは 実験デザインで解決したい課題 A/Bテストの実験デザイン 要因と⽔準の混同に注意 マーケティングにおける実験デザイン
12. 実験デザインとは 実験をデザインするとは、とったデータの 解析に使われる統計法の仕組みを知ること だけではない。それ以上に、科学的なもの の考え⽅を学ぶことである。⾃分のデータ に⾃信を持つことである。⾃分が測ってい ると思っているものを本当に測っていると 知っていることである。 from ⽣命科学の実験デザイン 第4版
13. 実験デザインで解決したい課題 失敗を未然に防ぐため、次の事項について検討して実験を計画する 検証したい業務上の仮説 データの収集⽅法 データの集計⽅法 データに⽤いる統計⼿法 データから意思決定する内容やその基準 データの収集で失敗しがちなので、ここを事前に検討する事が重要
14. A/Bテストの実験デザイン A/B テストは1因⼦2⽔準の実験デザイン 因⼦: 実験で着⽬している結果を作⽤する要素、変数 ⽔準: この実験における因⼦が取りうる値 結果は次のような表にまとめられ、検定はt検定を⽤いる Push通知(因⼦) 対象⼈数 CV数 CVR あり (⽔準) 1,000 20 2.0% なし (⽔準) 1,000 10 1.0%
15. 因⼦と⽔準の混同に注意 (1/2) 複雑な実験を⾏おうとすると、変更している対象が因⼦に相当するのか ⽔準に相当するのかわかりにくくなる 複雑なデザインで起こってくる問題は、異なる因⼦とそのレベルの混同 である。(中略)ブランドの異なる5つの液体肥料を使って実験をすると したらどうだろう。今度はそれほどはっきりしないのではないだろう か。5つの液体肥料は異なる因⼦なのだろうか、それとも同⼀の因⼦の 異なるレベルなのだろうか。 -- ⽣命科学の実験デザイン 第4版 p.180
16. 因⼦と⽔準の混同に注意 (2/2) 肥料AとBを独⽴に使う場合 : 肥料Aと肥料Bの使⽤を因 ⼦として扱う 肥料AとBを独⽴に使わない 場合 : 肥料のブランドという 因⼦の⽔準として肥料Aと肥 料Bを扱う
17. マーケティングにおける 実験デザイン リサーチデザインと呼ばれ ている 左: マーケティングのために 統計をかじってみたい⼈向 けの⼊⾨書籍 右: 統計や因果推論をマーケ ティングに応⽤してみたい ⼈向けの⼊⾨書籍
18. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ <- 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 まとめ
19. 分散分析とそのマーケティングへの応⽤ A/Bテストを繰り返す実験デザイン 分散分析についての資料 分散分析とマーケティング 品質管理への応⽤ 分散分析の利点・⽋点
20. A/Bテストを繰り返す実験デザイン (1/2) Push 通知の画像の有無と2つのメッセージを同時に試したい場合 因⼦1. 画像の有無、ありとなしの2⽔準 因⼦2. メッセージの種類、今回は2種類なので2⽔準 CVR の⽐較表 メッセージ1 (因⼦2の⽔準1) メッセージ2 (因⼦2の⽔準1) 画像あり(因⼦1の⽔準1) CVR 2.0% CVR 1.5% 画像なし(因⼦1の⽔準2) CVR 1.2 CVR 1.0%
21. A/Bテストを繰り返す実験デザイン (2/2) このような集計では「何が結果に寄与したのか」を分析可能 「重要な変数を変えると結果が⼤きく変わる=分散⼤」と考える イメージは次の式のとおり 全体の分散= 画像による分散+ メッセージによる分散 + 組み合わせによる分散+ 残りの分散( 残差) メッセージを変更することや、画像を変更することにより全体に与える 影響を分析する⼿法を分散分析と呼ぶ
22. 分散分析とマーケティン グ (1/2) 3群以上の⽐較を⾏う場合の ⼿法として紹介される 右は「1からのマーケティン グ分析 (碩学社 2011)」の⽬ 次から抜粋 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著） | 碩学舎
23. 分散分析とマーケティン グ (2/2) マーケティングにおける実 験デザインの重要性が主張 されている リサーチデザインの考え⽅ によると経営学ではリサー チデザインと呼ばれている 様⼦ 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著） | 碩学舎
24. 分散分析の利点・⽋点 因⼦が結果を左右する度合 いがわかる ⼀度で複数の因⼦の効果に ついて分析できる 交互作⽤の強さがわかる 結果の⾒⽅が複雑 実験そのものも複雑 from ⽇科技連 実験計画法-⽅法編- ⼭⽥秀 p.84
25. 補⾜. 交互作⽤ 分散分析では、因⼦の主効 果と交互作⽤を分けて考え る 実験結果が因⼦の主効果の ⾜し合わせで説明できない ときに、交互作⽤があると いう images from 7.3 交互作⽤とは?
26. 品質管理への応⽤ (1/2) 分散分析は品質管理、とく にタグチメソッドに応⽤さ れる 左: 実務への応⽤として品質 管理への適⽤を紹介 右: 分散分析とタグチメソッ ド(タグチの式)の間の理論的 な関係について紹介
27. 品質管理への応⽤ (1/2) ⼿順は次の通り i. ⽬的の設定 ii. 因⼦の列挙 (右図) iii. ⽔準の設定 iv. 実験 v. 結果の確認 & 考察 製造業では環境を制御でき るため因⼦を特定でき相性 が良いと思われる
28. 分散分析についての資料 ハンバーガー統計学にようこそ！ たぶんこれが⼀番簡単だと思います
29. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ <- 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 まとめ
30. 構造解析とそのマーケティングへの応⽤ 分散分析と線形回帰 分散分析と因⼦解析 因⼦解析の例 分散分析と構造解析 (SEM;構造⽅程式モデリング) マーケティングへの応⽤例 共分散構造解析と品質管理 共分散構造解析の限界
31. 分散分析と線形回帰 分散分析では線形モデルを 仮定 ⽬的変数を各因⼦と相互作 ⽤項で説明するように線形 回帰 右図はモデルの例 from ⽇科技連 実験計画法-⽅法編- ⼭⽥秀 p.77
32. 分散分析と因⼦解析 因⼦分析は代表的にはアンケート結果の解釈に⽤いられる 分散分析では因⼦やその⽔準を実験条件として明⽰的に指定し、⽬的変 数の値が実験条件ごとにさまざまに与えられる 因⼦分析では因⼦はさまざまな観測変数の背後に現れる、共通したあ構 造として捉えられる 操作としては、アンケート結果を分散が最⼤になるよう、主成分分析す ることに近い (が、主成分分析に同じと⾔うと怒られる)
33. 補⾜: 主成分分析と因⼦ 解析の類似点と相違点 類似点 ともに共分散⾏列を説明 相違点 因果の⽅向 (右図) 誤差項の有無 from 主成分分析は因⼦分析ではない!
34. 因⼦分析の例 (1/2) ⽇経リサーチの「ブランド 戦略サーベイ」における分 析例 アンケートで「そう思う」 と回答された割合を「企業 数×25項⽬」の⾏列に集計 し、因⼦分析 image from 因⼦分析 | ⽇経リサーチ
35. 因⼦分析の例 (2/2) 分析結果は⼈が意味づけ 因⼦1. のれん 因⼦2. 活性⼒ 因⼦3. ⼤衆性 因⼦4. 先鋭性 因⼦の数やそれぞれの因⼦ の意味付けには強い仮説が 必要 image from 因⼦分析 | ⽇経リサーチ
36. 分散分析と共分散構造解析 分散分析で⽤いている線形モデルを⾃分で設計できるようにしたのが構 造解析 線形モデルに階層構造を導⼊したり、モデルに制約を加えたりして、分 析者の知識を外挿する技法 探索的なものと記述的なもので、⼤きく結果の解釈⽅法が違う 共分散構造解析は SEM;構造⽅程式モデリング とも呼ばれる
37. 補⾜: 外挿と内挿 内挿: データのある区間につ いて出⼒を推定 外挿: データのない区間につ いて出⼒を推定 外挿の例: Moore の法則 外挿のためにモデルへ制約 を加えることがある 右図は単調性を加えた例 image from TensorFlow Lattice (TFL)
38. マーケティングへの応⽤ 例 (1/4) 共分散構造解析を⽤いた顧 客満⾜度分析 ⽇本⽣産性本部が定期的に 発表 from 2020年度第1回JCSI調査発表⽂
39. マーケティン グへの応⽤例 (2/4) 全 110 問のア ンケート調査 回答者数約 27,000 ⼈ 設問構成は右 のとおり from 2020年度第1回調査詳細資料
40. マーケティン グへの応⽤例 (3/4) 顧客の⼼理状 態を表すCSIモ デルに従いア ンケートを設 計 各設問は10段 階評価 from 2020年度第1回調査詳細資料
41. マーケティン グへの応⽤例 (4/4) アンケート結 果からパス図 を作成 ⼩野 譲司 JCSIによる顧客満⾜モデルの構築 マーケティ ングジャーナル 30(1), 20-34, , ⽇本マーケティング協 会, 2010
42. 共分散構造解析とその他 の⼿法 パス図を⽤いると⽐較的わ かりやすく区別可能 上図 パス解析 | ⽇経リサーチ 下図
43. 共分散構造解 析と品質管理 意外と活⽤は 進んでいない 様⼦ 「潜在変数」 の考え⽅がな じまないのか もしれない from よくある質問 - 品質管理なら⽇本科学技術連盟
44. 共分散構造解析の限界 結果がモデルに⼤きく依存する モデルが正しいかどうかを確かめる⼿段はな い (All models are wrong - Wikipedia) しかし、実は、構造推定にはそれ以前に重⼤ な短所がある。それは、⾃然実験に⽐べる と、内的妥当性に劣る、という点だ。 -- from 実証分析⼊⾨ ⽇本評論社 p.242
45. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 <- それぞれの解析⼿法の利⽤⽅法 議論 まとめ
46. 構造解析とベイズモデリング・因果探索 共分散構造解析と因果関係 構造解析とベイズモデリング 構造解析と因果探索
47. 共分散構造解析と因果関係 共分散構造解析では因果関係を考慮できる点が優位とされている Q. 構造⽅程式モデリングを実践すると、観察データの因果関係を定量的 に評価・解釈できると聞きました。構造⽅程式モデリングとは何です か？ A. 「構造⽅程式モデリング」（「共分散構造分析」とも呼ばれます。以 下，SEM）は、多変量解析⼿法の1つであり、観察データに基づいて変 数間の因果関係を定量的に評価・解釈できることが特徴です。 -- from よくある質問 - 品質管理なら⽇本科学技術連盟
48. 構造解析とベイズモデリング 階層ベイズモデルの特殊系が共分散構造解析 (SEM) 確率分布は(多次元)正規分布のみ 確率変数間の関係は線形結合のみ 階層ベイズモデルを扱える Stan で SEM は実 装できる Stanで構造⽅程式モデリングをやってみ た | Sunny side up!
49. 構造解析と因果探索 (1/2) 因果グラフ (DAG) を線形モデルで表現すると、因果効果の推定が実⾏で きる 前提 ⽬的 ⼿法 因果グラフが既知 因果効果の推定 SEM 因果グラフが既知 因果関係の強さの推定 SEM 因果グラフが部分的に既知 因果効果の推定 因果推論 因果グラフが未知 因果グラフの推定 因果探索
50. 構造解析と因果探索 (2/2) 分散分析では因⼦間の相関 はわかるものの、因果関係 の⽅向はわからない SEMでは因果関係の正しさ の保証が困難 LiNGAM では制約を課した 線形モデルを⽤いて因果関 係を識別する from 因果探索: 基本から最近の発展までを概説
51. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 <- 議論 まとめ
52. それぞれの解析⼿法の利⽤⽅法 t検定・分散分析: statsmodels パス分析・構造⽅程式モデリング : semopy 階層ベイズ: たくさんある 因果探索: LiNGAM, causalnex
53. statsmodels OLS で分散分析を実⾏でき る formula = 'S ~ C(E) + C(M) + X' lm = ols(formula, salary_table).fit() tutorial は Interactions and ANOVA — statsmodels
54. semopy # structural part eta3 ~ x1 + x2 eta4 ~ x3 x3 ~ eta1 + eta2 + x1 + x4 x4 ~ eta4 x5 ~ x4 # measurement part eta1 =~ y1 + y2 + y3 eta2 =~ y3 eta3 =~ y4 + y5 eta4 =~ y4 + y6 # additional covariances eta2 ~~ x2 y5 ~~ y6
55. 階層ベイズに使えるライブラリの例 PyMC4 PyMC4 で単回帰 (ただしベイズ) @pm.model def model(data): mu = yield pm.Normal(loc=0, scale=10, name="mu") sig = yield pm.Exponential(rate=0.1, name="sig") like = yield pm.Normal(loc=mu, scale=sig, observed=data, name="like") return like estimation_model = model(data) trace = pm.sample(model(data), num_samples=800) 最近の事情は近年の PPL の動向 が詳しい
56. LiNGAM 統計的因果探索⽤ライブラリ model = lingam.DirectLiNGAM() model.fit(X) make_dot(model.adjacency_matrix_) 機能追加やメンテナンスがされてい る (重要) from lingam/DrawGraph.ipynb
57. causalnex 統計的因果探索⽤ライブラリ sm = from_pandas(struct_data) sm.remove_edges_below_threshold(0.8) viz = plot_structure( sm, graph_attributes={"scale": "0.5"}, all_node_attributes=NODE_STYLE.WEAK, all_edge_attributes=EDGE_STYLE.WEAK) Image(viz.draw(format='png')) LiNGAM に⽐べると後進なものの、 投資は進んでいる模様 from A first CausalNex tutorial — causalnex 0.8.1 documentation
58. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 <- まとめ
59. 議論 なぜ実験デザインは現代の機械学習勢やマーケターに伝わってきていな いのか？ 考察 理論⾯からの考察 ゴシップ⾯からの考察 根拠は乏しいです
60. 理論⾯からの考察 分析者に要求される前提が厳しすぎたのでは？ 実験デザインは (アカデミアを除いて) 次のように伝播している 製造業: 実験デザイン→タグチメソッド (分散分析) マーケティング: 実験デザイン→アンケート分析 (SEM) 上記の⼿法はどちらも、データの⽣成過程に理論的な知識が必要 Big Data の時代が到来し「相関だけでいいんだよ」という世論に 機械学習の時代が到来し「因果関係はわからなくてもデータさえあれば 再現できる」という世論に 上記の結果、失伝したのでは？
61. ゴシップ⾯からの考察 因果推論の⼿法を⽤いる⾃然実験派と構造推 定の⼿法を⽤いる構造推定派は仲が悪い 現在流⾏しているのは RCT のような実験デザ インを必要としない⾃然実験 実証分析のスーパースターたちが互いに⼝汚 く罵り合っていて、「うわ、こいつらめっち ゃ仲悪い、絶対和解できないだろうな」と感 じることだろう。 -- from 実証分析⼊⾨ ⽇本評論社 p.241
62. TOC 問題設定: 繰り返しのある A/B テスト 実験デザインによる解析⼿法の違い 分散分析とそのマーケティングへの応⽤ 構造解析とそのマーケティングへの応⽤ 構造解析とベイズモデリング・因果探索 それぞれの解析⼿法の利⽤⽅法 議論 まとめ <-
63. まとめ A/B テストを繰り返す実験の分析には分散分析が⽤いられる 分散分析では、要因間の関連について分析を⾏う 分散解析では現実を把握し実験する必要があり、実験環境の統制を⾏い やすい製造業、とくに品質管理で発展している 共分散構造解析では、分析者の知識をモデルとして与えることができ、 アンケートの結果分析に利⽤される マーケティングへ共分散構造解析を応⽤するためには⼈のモデル化が必 要なため、単純な A/B テストよりも分析者に知識が要求される さらなる発展には因果関係をデータから発⾒する因果探索がある
64. 参考にした書籍
65. 実験デザイン ⽣命科学の実験デザイン［第4版］G. D. ラクストン／N. コルグレイヴ 著 名古屋⼤学出版会 2019年 1からのマーケティング分析 - 恩藏直⼈・冨⽥健司（編著）碩学舎 2011 年 実験計画法－⽅法編－ ⼭⽥ 秀著 ⽇科技連出版社 2004年 ⼊⾨ 実験計画法 永⽥ 靖著 ⽇科技連出版社 2000年
66. 共分散構造解析 (1/2) 共分散構造分析［⼊⾨編］ ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 1998年 共分散構造分析［応⽤編］ ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 2000年 共分散構造分析［技術編］ ― 構造⽅程式モデリング― 豊⽥ 秀樹編著 朝 倉書店 2003年 共分散構造分析［疑問編］ ― 構造⽅程式モデリング― 豊⽥ 秀樹編著 朝 倉書店 2003年
67. 共分散構造解析 (2/2) 共分散構造分析［理論編］ ― 構造⽅程式モデリング― 豊⽥ 秀樹著 朝倉 書店 2007年 新装版 共分散構造分析はじめの⼀歩: 図の意味から学ぶパス解析⼊⾨ ⼩ 塩 真司著 アルテ 2020年 実証分析⼊⾨ 森⽥ 果著 ⽇本評論社 2014年