Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
サイコロ 理解する 統計的仮説検定 考え方 2024/04/20 第112回R勉強会@東京 @tatatatatamiya
Slide 2
Slide 2 text
名前: たみや(a.k.a. 畳屋民也 / たみ〜たみゅたみゅ) Twitter X: @tatatatatamiya (@AkapippiBot) 仕事: FinTech企業 「 ーたさいえん ぃす 」的 さむしんぐ R 歴: そこそこ真面目 使い始め から 半年くらい? 趣味: カレー(特 スリランカカレー) 最近 悩み: 部屋探し 苦戦中(2LDK賃貸 争奪戦) 資格: 統計検定1級(応用 社会科学を選択) 🎲自己紹介🎲 無事決まりました!
Slide 3
Slide 3 text
今日お話しするこ 「統計的仮説検定」が よう 考え方 基 い いるかを、サイコロ 例を交え がら解説します! 以下 よう 疑問が解消 きれ 考え います! ● 帰無仮説?p値?有意水準?ナニソレ??? ● R 検定し みたけ 、出力内容を う読め いい ??? ● 「有意差あり」 、意味 有る差があ た こ ???(小泉構文)
Slide 4
Slide 4 text
統計的仮説検定 ?
Slide 5
Slide 5 text
統計的仮説検定を使うシチュエーション 例 例え Web マーケティング 、A/B テスト い ユーザーをランダム 分け 異 るコンテンツを見せるこ 、施策効果 測定・検証を行う。 当店 お買い得商品を今すぐチェック! 数量限定 す お早め ! パターンA 今すぐチェックし み ください! 💰お得 商品が盛りだくさん す! 数量限定!急い !⏰ パターンB 50% 50% ランダム 割り振る
Slide 6
Slide 6 text
A/B テスト 結果 ユーザー数: 1005 購入金額平均: 1001.677 分散: 10454.14 当店 お買い得商品を今すぐチェック! 数量限定 す お早め ! パターンA 今すぐチェックし み ください! 💰お得 商品が盛りだくさん す! 数量限定!急い !⏰ パターンB ユーザー数: 995 購入金額平均: 1008.210 分散: 10994.97 B 方が購入 金額が高 い??
Slide 7
Slide 7 text
Let’s 統計的仮説検定! p値が0.159だから、有意 水準5% し 有意差 し ! 先輩 有意水準??? 有意差 し? まり A B 差 い こ ??? p値??? 🍑
Slide 8
Slide 8 text
そもそも統計的仮説検定 ...? 「仮説検定」 、統計的仮説 「有意性」 検定 ある。 仮説 下 われわれが期待するも 、観測した結果 違いを、 これら 差が単 「偶然」 よ 起きたも か否か いう見地から、確率 基準 評価する。 — 東京大学教養学部統計学教室 編「基礎統計学I 統計学入門」(東京大学出版会) P.233 https://www.utp.or.jp/book/b300857.html
Slide 9
Slide 9 text
No content
Slide 10
Slide 10 text
サイコロ 例え みよう!
Slide 11
Slide 11 text
すごろく ... 2 → 1 → 1 → 1 → 4 → 5 → 4 → 1 → 6 → 2 6 → 2 → 3 → 6 → 2 → 6 → 2 → 6 → 4 → 6 おかしい! イカサマし る しょ! 偶然だよ。 Aさん Bくん 6 目が10回中 5回出た! 問: B君 サイコロ 本当 イカサマか?
Slide 12
Slide 12 text
うすれ Bくん サイコロがイカサマ あるこ を突き止めら れるか? <Aさん アイディア> い たん Bくん サイコロがイカサマ くきちん 1/6 確率 6 目が出る 仮定し しまう。 こ 場合 、「10回中5回以上6 目が出る」こ が れだけ起こり得 いこ かを示そ う! りあえず、5%未満 ら「通常 あり得 いこ が起きた」 考えるこ しよう!
Slide 13
Slide 13 text
10回中6 目が k 回出る確率 6 目が出る回数 確率 0回 16.2% 1回 32.3% 2回 29.1% 3回 15.5% 4回 5.43% 5回 1.30% 6回 0.217% 7回 0.0248% 8回 0.00186% 9回 0.0000827% 10回 0.00000165% (二項分布) → 6 目が5 回以上出る確率 、1.55 %
Slide 14
Slide 14 text
真実 い も (!?) め たしめ たし...? 10回中5回以上6 目が 出る ん 1.55%しかおこ ら い!Bくん サイコロ イカサマだ! バレたか、ごめん ! (※注:Aさん)
Slide 15
Slide 15 text
Aさん や たこ を整理し みる 問い: Bくん サイコロ 、⅙ より大き 確率 6 目が出るか? 観測結果: B君 サイコロ 、10回中5回 6 目が出た 結論:B君 サイコロ 、⅙ より大き 確率 6 目が出る 考えた方が自然 ある(上記 確率が5%より小さいため) 仮定 基 く帰結: ⅙ 確率 6 目が出る あれ 、「10回中5回 6 目が 出る」確率 1.55% ある 仮定: B君 サイコロ ⅙ 確率 6 目が出る する
Slide 16
Slide 16 text
A/B テスト 例 戻る ...
Slide 17
Slide 17 text
問: パターンA,B購入金額 差 あるか? パターンA ユーザー数: 1005 購入金額平均 : 1001.677 分散: 10454.14 パターンB ユーザー数: 995 購入金額平均: 1008.210 分散: 10994.97 観測結果 仮定: パターンA, B 購入金額 差が い する 「差が い」 いう仮定 も 、上記 観測 結果より大き 差が得られる確率 う る か? ← 6.53円 差 →
Slide 18
Slide 18 text
「差が い」 仮定した場合 差 分布 一定 数学的 仮定 も 、以下 よう 形 分布 従う(後述) 本来「パターン A, B 差が い」場合 も、偶然 よ 平均購入金額 差 A - B 差が出 しまう。 → こ 時 偶然 よる差 、 よう 確率分布 従うだろうか?
Slide 19
Slide 19 text
観測された値以上 極端 値が出る確率 -6.53 6.53 パターンA B 、購入金 額 差がある 言い切 れ い パターンA,B 差が い場 合 も、15.9% 確率 |x A - x B | > 6.53 る ➡「本来差が いが偶然 6.53円 差が出た」 いう 可能性が捨 きれ い! 「パターンA B 平均購入金額 差が6.53より大きく る」確率 、 下図 網掛け部分:
Slide 20
Slide 20 text
結論: パターンA B 、購入金額 差がある 言い切れ い A/Bテスト おける仮説検定 流れ 問い: パターンA,B 購入金額 差 あるか? 観測結果: パターンB 方が平均購入金額が6.53円高か た 仮定 基 く帰結: A,B 差が い あれ 、6.53円より大き 差が出る確率 15.9% ある(※) 仮定: パターンA, B 購入金額 差が い する ※分布 関する仮定が満たされ いる場合
Slide 21
Slide 21 text
(参考)数理的 突 込んだ話: Welch t 検定 仮定: パターンA,B を見た各ユーザー 購買金額 x A , x B が、以下 よう 互い 独 立 ガウス分布 従 いる する: こ き、右記 統計量 t 分布 P(t) を 自由度 k* Student t 分布 t(k*) 近似 きる: ユーザー数 平均購入金額 標本分散 (詳細略)
Slide 22
Slide 22 text
例)Bくん サイコロ ⅙ (以下) 確率 6 目が出る メッセージパターンA, B 購入金額 差が い 問いを立 る 仮定 も 観測された事 象以上 極端 事象が起き る確率を計算する 例)Bくん サイコロ ⅙ より大きい確率 6 目が出 いるか? メッセージパターンA, B 購入金額 差 あるか? 統計的仮説検定 流れ 問い 対し 否定的 仮定 を置く → p値 → 帰無仮説 例)5回以上6 目が出る確率 1.55% A B 平均購買金額 6.53円以上 差が出る確率 15.9%
Slide 23
Slide 23 text
例)パターンA,B 平均購入金額 差が ある も い も言いきれ い p値をも う判断するか? 仮定が正しい可能性が捨 きれ い 得られた確率が、あらかじめ 設定した閾値より小さいか? → 有意水準 仮定 間違 いた 考え る が妥当 例)Bくん サイコロ 1/6より大き 確率 6が出る 考える が妥当 小さい 等しい or 大きい (帰無仮説 棄却) (帰無仮説 保留) (有意差あり) (有意差 し)
Slide 24
Slide 24 text
R 出力結果 うや 読む?
Slide 25
Slide 25 text
R 出力結果 戻る ... p値が0.159だから、有意 水準5% し 有意差 し ! 先輩 -6.53 6.53 A B 本来差が い し た場合、偶然 よる差が 6.53より大きく る確率が 15.9% こ す !
Slide 26
Slide 26 text
p値以外 出力内容 何を意味し いる? 対立仮説(⇔帰無仮説) 今回 場合、「A B 購入 金額 差が0 い(差 がある)」 95%信頼区間 後述。こ 区間 0が含まれ い けれ 、5% 有意水準 有意差あり 判断 きる。 検定手法 今回 場合、Welch 2標本母平均 差 検定 検定統計量&パラメータ t: t 統計量 df: 自由度 (degree of freedom)
Slide 27
Slide 27 text
(※こ あたり 話 詳しく説明しよう する 結構複雑 割愛) ここ いう「95%信頼区間」 ? (有意水準5% 有意差 し 場合) (有意水準5% 有意差あり 場合) 観測値 観測値 りあえず「0をまたい いたら有意水準5% 有意差 し」 見做せる、 理解し おけ よい。
Slide 28
Slide 28 text
補足: 線形回帰モデル 場合 各説明変数 い 、 帰無仮説: 係数が0 する検定を行 いる。 これ より、ある説明変数が予 測 寄与し いる み す が 妥当かを判断する。 p値 相当 有意水準 段階別 * マークが く 例:3変数 よる重回帰
Slide 29
Slide 29 text
統計的仮説検定 結果を う捉えるか?
Slide 30
Slide 30 text
有意差が出 か たから、パターン A,B 差 い、 こ か ... 以上、統計的仮説検定、完全 理解した!!? 有意 差があ たから、 Bくん サイコロ 6が出る確率が1/6じゃ い こ ! 頑張 施策打 た ... や B や イ カサマし やが た! ちょ 待 た!
Slide 31
Slide 31 text
→ 本来差が い 「有意差あり」 いう結果が出 しまうこ がある 本当 たまたま んだ ... 誤解1: 「有意差が出た ら差がある」 … P値が1.55 % いうこ 、逆 いう イカサマをし い く も1.55 % 確率 「10回中5回以上 6 目が出る」 いう事象が起きるこ を意味する。 10回中5回以上6 目が 出る ん 1.55%しかおこ ら い!Bくん サイコロ イカサマだ! イカサマ んかし い い ... い。
Slide 32
Slide 32 text
→ 有意差が い場合 も、本来 差がある たまたま検出 き か ただけ いう 場合もある。 10回中4回以上6 目が 出る 6.97%もあるから イカサマじゃ い 。 疑 ごめん ! 誤解2: 「有意差が けれ 差 い」 別 いいよ♪ ダイジョブダイジョブ。 本当 イカ サマ んだ け ネw
Slide 33
Slide 33 text
「統計だけ 白黒 きりさせる」 いう思考 捨 るべき。 ぜ ら、以下 よう こ があるため: ● 「有意差あり」 も本当 差が いケースがある ● 「有意差 し」 あ も、差が検出 き い いだけかもしれ い → こうした事情を念頭 置いたうえ 、あくま も判断材料 し 扱う が望ま しい。 仮説検定を行う際 注意事項 統計的仮説検定 真実 わから い!!
Slide 34
Slide 34 text
真実 見 け方 そもそも、サイコロがイカサマか確かめたいだけ ら、統計 ん ま ろ こしいも を 使わず ハンマー サイコロを叩き割れ いい。
Slide 35
Slide 35 text
統計的仮説検定 活かし方: 有意差あり 場合 サイコロ叩き割 もいい よ? ただ、間違 たら罰金 1,000円払 。 判断を誤 た際 よう 問題があるかを念頭 置いたうえ 、アクションを 決める P値: 0.0155 仮 違 た し も、1,000 円 ら叩き割ろう! ⚠注意⚠ 「帰無仮説が正しい(イカサマし い)確率が1.55%」 誤り
Slide 36
Slide 36 text
10回中4回以上6 目が 出る 6.97%だから、ボ クがイカサマし いる 限ら いよ ♪ 統計的仮説検定 活かし方: 有意差 し 場合 ぐ ... もう少し別 証拠を集める か... ※「有意差が出るま サイコロを振り続ける」 NG 他 判断材料を集め 総合的 判断する P値: 0.0697
Slide 37
Slide 37 text
結局 ころ... ドメイン知識やビジネス的 意義 併せ 判断しましょう … ABテストだ よう 判断する いい? ● 有意差あり 場合 ○ ビジネス背景・ドメイン知識 照らし合わせ 不自然 いか、結果 解釈を試みる ○ 誤 た判断をし いる可能性を念頭 置き 、次 施策 繋げる ● 有意差 し 場合 ○ ドメイン知識 照らし合わせ 解釈し、結果 妥当性を吟味する ○ 必要 応じ 、適切 実験を再設計する
Slide 38
Slide 38 text
ころ 、有意水準 う決めれ いい? 5%が使われるこ が多いが、明確 根拠 くあくま も慣例。 要件次第。 ※論文・報告書 、有意差 有無だけ く、有意水準 加え 以下 よう 情報も 明記しましょう。 ● 使 た検定手法 ● サンプルサイズ ● p値 いくらだ たか? … そ ほか、「効果量」 いう量 算出も推奨され いる(割愛)
Slide 39
Slide 39 text
おすすめ書籍 阿部真人 著 データ分析 必須 知識・考え方 統計学入門 ソシム(2021) https://www.socym.co.jp/book/1319 → 第9章「仮説検定 おける注意点」 必 読!
Slide 40
Slide 40 text
ま め
Slide 41
Slide 41 text
再掲:そもそも統計的仮説検定 ...? 「仮説検定」 、統計的仮説 「有意性」 検定 ある。 仮説 下 われわれが期待するも 、観測した結果 違いを、 これら 差が単 「偶然」 よ 起きたも か否か いう見地から、確率 基準 評価する。 — 東京大学教養学部統計学教室 編「基礎統計学I 統計学入門」(東京大学出版会) P.233 https://www.utp.or.jp/book/b300857.html → ただし、あくま も目安 しか い。 ドメイン知識 併せ 判断すべし! 例: 6 目が出る確率 ⅙(帰無仮説) 例: 6 目が出る確率が⅙ ら、10回中5回以上6 目が出る確率 1.55%(p値) p値 < 有意水準(有意差あり) → 偶然 し 不自然だから、サイコロ イカサマだろう。 p値 >= 有意水準(有意差 し) → 偶然起きた し もおかしく いから、サイコロがイカサマか わ から い。
Slide 42
Slide 42 text
🎲おまけ🎲 統計を う学ぶか?
Slide 43
Slide 43 text
● ステップ1. 統計 考え方 基本的 手法 使い方を学ぶ ● ステップ2. 検定手法 背後 数理的 仮定を理解する ○ データが仮定を満たし い いまま手法を適用する 、誤 た判断 繋がるこ があるため。 統計 学 方 何が前提・仮定 し 置かれるかを理解しよう!
Slide 44
Slide 44 text
(再掲)数理的 突 込んだ話: Welch t 検定 仮定: パターンA,B を見た各ユーザー 購買金額 x A , x B が、以下 よう 互い 独 立 ガウス分布 従 いる する: こ き、右記 統計量 t 分布 P(t) を 自由度 k* Student t 分布 t(k*) 近似 きる: ユーザー数 平均購入金額 標本分散 (詳細略)
Slide 45
Slide 45 text
概念的 理解や R よる実行方法 学習 慣れ きたら、数理統計 学習を通し 各手法 背後 ある仮定(特 分布まわり)を理解しましょう。 Q. 手法 数理的 背景を理解する ? <お薦め書籍> 神永 正博、木下 勉 著 R 学ぶ確率統計学 一変量統計編 http://www.rokakuho.co.jp/data/boo ks/0123.html 多変量統計編 http://www.rokakuho.co.jp/data/boo ks/0124.html 内田老鶴圃 (2019) (そ ほか、統計検定準1級・1級 対策用 し よく挙げられる書籍 も)
Slide 46
Slide 46 text
上田 拓治 著 44 例題 学ぶ統計的検定 推定 解き方 オーム社 (2009) https://www.ohmsha.co.jp/book/97842740676 00/ Q. ういうケース 、 ん 手法を選べ いい ? 場合 よりけり。 今回 発表 解説しきれ い 、以 下 書籍をお薦めします: