Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
同じデータでもP値が変わる話/key_considerations_in_NHST
Search
florets1
September 02, 2023
Science
1
1.1k
同じデータでもP値が変わる話/key_considerations_in_NHST
florets1
September 02, 2023
Tweet
Share
More Decks by florets1
See All by florets1
請求と支払を照合する技術/using_full_join_in_r
florets1
1
80
応用セッション_同じデータでもP値が変わる話/key_considerations_in_NHST_2
florets1
1
880
お名前から性別を推測する/Guessing_gender_from_name
florets1
0
110
バタフライ効果/butterfly_effect
florets1
0
160
尤度/likelihood
florets1
3
770
待ち行列のシミュレーション/queue_simulation
florets1
0
180
%hogehoge%で二項演算子/create_binary_operators_in_r_language
florets1
0
190
データフレームを操作/how_to_manipulate_dataframes
florets1
0
280
テーブルデータ大好き/Bidirectional and Composable Data Structure
florets1
1
710
Other Decks in Science
See All in Science
BMI 研究はなぜ同じ失敗を繰り返すのか(日本BMI研究会, 2021.11.5)
ykamit
1
2k
東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)
hayataka88
0
200
KDD2023学会参加報告
tereka114
2
360
データで課題を解決する -因果関係を調べる統計的因果推論-
sshimizu2006
4
1.4k
救急外来でのめまい診療_中枢性めまいを見逃さない!
psasa
0
220
マルチモーダルモデルと自動運転 車載モデルのコスト・スループット・レイテンシ / LLM in Production Meetup #2 20231023
yuyamaguchi
1
1.1k
SCOTT: Self-Consistent Chain-of-Thought Distillation
meshidenn
0
330
Презентация программы бакалавриата СПбГУ "Искусственный интеллект и наука о данных"
dscs
0
150
ベクトル型スーパーコンピュータ「AOBA-S」の性能評価
keichi
0
290
Machine Learning for Materials (Lecture 2)
aronwalsh
0
600
Machine Learning for Materials (Lecture 1)
aronwalsh
1
1.5k
Snowflake上でRを使う: RStudioセットアップとShinyアプリケーションのデプロイ
ktatsuya
0
140
Featured
See All Featured
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
2k
Designing for Performance
lara
601
67k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
12
1.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Testing 201, or: Great Expectations
jmmastey
30
6.4k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
22
6.5k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
How to train your dragon (web standard)
notwaldorf
75
5.2k
Transcript
1 2023.09.02 Tokyo.R #108 同じデータでもP値が変わる話
2 統計的仮説検定 同じデータからは同じ検定結果が得られるもの と考えられがちですが 実際には必ずしもその通りではありません。
3 例えば コイン投げをして24回中7回が表になるという単純な データを考えてみましょう。 このようなデータでも、実験の設定や投げる回数の制 約によって、統計的仮説検定の結果が変わることがあ るのです。
4 コインを1回投げる 𝑝 𝑦 𝜃 = 𝜃𝑦(1 − 𝜃)(1−𝑦) 𝜃
= 0.5 ベルヌーイ分布 y=1 は表, y=0 は裏
5 コインをN回投げる 裏裏表表裏裏表裏裏裏裏裏裏裏裏裏表裏裏表表裏裏表 表が出る確率 θ 投げる回数 N 表の回数 z 二項分布
6 統計的仮説検定の流れ 帰無仮説をたてる ↓ 標本分布を計算する ↓ データを観測してP値を求める
7 帰無仮説をたてる ある統計量がある値と等しいということを帰無仮説と して設定します。 例) コインの裏表が出る確率が50%と等しい 平均値が等しい
8 標本分布を計算する 帰無仮説が成り立つ場合にその統計量が従うであろう 確率分布、標本分布を計算します。 例) コインの裏表が出る確率 → 二項分布など 平均値 →
t分布など
9 データを観測してP値を求める 実際に観測された値、もしくはそれ以上に極端な値が 標本分布に占める面積、つまりそのような値が観測さ れる確率(P値)を求めます。
10 P値があらかじめ設定したしきい値(たとえば5%)よ りも小さければ、そもそも帰無仮説が間違っていたの だと結論づけます。 逆に小さくなければ帰無仮説を棄却せず、判断を保留 します。 P値で判断
11 コインを24回投げて7回表が出た このコインは公平か。 データ観測者の意図 コインを24回投げると決めていた。結果として7回表 がでた。
12 標本分布 表が出る確率 θ 投げる回数 N 表の回数 z
13 データを観測 θ = 0.5 N = 24 z =
7 P値 = 0.064 Sample Proportion z/N p(z/N)
14 Rのコード
15 コインを24回投げて7回表が出た このコインは公平か。 データ観測者の意図 7回表が出るまで投げ続けると決めていた。結果として 24回投げた。 ↓ 23回投げた時点で6回表が出ており、24回目では表が 出た。
16 標本分布 N-1回投げた時点でz-1回表が出て N回目は表
17 データを観測 θ = 0.5 z = 7 N =
24 P値 = 0.017 Sample Proportion z/N p(z/N)
18 Rのコード
19 投げる回数N 表が出る回数 z • Nを固定する意図ではP値=0.064(判断を保留) • zを固定する意図ではP値=0.017(帰無仮説を棄却) 同じデータを観測しても、観測者の意図によって 検定結果が変わる!
20 意外にも 観察者の意図やデータ収集の方法が、統計的な結果に 影響を与える可能性があるのです。 このような現象は、統計的な検定の限界や留意すべき 要点を浮き彫りにします。単に数値を見るだけではな く、実験の文脈や条件を正しく理解することの重要性 を示しています。
21 参考書 飯塚修平. ウェブ最適化ではじめる機械学習. オライ リー・ジャパン, 2020 John K. Kruschke.
Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan EDITION 2. Academic Press, 2014