統計の基礎4 仮説検定の基礎

統計の基礎4では、統計でよく用いられる、仮説検定の基本的なことについて説明します。

Transcript

1. 統計の基礎 仮説検定の基礎 2020/8/20 Ver. 1.0
2. Yes/No的な判断 統計的に何かを比較したいとき、 • 2つの集合の平均が同じか、違うか • 傾きがゼロか、そうでないか • 2つの集合のばらつきが同じか、違うか などを示したいときがある 検定と呼ばれる手法を用いる
3. 検定の問題 差があると言いたいとき、 • どの程度差があれば差があると言えるのか？ • 標本が少ないときには差があると言えるのか？
4. 差があることを説明する 差があることは、 • 差があるとする基準に達している＊ • 差がないとすると矛盾する のどちらかでしか示せない 統計では2つ目のアプローチを取る ＊いろいろな条件でそれぞれ基準を設けるのは現実的ではないので、普遍的には採用しない
5. 2つの分布の差 2つの分布の差の分布はどうなっているのか？
6. 差の分布 2つの分布の差の分布はどうなっているのか？ 差 • やや幅が広い分布になる • 0より大きければ差があるはず
7. 差がないとすると矛盾する 差が無い確率が低すぎることを示す シミュレーションで試してみる
8. 平均値がある値より大きいかどうか 正規分布の平均が0より大きい確率を計算する • 正規分布から3つ乱数を取り、平均値を計算する • 10000回計算したときの0より大きい確率を計算する
9. 平均0の正規分布からの乱数のとき Rでシミュレーションすると 49.3％の確率で0より大きくなる （もっと計算すれば50%に近づく） ＊標準偏差は1としている
10. 平均0.5の正規分布からの乱数のとき Rでシミュレーションすると 80.1％の確率で0より大きくなる
11. 平均1の正規分布からの乱数のとき Rでシミュレーションすると 95.93％の確率で0より大きくなる
12. 3サンプルの平均が0以上である確率 平均0、標準偏差1の正規分布 平均0.5、標準偏差1の正規分布 平均1、標準偏差1の正規分布 49.3％ 80.1% 95.93% • 平均0だとまず0より大きくならない • 平均1だとほぼ0より大きい • 平均0.5だと20%ぐらいは大きくない
13. 差があるといえるのか？ • 0.5のときは20%も0以上にならない • 1のときは0以下にはほぼならない この差を表現する 仮説を立てて、検証する形にする
14. 0以上では無いとする仮説 3点取った平均値は0以上ではない、と仮説する 平均0のとき: 平均0.5のとき: 平均1のとき: 50%の確率で否定できない 20%の確率で否定できない 5%の確率で否定できない 平均1のときは、否定できない確率が非常に低い 仮説は棄却できるとする
15. 仮説検定における仮説 差があるときに棄却する仮説を立てる 帰無仮説＊と呼ぶ 帰無仮説を棄却できない: 帰無仮説を棄却できる: 差がないといえない 差があるとする ＊否定するために立てる仮説なので、帰無（無に帰る）仮説と呼ぶ
16. 帰無仮説を棄却できないとき 平均0のとき: 平均0.5のとき: 平均1のとき: 50%の確率で否定できない 20%の確率で否定できない 5%の確率で否定できない 平均0のときは、棄却できなさそう 3点取った平均値は0以上ではない、と仮説する 平均値は0以上では無いと言える？ （帰無仮説は肯定できるのか？）
17. 帰無仮説を棄却できないとき 3点取った平均値は0以上ではない、と仮説する 平均0のとき: 50%の確率で否定できない • 50%で0以上となる • 平均が0以下になる確率は50% 平均が0以上でない、といえないわけではない 帰無仮説を棄却できないことは、 帰無仮説を肯定できることではない
18. 帰無仮説を棄却できないとき 帰無仮説を棄却できないことは、 帰無仮説を肯定できることではない 仮説検定で言えることは、 仮説検定を棄却する: 仮説検定を棄却しない: 差がある 差がないとはいえない 差があるとは言えるが、差がないとは言えない
19. サンプル数と棄却検定 正規分布から取る乱数を変えてみる 3個取ったとき 5個取ったとき 10個取ったとき 81.7％ 88.9％ 95.15％ 分布が同じでも、サンプル数によって確率が変わる
20. サンプル数と棄却検定 平均が0以上である確率 平均の計算に使う乱数の数 サンプルの数が増えると、確率は上がる 仮説検定ではサンプル数が多くなると棄却しやすくなる
21. まとめ • 差があることを説明したいときには仮説検定を用いる • 仮説検定では、棄却する仮説である帰無仮説を立てる • 仮説検定はサンプル数の影響を受ける