統計の基礎14 正規性、等分散性、外れ値の検定

統計の基礎14では正規性、等分散性、外れ値の検定について説明します。

Transcript

1. 統計の基礎14 正規性・等分散性・外れ値の検定 2021/1/14 Ver. 1.0
2. 正規性・等分散性・外れ値の検定とは？ 統計にパラメトリックな手法を使えることを確認する • 正規性・等分散性がパラメトリック手法の前提条件 • 正規性・等分散性がなければノンパラメトリック＊を使う • 検定で外れ値であることを確認する ＊t検定などは頑強性があるため、正規性がなくても使ってよいとされている場合もある https://norimune.net/1761
3. 正規性の検定 2種類の方法で検証するのが一般的 • q-qプロット • Shapiro-Wilk検定 お作法的にはパラメトリック検定前に 行うのが良いとされている ＊t検定、分散分析、カイ2乗分析など、測定値の正規性を背景においている検定はパラメトリックな手法とされる
4. q-q プロット 測定値と正規分布の分位値の相関を取ったグラフのこと 対数正規乱数のq-qプロット 正規乱数のq-qプロット 対数正規乱数 正規乱数 正規分布の分位値 正規分布していると、原点を通る直線に乗る ＊外れ値が見つかることがあるが、分布に依存している可能性もある
5. Shapiro-Wilk検定 帰無仮説が正規分布しているとする検定のこと • 帰無仮説が棄却されれば、正規分布しないことになる • 例数が増えると、棄却されやすくなる 対数正規乱数で検定 正規乱数で検定 ＊Kolmogorov-Smirnov検定というもので2つの分布間の違いを検定することもある
6. 等分散性の検定 群間で分散が同じであることを検定する方法 • Bartlettの検定 • 2標本分散のF検定 • パラメトリック検定前に行うのが良いとされている • F検定は2群、Bartlettは3群以上の比較に用いる ＊有意差が見られれば分散は同一ではないため、ノンパラメトリックを使ったほうがよいとされる
7. 外れ値の検定 群が正規分布に従うとしたとき、外れ値を検定する方法 • Smirnov-Grubbs検定 • Thompson検定 • 最大値が外れ値であるかどうか検定する • 正規分布しない場合には信頼性がない • 外れ値だからといって統計的に除外してよいわけではない ＊サンプルが少なければまず除外はできない
8. まとめ • 正規性を前提とする場合、正規性・等分散性の検定を利用 できる • 正規性があれば外れ値を検定により検出することはできる • いずれもそれほど高頻度には用いられない