統計の基礎1

統計の基礎1では、確率論と統計の関係、データの分布、回帰について説明します。

Transcript

1. 統計の基礎1 2020/8/17 Ver. 1.0
2. 統計学とは？ 多数のデータを扱う方法についての学問分野 • 確率論に由来する • カール・ピアソンによる記述統計の確立を嚆矢とする • ロナルド・フィッシャーによる推計統計を経て発展 • 現代的な機械学習、AIの基礎となっている
3. 確率論と統計の繋がり: 二項分布 コイントスの確率論 • 表と裏（1と0）しかない • ベルヌーイ試行と呼ばれる • ベルヌーイ試行の繰り返し積算: 二項分布にしたがう
4. 二項分布 ベルヌーイ試行を繰り返したときの、表の出る頻度 5回試行 10回試行 100回試行 1000回試行 ほぼ半分出るが、確率的試行なのでばらつきを含む
5. 二項分布の確率質量関数 = ∙ 1 − − P: 表が出る回数がkとなる確率、n: 試行の数、p: 表が出る確率、k: 表が出る回数 二項分布の表が出る回数、確率は以下の式で表わされる • n C k はn回の試行のうち、表が出る組み合わせ • pk(1-p)n-kは表・裏が出る確率の積
6. 二項分布と統計 2値のみで表わされる事象は多い • 感染症の罹患（罹患している/していない） • 試合の勝ち負け • 製品を購入した/しなかった 確率分布を利用したシミュレーション/解析が可能 統計データを確率分布から理解する
7. データとその分布 確率分布にはたくさんの種類がある 1か0しかないデータ ベルヌーイ試行の繰り返し まれな現象の発生数 まれな現象の発生時間間隔 製品の重さのばらつき 年収の分布 ベルヌーイ分布 二項分布 ポアソン分布 指数分布 正規分布 対数正規分布 分布を仮定することで、データを理解することができる
8. 線形回帰 2つの量の関係を示す式を計算する 最も妥当な線を引くためにはどうするのか？
9. 線形回帰と正規分布 ばらつきは縦に正規分布すると考える 正規分布を仮定すれば、点からの距離の和を最小にすればいい
10. 正規分布とは何か？ 母平均と標本平均の誤差の分布のこと • 母集団はあり得るすべての情報を含む • 標本集団は母集団の一部
11. 母集団と標本集団 • 母集団は仮定の集団で、直接観測はできない • 我々が扱うのはすべて標本集団 • 観測できるデータは母集団からの抽出である
12. 正規分布とは何か？ 母平均と標本平均の誤差の分布のこと • 標本を抽出し、平均を計算する • 標本の平均と母平均の差を計算する • この試行を無限回繰り返し、差の分布を取る • この差の分布が正規分布にしたがう （中央極限定理と呼ばれる）
13. 正規分布の確率密度関数 = 1 22 ex p − − 2 22 μは平均、σは標準偏差 • 左右対称・+∞～-∞の範囲を持つ • 標準偏差(σ)範囲に68%のデータが含まれる • 3 σに99.7%のデータが含まれる
14. 正規分布を仮定した線形回帰 最小二乗法は正規分布を仮定した上で成り立つ • 正規分布では上下のばらつきは等価 • 左の赤線の和を最小にすればよい • 二乗和の最小値は計算が用意 直線回帰の基礎は正規分布にある
15. まとめ • 統計学は確率論の延長上にある • 分布を仮定することで、観測結果を解析できる • 観測データはすべて標本で、母集団は直接観測できない • 正規分布を基に線形回帰が成り立っている