データマイニング入門 その２ 統計検定編 / data_mining_2_t-test

某所で実施したR言語/データマイニング超入門用資料。

【slideshareからのお引越しです】
https://www.slideshare.net/takosumipasta/ss-46657555

Transcript

1. データマイニング 入門編 その２ 、・。・、～～ れっつごー
2. Index ☆今日は統計的なとこ 1. 母集団と標本 2. t検定の流れ 3. Excelで実習してみる 3.1 比較対象の決定 3.2 分布の確認 3.3 検定実施 4. まとめ
3. 1. 母集団と標本 • ほんとに低下したと言えるかどうか • 妥当性の確認が必要 無作為に電話で100人に聞きました。 ◦◦を支持しますか？ １月 支持率60% 3月 支持率59% 支持率が低下しました！ ◦よくあるこういう調査
4. 1. 母集団と標本 • 統計学にもビッグデータにも言える考え方 – 本当に正確な結果を得るためには全データを見るしかない １億人以上 全員に聞いて回るのは現実 的ではないので 対象人数を絞る ビッグデータ 大量すぎて 全部処理できない 一部のデータから規則を 見つける 一部から 全体を推測する
5. 1. 母集団と標本 • 今日のお題 調査対象全部 ↓ 母集団 調査対象から 抽出 ↓ 標本 同じ母集団から抽出された標本でも 違いは出る その違い込みで標本の評価を する必要がある
6. 2. t検定の流れ • 今日のお題 ２群の平均に差があるかどうかを評価する ↓ t検定 例： ・２回のアンケートで支持率は本当に変化し たといえる？ ・地域ごとにアンケートしての差があるか見 たい ・薬を飲んだグループと飲んでないグループ で効果測定したい とりあえず実例へ… 支持率60% 支持率59% この差は誤差の範囲？ ほんとに低下？
7. 3. Excelで実習してみる • 今日のサンプルデータ [野球]メジャーリーグとプロ野球を比較してみる … … 2014年メジャーリーグとプロ野球の打撃個人記録を使ってみます 規定打席に到達した選手のデータです
8. 3. Excelで実習してみる – 比較対象 • テーマ例： MLBのほうがNPBに比べてホームランがたくさん飛び交ってそうな 気がしますが統計的に正しいでしょうか？ 検定の流れ 仮定(帰無仮説)： MLBとNPBの本塁打率に差がないと仮定する ⇒MLB選手の平均本塁打率とNPBの平均本塁打率が あまり変わらないはず MLB/NPBそれぞれで分布を確認し、t検定を行う MLB/NPBの差がどの程度の確率で起こりうるものか判明 5%未満なら仮説を棄却 ＝ 同一の母集団ではない ＝ MLBとNPBで有意な差がある
9. 3. Excelで実習してみる – 分布確認 • テーマ例： MLBのほうがNPBに比べてホームランがたくさん飛び交ってそうな 気がしますが統計的に正しいでしょうか？ 試合数や打数に差があるため、本塁打数自体を比較するのは良くない 今回は 本塁打数/打数=本塁打率 を基準にします
10. 補足（Excelで分布の確認）
11. 補足（Excelで分布の確認）
12. 3. Excelで実習してみる – 検定実施 • テーマ例： MLBのほうがNPBに比べてホームランがたくさん飛び交ってそうな 気がしますが統計的に正しいでしょうか？ （Excel実施中） 観測数146と58で 平均値にこの程度の差が出る確率は 58%程度 ↓ よくあることらしい （5%未満だと帰無仮説を棄却する） 結論：MLBとNPBの本塁打率に統計的に有意な差はないらしい
13. 補足（Excelでｔ検定）
14. 補足（Excelでｔ検定）
15. 4. まとめ • 一部のデータを使って全体を推定する場合、統 計的な考え、確率的な考えが必要 • データの妥当性を調べるために検定を使うのは 有効な手段