第五章-交差検証と再標本化【数学嫌いと学ぶデータサイエンス・統計的学習入門】

第五章【数学嫌いと学ぶデータサイエンス・統計的学習入門】

Transcript

1. 1 第五章 1 第五章 @Ringa_hyj 日本一の数学嫌いと学ぶ データサイエンス ~第五章:交差検証・再標本化~
2. 2 第五章 2 第五章 対象視聴者: 数式や記号を見ただけで 教科書を閉じたくなるレベル
3. 3 第五章 3 第五章 リサンプリング ・訓練・検証・テスト ・交差検証(ホールドアウト・一つ抜き・k分割) ・ブートストラップ
4. 4 第五章 4 第五章 訓練・検証・テスト データ 交差検証
5. 5 第五章 5 第五章 ・訓練・検証・テスト データ 予測モデルを作るのは 未知(将来得られる予定)のデータを予測したい 手元のデータからモデルを作っても 未知のデータに対応できているか確認はできない データ Full dataset (sample) 学習 ロジスティック回帰 最小二乗法 モデル 未知のデータ データに対して 95%正解できる 何%?? 未知のデータに 対応している??
6. 6 第五章 6 第五章 ・訓練・検証・テスト データ データを分割して学習用と、 未知データに対する精度の確認用として扱う データ 学習用データ (訓練データ) train テストデータ test 学習 モデル
7. 7 第五章 7 第五章 ・訓練・検証・テスト データ 機械学習の”学習”は何回も行い精度向上させる テストデータでの性能 ＆ 訓練データの性能 どちらも下げるように学習 交差検証(cross-validation) 学習用データ (訓練データ) train テストデータ test 学習 モデル 精度 確認 train 学習 まだ？ 終わり
8. 8 第五章 8 第五章 ・訓練・検証・テスト データ テストデータの性能も見せてしまっているから、 未知のデータをカンニングした状態 学習用データ (訓練データ) train テストデータ test 学習 モデル 精度 確認 train 学習 まだ？ 終わり
9. 9 第五章 9 第五章 ・訓練・検証・テスト データ さらにもう一つ分割する 検証データをカンニングさせ、 最後にテストで性能を確認する データ 学習用データ (訓練データ) train 検証データ valid 学習 モデル テストデータ test
10. 10 第五章 10 第五章 データ Full dataset (sample) ・訓練・検証・テスト データ 未知のデータ (母集団) モデル 推定 未知のデータ (母集団) 抽出 sampling train valid test 再標本化 resampling
11. 11 第五章 11 第五章 交差検証の手法(分割・確認) (ホールドアウト・一つ抜き・k分割・ブートストラップ)
12. 12 第五章 12 第五章 ・ホールドアウト法(hold-out) データ だいたい半分 順番に関係がないならランダムに再標本化
13. 13 第五章 13 第五章 ・1つ抜き法(LOOCV) leave one out cross validation データ 一つだけのデータで性能を確認する ※たまたま外れ値のデータで検証してしまう可能性あり
14. 14 第五章 14 第五章 ・K分割法(k-fold CV) データ データをK個(5~10くらい)に分割し、1つを検証用、残りを学習用 これでK-1回学習を行う ※一つ抜きよりも計算コストが少なく、 たまたまの外れ値を選ぶリスクも減る
15. 15 第五章 15 第五章 ・ブートストラップ データ 重複を許す無作為抽出 ※標本データの性質を反映させやすい (多頻度登場するデータ) ブートストラップ標本
16. 16 第五章 16 第五章
17. 17 第五章 17 第五章
18. 18 第五章 18 第五章
19. 19 第五章 19 第五章
20. 20 第五章 20 第五章
21. 21 第五章 21 第五章
22. 22 第五章 22 第五章
23. 23 第五章 23 第五章
24. 24 第五章 24 第五章
25. 25 第五章 25 第五章
26. 26 第五章 26 第五章
27. 27 第五章 27 第五章
28. 28 第五章 28 第五章
29. 29 第五章 29 第五章
30. 30 第五章 30 第五章
31. 31 第五章 31 第五章