Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第五章-交差検証と再標本化【数学嫌いと学ぶデータサイエンス・統計的学習入門】
Search
Ringa_hyj
June 15, 2020
Technology
0
230
第五章-交差検証と再標本化【数学嫌いと学ぶデータサイエンス・統計的学習入門】
第五章【数学嫌いと学ぶデータサイエンス・統計的学習入門】
Ringa_hyj
June 15, 2020
Tweet
Share
More Decks by Ringa_hyj
See All by Ringa_hyj
DVCによるデータバージョン管理
ringa_hyj
0
80
deeplakeによる大規模データのバージョン管理と深層学習フレームワークとの接続
ringa_hyj
0
49
Hydraを使った設定ファイル管理とoptunaプラグインでのパラメータ探索
ringa_hyj
0
57
ClearMLで行うAIプロジェクトの管理(レポート,最適化,再現,デプロイ,オーケストレーション)
ringa_hyj
0
55
Catching up with the tidymodels.[Japan.R 2021 LT]
ringa_hyj
3
830
多次元尺度法MDS
ringa_hyj
0
290
因子分析(仮)
ringa_hyj
0
150
階層、非階層クラスタリング
ringa_hyj
0
120
tidymodels紹介「モデリング過程料理で表現できる説」
ringa_hyj
0
430
Other Decks in Technology
See All in Technology
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
Postman AI エージェントビルダー最新情報
nagix
0
110
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
100
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
340
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
生成AIでwebアプリケーションを作ってみた
tajimon
2
150
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
spatial_ai_network
0
110
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
110
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
210
本が全く読めなかった過去の自分へ
genshun9
0
340
How Community Opened Global Doors
hiroramos4
PRO
1
120
Snowflake Summit 2025 データエンジニアリング関連新機能紹介 / Snowflake Summit 2025 What's New about Data Engineering
tiltmax3
0
310
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
94
14k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
210
Embracing the Ebb and Flow
colly
86
4.7k
Building an army of robots
kneath
306
45k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
490
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Transcript
1 第五章 1 第五章 @Ringa_hyj 日本一の数学嫌いと学ぶ データサイエンス ~第五章:交差検証・再標本化~
2 第五章 2 第五章 対象視聴者: 数式や記号を見ただけで 教科書を閉じたくなるレベル
3 第五章 3 第五章 リサンプリング ・訓練・検証・テスト ・交差検証(ホールドアウト・一つ抜き・k分割) ・ブートストラップ
4 第五章 4 第五章 訓練・検証・テスト データ 交差検証
5 第五章 5 第五章 ・訓練・検証・テスト データ 予測モデルを作るのは 未知(将来得られる予定)のデータを予測したい 手元のデータからモデルを作っても 未知のデータに対応できているか確認はできない
データ Full dataset (sample) 学習 ロジスティック回帰 最小二乗法 モデル 未知のデータ データに対して 95%正解できる 何%?? 未知のデータに 対応している??
6 第五章 6 第五章 ・訓練・検証・テスト データ データを分割して学習用と、 未知データに対する精度の確認用として扱う データ 学習用データ
(訓練データ) train テストデータ test 学習 モデル
7 第五章 7 第五章 ・訓練・検証・テスト データ 機械学習の”学習”は何回も行い精度向上させる テストデータでの性能 & 訓練データの性能
どちらも下げるように学習 交差検証(cross-validation) 学習用データ (訓練データ) train テストデータ test 学習 モデル 精度 確認 train 学習 まだ? 終わり
8 第五章 8 第五章 ・訓練・検証・テスト データ テストデータの性能も見せてしまっているから、 未知のデータをカンニングした状態 学習用データ (訓練データ)
train テストデータ test 学習 モデル 精度 確認 train 学習 まだ? 終わり
9 第五章 9 第五章 ・訓練・検証・テスト データ さらにもう一つ分割する 検証データをカンニングさせ、 最後にテストで性能を確認する データ
学習用データ (訓練データ) train 検証データ valid 学習 モデル テストデータ test
10 第五章 10 第五章 データ Full dataset (sample) ・訓練・検証・テスト データ
未知のデータ (母集団) モデル 推定 未知のデータ (母集団) 抽出 sampling train valid test 再標本化 resampling
11 第五章 11 第五章 交差検証の手法(分割・確認) (ホールドアウト・一つ抜き・k分割・ブートストラップ)
12 第五章 12 第五章 ・ホールドアウト法(hold-out) データ だいたい半分 順番に関係がないならランダムに再標本化
13 第五章 13 第五章 ・1つ抜き法(LOOCV) leave one out cross validation
データ 一つだけのデータで性能を確認する ※たまたま外れ値のデータで検証してしまう可能性あり
14 第五章 14 第五章 ・K分割法(k-fold CV) データ データをK個(5~10くらい)に分割し、1つを検証用、残りを学習用 これでK-1回学習を行う ※一つ抜きよりも計算コストが少なく、
たまたまの外れ値を選ぶリスクも減る
15 第五章 15 第五章 ・ブートストラップ データ 重複を許す無作為抽出 ※標本データの性質を反映させやすい (多頻度登場するデータ) ブートストラップ標本
16 第五章 16 第五章
17 第五章 17 第五章
18 第五章 18 第五章
19 第五章 19 第五章
20 第五章 20 第五章
21 第五章 21 第五章
22 第五章 22 第五章
23 第五章 23 第五章
24 第五章 24 第五章
25 第五章 25 第五章
26 第五章 26 第五章
27 第五章 27 第五章
28 第五章 28 第五章
29 第五章 29 第五章
30 第五章 30 第五章
31 第五章 31 第五章