Slide 14
Slide 14 text
13
徹底的に分析する
クロスバリデーション(CV)での評価を丁寧に!
✔ 適切なCV戦略の選択する
✔ 学習データの一部を切り分けておき,テストデータに見立てて評価を行う
ex) データを5分割し4つのデータでCV,残り一つをLBに見立ててスコアを確認する
✔ seedやデータ分割を変更して複数回検証を行う
その検証結果から,偶然高いのか,notebookとして優れているのか判断する
✔ ルールベースによる後処理はCVでもover fittingする可能性があるので注意が必要(テキスト系のコンペなど)
https://upura.hatenablog.com/entry/2018/12/04/224436
ディスカッションや上位常連のLBの順位など,
使える情報は何でも使って,確信に変えていく!!