Cross-Validationの理論的優位性について

Transcript

1. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Cross Validation の理論的優位性について Masanari Kimura 総研大 統計科学専攻 mkimura@ism.ac.jp
2. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 2/14
3. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References TL;DR ▶ [Blum et al., 1999] ▶ K-fold cross validation は単一の hold-out に対して汎化バウンドの意味で優越する 3/14
4. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Preliminaries ▶ 入力空間 X; 未知の入力分布 D; ▶ 未知のターゲット関数 f : X → {0, 1}; ▶ 学習アルゴリズムによって得られる仮説 h : X → [0, 1]; ▶ 仮説 h の入力 x ∈ X についてのエラー eh(x) = |h(x) − f(x)|; ▶ 仮説 h の真のエラー ¯ eh = Ex∈D [eh(x)]. 4/14
5. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 5/14
6. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Hold-out validation ▶ データセットの一部を評価用に分けておく ▶ 学習に使えるデータが減ってしまうのが嬉しくなさそう Dataset Train set Validation set 6/14
7. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References K-fold cross validation ▶ データセットを K 分割して学習と評価 K 回くりかえす ▶ 計算時間はかかるけれど学習データをフル活用できていそう Dataset Train set Validation set Train set Validation set Validation set Train set K-fold 7/14
8. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 8/14
9. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Goals K-fold cross validation の方が単一の Hold-out よりも良い誤差の推定量を与えること を示したい： E [ |ˆ eK − ¯ eK|m ] < E [ |ˆ e1 − ¯ e1 |m ] . ここで， ▶ 単一の Hold-out の経験誤差 ¯ e1 ; ▶ 単一の Hold-out の期待誤差 ˆ e1 ; ▶ K-fold cross validation の経験誤差 ¯ eK ▶ K-fold cross validation の期待誤差 ˆ eK 9/14
10. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Moments of the error discrepancy Theorem For all m ≥ 1, we have E [ |ˆ eK − ¯ eK|m ] ≤ E [ |ˆ e1 − ¯ e1 |m ] . (1) Proof. Jensen の不等式から，すべての凸関数 f と実数 xi ∈ R について f x1 + x2 + · · · + xn n ≤ f(x1) + f(x2) + · · · + f(xn) n が成り立つ．|x|m は ∀m ≥ 1 で凸関数なので， |ˆ eK − ¯ eK|m = ˆ e1 − ¯ e1 + · · · ˆ eK − ¯ eK K m ≤ |ˆ e1 − ¯ e1|m + · · · + |ˆ eK − ¯ eK|m K = E |ˆ e1 − ¯ e1|m 10/14
11. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References For strict advantage ▶ 前述の定理から，E [ |ˆ eK − ¯ eK|m ] ≤ E [ |ˆ e1 − ¯ e1 |m ] が言えた; ▶ 次に示したいのは，K-fold cross validation の hold-out に対する厳密な優位性ここで 以下のような仮定を導入： ▶ Pr[ˆ e1 ̸= ¯ e1 ] > 0（hold-out が常に完璧ではないこと） ▶ K > 2（leave-one-out ではないことKearns and Ron [1999]） ▶ 学習データに対する順序不変性（学習データの順番に性能が敏感でない） ▶ 入力空間が有限 11/14
12. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Strict Inequality for the Moments of the Error Discrepancy Theorem Suppose the X is finite, the learning algorithm is insensitive to example ordering, and Pr[ˆ e1 ̸= ¯ e1 ] > 0. Then, for 2 < k < n and m ≥ 2, we have E [ |ˆ eK − ¯ eK|m ] < E [ |ˆ e1 − ¯ e1 |m ] . (2) Proof. （証明のスケッチ） ．Jensen の不等式において等式が成り立つのは，∀i = {1, . . . , K} で ˆ ei − ¯ ei が等しいときに限 る．つまり，ˆ ei − ¯ ei ̸= ˆ ej − ¯ ej となるような i, j を 1 組でも見つければ証明は完了する．ここで前述した順序不変 性や Pr[ˆ e1 ̸= ¯ e1] > 0 が効いて，定理が証明される． 12/14
13. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References Worst-case Result Theorem Hoeffding bounds hold as if we used n/k testing examples. In particular, we have Pr [ |ˆ eK − ¯ eK| > ϵ ] ≤ 2e−2ϵ2n/k. (3) Proof. （証明のスケッチ） ．s = n/k とすると，Markov の不等式から， Pr ˆ e1 > ¯ e1 + ϵ = Pr eλs(ˆ e1−¯ e1) > eλϵ ≤ E eλs(ˆ e1−¯ e1) eλsϵ . ここで eλsx は x の凸関数なので，Jensen の不等式より eλs(ˆ eK−¯ eK) = e λs k (ˆ e1−¯ e1+···+ˆ eK−¯ eK) ≤ eλs(ˆ e1−¯ e1) + · · · + eλs(ˆ eK−¯ eK) k . 以上より E[eλ(ˆ eK−¯ eK)] ≤ E[eλ(ˆ e1−¯ e1)] となることより，定理の証明が得られる． 13/14
14. Intro Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation References References Avrim Blum, Adam Kalai, and John Langford. Beating the hold-out: Bounds for k-fold and progressive cross-validation. In Proceedings of the twelfth annual conference on Computational learning theory, pages 203–208, 1999. Michael Kearns and Dana Ron. Algorithmic stability and sanity-check bounds for leave-one-out cross-validation. Neural computation, 11(6):1427–1453, 1999. 14/14