Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Cross-Validationの理論的優位性について

 Cross-Validationの理論的優位性について

C612ab39597a17ba5948cae54d13f99f?s=128

Masanari Kimura

May 19, 2021
Tweet

Transcript

  1. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Cross Validation の理論的優位性について Masanari Kimura 総研大 統計科学専攻 mkimura@ism.ac.jp
  2. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 2/14
  3. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References TL;DR ▶ [Blum et al., 1999] ▶ K-fold cross validation は単一の hold-out に対して汎化バウンドの意味で優越する 3/14
  4. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Preliminaries ▶ 入力空間 X; 未知の入力分布 D; ▶ 未知のターゲット関数 f : X → {0, 1}; ▶ 学習アルゴリズムによって得られる仮説 h : X → [0, 1]; ▶ 仮説 h の入力 x ∈ X についてのエラー eh(x) = |h(x) − f(x)|; ▶ 仮説 h の真のエラー ¯ eh = Ex∈D [eh(x)]. 4/14
  5. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 5/14
  6. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Hold-out validation ▶ データセットの一部を評価用に分けておく ▶ 学習に使えるデータが減ってしまうのが嬉しくなさそう Dataset Train set Validation set 6/14
  7. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References K-fold cross validation ▶ データセットを K 分割して学習と評価 K 回くりかえす ▶ 計算時間はかかるけれど学習データをフル活用できていそう Dataset Train set Validation set Train set Validation set Validation set Train set K-fold 7/14
  8. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Overview Introduction Hold-out validation & K-fold cross validation Theoretical superiority of the K-fold cross validation 8/14
  9. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Goals K-fold cross validation の方が単一の Hold-out よりも良い誤差の推定量を与えること を示したい: E [ |ˆ eK − ¯ eK|m ] < E [ |ˆ e1 − ¯ e1 |m ] . ここで, ▶ 単一の Hold-out の経験誤差 ¯ e1 ; ▶ 単一の Hold-out の期待誤差 ˆ e1 ; ▶ K-fold cross validation の経験誤差 ¯ eK ▶ K-fold cross validation の期待誤差 ˆ eK 9/14
  10. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Moments of the error discrepancy Theorem For all m ≥ 1, we have E [ |ˆ eK − ¯ eK|m ] ≤ E [ |ˆ e1 − ¯ e1 |m ] . (1) Proof. Jensen の不等式から,すべての凸関数 f と実数 xi ∈ R について f x1 + x2 + · · · + xn n ≤ f(x1) + f(x2) + · · · + f(xn) n が成り立つ.|x|m は ∀m ≥ 1 で凸関数なので, |ˆ eK − ¯ eK|m = ˆ e1 − ¯ e1 + · · · ˆ eK − ¯ eK K m ≤ |ˆ e1 − ¯ e1|m + · · · + |ˆ eK − ¯ eK|m K = E |ˆ e1 − ¯ e1|m 10/14
  11. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References For strict advantage ▶ 前述の定理から,E [ |ˆ eK − ¯ eK|m ] ≤ E [ |ˆ e1 − ¯ e1 |m ] が言えた; ▶ 次に示したいのは,K-fold cross validation の hold-out に対する厳密な優位性ここで 以下のような仮定を導入: ▶ Pr[ˆ e1 ̸= ¯ e1 ] > 0(hold-out が常に完璧ではないこと) ▶ K > 2(leave-one-out ではないことKearns and Ron [1999]) ▶ 学習データに対する順序不変性(学習データの順番に性能が敏感でない) ▶ 入力空間が有限 11/14
  12. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Strict Inequality for the Moments of the Error Discrepancy Theorem Suppose the X is finite, the learning algorithm is insensitive to example ordering, and Pr[ˆ e1 ̸= ¯ e1 ] > 0. Then, for 2 < k < n and m ≥ 2, we have E [ |ˆ eK − ¯ eK|m ] < E [ |ˆ e1 − ¯ e1 |m ] . (2) Proof. (証明のスケッチ) .Jensen の不等式において等式が成り立つのは,∀i = {1, . . . , K} で ˆ ei − ¯ ei が等しいときに限 る.つまり,ˆ ei − ¯ ei ̸= ˆ ej − ¯ ej となるような i, j を 1 組でも見つければ証明は完了する.ここで前述した順序不変 性や Pr[ˆ e1 ̸= ¯ e1] > 0 が効いて,定理が証明される. 12/14
  13. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References Worst-case Result Theorem Hoeffding bounds hold as if we used n/k testing examples. In particular, we have Pr [ |ˆ eK − ¯ eK| > ϵ ] ≤ 2e−2ϵ2n/k. (3) Proof. (証明のスケッチ) .s = n/k とすると,Markov の不等式から, Pr ˆ e1 > ¯ e1 + ϵ = Pr eλs(ˆ e1−¯ e1) > eλϵ ≤ E eλs(ˆ e1−¯ e1) eλsϵ . ここで eλsx は x の凸関数なので,Jensen の不等式より eλs(ˆ eK−¯ eK) = e λs k (ˆ e1−¯ e1+···+ˆ eK−¯ eK) ≤ eλs(ˆ e1−¯ e1) + · · · + eλs(ˆ eK−¯ eK) k . 以上より E[eλ(ˆ eK−¯ eK)] ≤ E[eλ(ˆ e1−¯ e1)] となることより,定理の証明が得られる. 13/14
  14. Intro Hold-out validation & K-fold cross validation Theoretical superiority of

    the K-fold cross validation References References Avrim Blum, Adam Kalai, and John Langford. Beating the hold-out: Bounds for k-fold and progressive cross-validation. In Proceedings of the twelfth annual conference on Computational learning theory, pages 203–208, 1999. Michael Kearns and Dana Ron. Algorithmic stability and sanity-check bounds for leave-one-out cross-validation. Neural computation, 11(6):1427–1453, 1999. 14/14