機械学習ゼミ_正則化.pdf

Transcript

1. //ͷਖ਼ଇԽ ෺ੑ෺ཧՊֶίʔε೥ɹલଂ
   ྒྷ
2. ਖ਼ଇԽͱ͸ ֶशΞϧΰϦζϜΛमਖ਼͢Δ͜ͱͰ ܇࿅ޡࠩͰ͸ͳ͘൚Խޡ͕ࠩͰ͖Δ
   ݶΓ࠷খԽ͞ΕΔΑ͏ʹ͢Δ͜ͱ ܇࿅ޡࠩ ฏۉೋ৐ޡࠩͷ৔߹ E(w) = 1 N N ∑ n=1 1 2 ( ̂ y(xn ; w) − yn )2 ൚Խޡࠩ ฏۉೋ৐ޡࠩͷ৔߹ Egen (w) = Edata ( 1 2 ( ̂ y(x; w) − y)2 ܇࿅ޡࠩͷ࠷খԽ
   
   աֶशͷڪΕ
3. ਖ਼ଇԽͱ͸ ൚Խޡࠩ͸શͯͷσʔλʹରͯ͠Ͳͷ΄Ͳͷਫ਼౓͕͋Δͷ͔ΛධՁ͢Δࣜ ѻ͑Δσʔλ͸༗ݶͳͷͰݫີͳ൚ԽޡࠩΛ஌Δ͜ͱ͸ෆՄೳ ൚Խޡࠩ͸ςετ༻σʔλͰ୅༻ ςετޡࠩ ฏۉೋ৐ޡࠩͷ৔߹ Etest (w) = 1 Ntest N ∑ m=1 1 2 ( ̂ y(xm ; w) − ym )2
4. ਖ਼ଇԽͷํ๏ ɾॏΈݮਰ ɾ&BSMZ
   4UPQQJOH
5. ॏΈݮਰ ޮՌ ɾޡࠩؔ਺ʹਖ਼ଇԽΛՃ͑աֶशΛ๷͙ ɾ-ਖ਼ଇԽ -BTTPਖ਼ଇԽ ͱ-ਖ਼ଇԽ 3JEHFਖ਼ଇԽ ɾਖ਼ଇԽ߲ʹ-ͱ-ͷ྆ํΛ଍͢৔߹΋͋Δ ɾϩδεςΟοΫճؼ // 47.ͳͲͷ৔໘Ͱ༗ޮͰ͋Δ -ਖ਼ଇԽ ɾॏΈ͕େ͖͍΄Ͳʹ͍͍ۙͮͯ͘Α͏ʹॏΈΛߋ৽͢Δಇ͖͕͋Δ ɾଟ૚//Ͱ͸ॏΈ͕ൃࢄ͠΍͍͢ͷͰ Α͘࢖ΘΕΔ
6. ॏΈݮਰ ޡࠩؔ਺Λ͋Δ࠷খ஋
   
   
   
   ۙ๣ʹ஫໨ͯ࣍ؔ͠਺Ͱۙࣅ͢Δ·ͨ ΁γΞϯ
   ΋ର֯ߦྻͰ͋ΔͱԾఆͯ͠ਐΊΔ w0 E(w) ≃ E0 + 1 2 ∑ i hi (wi − w0 i )2 ͜͜Ͱ ॏΈݮਰͷ߲ΛՃ͑ͨ৽ͨͳޡࠩؔ਺Λఆٛ͢Δ Ereg (w) = E(w) + α w2 2 ࣍͸ ͜ͷޡࠩؔ਺ͷඍ෼܎਺͕ʹͳΔ఺͕࠷খ஋ͱͳΔ
7. ॏΈݮਰ ਖ਼ଇԽޙͷ৽ͨͳ࠷খ஋͸ w* i = hi hi + α w0 i = 1 1 + α hi w0 i Ћͱൺ΂ͯ΁γΞϯͷର֯੒෼͕ۃΊͯখ͍͞
   
   
   
   
   
   
   
   
   ৔߹͸ hi ≪ α w* i = 1 1 + α hi w0 i ≃ 0 ͜ΕʹΑΓॏΈݮਰͷޮՌΛࣔͨ͠
8. &BSMZ
   4UPQQJOH ޮՌ ɾ࣮૷͕ඇৗʹ؆୯ ɾਖ਼ଇԽͷޮՌ͕ߴ͍ ɾཧ࿦΋୯७ ํ๏ 
   աڈͷΤϙοΫͰߋ৽ͨ͠ॏΈΛอଘ 
   ςετޡࠩͷ૿Ճ͕࿈ଓͨ͠৔߹ ֶशΛఀࢭ 
   ςετޡ͕ࠩݮগ͔Β૿Ճʹసͨ͡ΤϙοΫ·ͰḪΔ 
   ͦͷ࣌఺ͰͷύϥϝʔλΛ࠾༻
9. &BSMZ
   4UPQQJOH
10. ࢀߟจݙ 13.-্ר
    
    χϡʔϥϧωοτϫʔΫͷਖ਼ଇԽ ਂ૚ֶशೖ໳
    
    ਂ૚ֶशͷਖ਼ଇԽ