高次元データに対するL1正則化の有効性

ߴ࣍ݩσʔλʹର͢Δ-ਖ਼ଇԽͷ༗ޮੑ !VUBLB ػցֶशͷ਺ཧ"EWFOU$BMFOEBS

എܠ ߴ࣍ݩσʔλ ɾೖྗม਺ͷݸ਺EαϯϓϧαΠζO ɾྫɿηϯαʔσʔλ΍࣍ੈ୅γʔέϯαʔʹΑΔήϊϜ഑ྻσʔλͳͲ ߴ࣍ݩσʔλʹ͓͚Δ༧ଌ໰୊ ɾ୅දྫ͸ઢܗճؼϞσϧɿ ɹɹɾฏۉ৐ଛࣦ࠷খԽਪఆྔɿਖ਼نํఔࣜͷղ ɹɹɹߴ࣍ݩσʔλͰ͸ɺਖ਼نํఔࣜͷղͷҰҙੑΛظ଴Ͱ͖ͳ͍ɻ ɹɹɹͳͥͳΒ͹ɺਖ਼نํఔࣜͷղ͕ҰҙͰ͋ΔͨΊʹ͸ ɹɹɹཁ͸܎਺ߦྻ͕GVMMSBOLͰ͋Δඞཁ͕͋Δɻͱ͜Ζ͕ɺ
ɹɹɹͳͷͰɺߴ࣍ݩσʔλͰ͸Ұൠʹ੒ΓཱͨͣແݶʹղΛڐ͠ಘΔɻ y = Xw + ϵ, ϵ ∼ N(0,σ2En ) XT Xw = XTy rankXT X = n rankXT X = rankX ̂ w = argmin 1 2n ||y − Xw||2 2 ˠ

ઢܗճؼϞσϧʹ͓͚Δ-ਖ਼ଇԽʢ-BTTPճؼʣ ߴ࣍ݩσʔλʹ͓͚ΔઢܗճؼϞσϧ ɾ฼ूஂϞσϧʹ૝ఆ͢ΔԾઆɿ฼ճؼ܎਺͕εύʔεϕΫτϧͰ͋Δͱ͍͏ظ଴ ɾ-BTTPճؼɿ-ਖ਼ଇԽʹΑΔεύʔεਪఆ ɹɾฏۉ̎৐ଛࣦ࠷খԽ໰୊ΛҎԼͷΑ͏ʹमਖ਼͢Δɻ ɹɹ͜Ε͸ɺҎԼͷΑ͏ͳ੍໿෇͖࠷దԽ໰୊ͱಉ஋Ͱ͋Δɻ ɹɹ໨తؔ਺ͷತੑ͔Βղ͸ଘࡏͯ͠ҰҙʹͳΔɻ ɹɹ͞Βʹɺ੍໿৚݅ͷܗ͔Βղ͕εύʔεϕΫτϧʹͳΔ͜ͱ͕ظ଴Ͱ͖Δɻ ̂ w
= argmin 1 2n ||y − Xw||2 2 + λn ||w|| 1 min 1 2n ||y − Xw||2 2 s . t . ||w|| 1 ≤ C

঺հ͢Δఆཧ ఆཧɿ</FHBICBO3BWJLVNBS8BJOXSJHIU:V $PSPMMBSZ> ฼ूஂ෼෍͕ઢܗճؼϞσϧͰɺಛʹ฼ճؼ܎਺ɹ͕Lεύʔεͱ͠·͢ɻ ·ͨɺೖྗม਺͸EྻͰಠཱʹඪ४ਖ਼ن෼෍ʹै͍ͬͯΔͱ͠·͠ΐ͏ɻ͍· αΠζOͷඪຊΛऔͬͨ࣌ɺ ΛΈͨ͢े෼େ͖ͳਖ਼ͷ੔਺D͕͋Δͱ͠·͢ɻ͜ͷͱ͖ɺਖ਼ଇԽύϥϝʔλΛ ΛΈͨ͢Α͏ʹͱΕ͹-BTTPճؼʹΑͬͯಘΒΕΔ܎਺ϕΫτϧɹ͸গͳ͘ͱ΋֬཰ ͰҎԼͷධՁΛΈͨ͢ɻ͜͜Ͱɺ$͸ఆ਺ͱ͢Δɻ
w* ̂ w n ≥ ck log(d) λn ≥ 8σ log(d)/n 1 − 1/d − O(exp(−n/2)) || ̂ w − w*||2 2 ≤ C kσ2 log(d) n

঺հ͢Δఆཧͷओு ཁ͢Δʹɺ ɾ฼ूஂ෼෍͕ઢܗճؼϞσϧͰ฼ճؼ܎਺͕े෼ʹεύʔεϕΫτϧͰ͋Δɻ ɾೖྗۭ͕ؒे෼ʹߴ࣍ݩʹͳ͍ͬͯΔɻ ͷͰ͋Ε͹ɺे෼ʹେ͖ͳਖ਼ଇԽύϥϝʔλΛΈͨ͢Α͏ʹͱΔ͜ͱͰɺ-BTTP ճؼͷਪఆྔͷฏۉ৐ޡࠩ͸ ɾ࣍ݩʹରͯ͠ର਺తʹ͔͠ґଘ͠ͳ͍ɻʢ࣍ݩ΁ͷґଘ౓͕௿͍ʂʣ ɾ฼ճؼ܎਺ͷεύʔεੑɺޡࠩͷ෼ࢄɺαϯϓϧαΠζʹ͸ઢܗʹґଘ͢Δɻ ͱ͍͏ධՁΛ༩͍͑ͯΔɻ

ূ໌ͷͨΊͷ४උ Ωʔϫʔυɿ੍ݶڧತੑ 34$DPOEJUJPO αΠζɹɹͷߦྻ9ʹରͯ͠ɺू߹$ S Λ࣍ͷΑ͏ʹఆٛ͠·͢ɻ ਖ਼ͷఆ਺ɹ͕ଘࡏͯ͠ɺ೚ҙͷ$ S ͷݩ϶ʹରͯ͠ҎԼͷෆ౳ࣜ
͕੒ཱ͢Δͱ͖ɺߦྻ9͸$ S ʹ੍ؔͯ͠ݶڧತੑΛΈͨ͢ͱݴ͍·͢ɻ n × d C(r) = { Δ ∈ ℝd ∣ Δ ≠ 0, ||Δ|| 1 ||Δ|| 2 ≤ r } 1 n ||XΔ||2 2 ≥ κ||Δ||2 2 κ

੍ݶڧತੑͷ΋ͱͰͷ-BTTPਪఆྔͷྑ͞ ิ୊ɿ</FHBICBO3BWJLVNBS8BJOXSJHIU:V 5IFPSFN> ฼ूஂ෼෍ʹର͢ΔԾఆ͸ɺఆཧͱ·ͬͨ͘ಉ͡Ͱ͋Δͱ͢Δɻ΋͠ਖ਼ͷఆ਺D Λͱͬͯɺߦྻ9͕ू߹ɹɹɹɹɹɹɹʹରͯ͠ఆ਺ɹͰڧತੑΛ࣋ͭͱ͢Δɻ ͜ͷͱ͖ɺ೚ҙͷਖ਼ͷ੔਺Lʹରͯ͠ Ͱ͋Ε͹ɺਖ਼ଇԽύϥϝʔλ͕ɹɹɹɹɹɹɹɹͷ-BTTPճؼʹΑͬͯಘΒΕΔ ਪఆྔ͸ҎԼͷධՁΛຬͨ͠·͢ɻ C(8
n/(c log d)) κ n ≥ ck log(d) λn ≥ 2||XTϵ|| ∞ /n || ̂ w − w*||2 2 ≤ 9kλn κ2 ͜ͷධՁͩͱ͋·Γخ͕͠͞Θ͔Βͳ͍ɻ

ศརͳෆ౳ࣜ ิ୊ɿ<3BTLVUUJ8BJOXSJHIU:V 1SPQPTJUJPO> αΠζɹɹͷߦྻ9ͷ֤ߦ͕ಠཱʹଟมྔਖ਼ن෼෍/ Є ʹैͬͯಘΒΕΔͱ͖ ਖ਼ͷఆ਺D D`͕ଘࡏͯ͠ɺ೚ҙͷE࣍ݩϕΫτϧWʹରͯ͠গͳ͘ͱ΋֬཰
ͰҎԼͷධՁ͕੒Γཱͪ·͢ɻͨͩ͠ɺ4͸ೖྗม਺ͷඪ४ภࠩͷ࠷େ஋Ͱ͢ɻ n × d 1 − c exp(−c′n) ||Xv|| 2 n ≥ 1 4 ||Σ1/2v|| 2 − 9S log(d) n ||v|| 1

ఆཧͷূ໌ 3BTLVUUJ8BJOXSJHIU:Vͷෆ౳͔ࣜΒ ΛಘΔɻͦ͜ͰɺɹɹɹɹɹɹɹɹͳͷͰɺఆ਺DΛे෼େ͖͘ͱΕΕ͹ ੍ݶڧತੑ͕গͳ͘ͱ΋֬཰ɹɹɹɹɹɹɹͰ੒Γཱͭ͜ͱ͕Θ͔Γ·͢ɻ ͜͜Ͱɺࠓͱͬͨఆ਺D͕ɹɹɹɹɹɹ͸Έͨ͢ͱԾఆͯ͠ɺ /FHBICBO3BWJLVNBS8BJOXSJHIU:VͷఆཧΛߟ͑·͢ɻਖ਼ଇԽύϥϝʔλͷ ৚͔݅Βɺগͳ͘ͱ΋֬཰ Ͱਪఆྔʹؔ͢ΔఆཧͷධՁΛಘΔɻҎ্ͰఆཧΛূ໌Ͱ͖ͨɻ ||Xv|| 2
n ≥ 1 4 ( 1 − 36 log(d) n ||v|| 1 ||v|| 2 ) v ∈ C(8 n/(c log d)) 1 − c exp(−c′n) n ≥ ck log(d) P [ ||XTϵ|| ∞ ≤ 8σ2n log(d)] ≥ 1 − 1 d − exp (− n 2 )

ࢀߟจݙ <>3BTLVUUJ8BJOXSJHIU:V .JOJNBYSBUFTPGFTUJNBUJPOGPSIJHI EJNFOTJPOBMMJOFBSSFHSFTTJPOPWFSMRCBMMT *&&&5SBOTBDUJPO PO*OGPSNBUJPO5IFPSZ <>/FHBICBO3BWJLVNBS8BJOXSJHIU:V "6OJpFE'SBNFXPSLGPS )JHI%JNFOTJPOBM"OBMZTJTPG.&TUJNBUPSTXJUI%FDPNQPTBCMF
3FHVMBSJ[FST 4UBUJTUJDBM4DJFODF 7PM /P <>෌Ԭ྄ଠ εύʔεੑʹجͮ͘ػցֶश ػցֶशϓϩϑΣογϣφϧ γϦʔζ ߨஊࣾ

高次元データに対するL1正則化の有効性

高次元データに対するL1正則化の有効性

Takayuki Uchiba

More Decks by Takayuki Uchiba

Other Decks in Technology

Featured

Transcript

ߴ࣍ݩσʔλʹର͢Δ-ਖ਼ଇԽͷ༗ޮੑ !VUBLB ػցֶशͷ਺ཧ"EWFOU$BMFOEBS

ূ໌ͷͨΊͷ४උ Ωʔϫʔυɿ੍ݶڧತੑ 34$DPOEJUJPO αΠζɹɹͷߦྻ9ʹରͯ͠ɺू߹$ S Λ࣍ͷΑ͏ʹఆٛ͠·͢ɻ ਖ਼ͷఆ਺ɹ͕ଘࡏͯ͠ɺ೚ҙͷ$ S ͷݩ϶ʹରͯ͠ҎԼͷෆ౳ࣜ

ศརͳෆ౳ࣜ ิ୊ɿ<3BTLVUUJ8BJOXSJHIU:V 1SPQPTJUJPO> αΠζɹɹͷߦྻ9ͷ֤ߦ͕ಠཱʹଟมྔਖ਼ن෼෍/ Є ʹैͬͯಘΒΕΔͱ͖ ਖ਼ͷఆ਺D D`͕ଘࡏͯ͠ɺ೚ҙͷE࣍ݩϕΫτϧWʹରͯ͠গͳ͘ͱ΋֬཰

ࢀߟจݙ <>3BTLVUUJ8BJOXSJHIU:V .JOJNBYSBUFTPGFTUJNBUJPOGPSIJHI EJNFOTJPOBMMJOFBSSFHSFTTJPOPWFSMRCBMMT &&&5SBOTBDUJPO POOGPSNBUJPO5IFPSZ <>/FHBICBO3BWJLVNBS8BJOXSJHIU:V "6OJpFE'SBNFXPSLGPS )JHI%JNFOTJPOBM"OBMZTJTPG.&TUJNBUPSTXJUI%FDPNQPTBCMF