カーネル法概観

Transcript

1. Χʔωϧ๏ ͳͥΧʔωϧΛܭࢉ͢Δ͜ͱ͕ߴ࣍ݩͰͷ಺ੵʹ૬౰͢Δͷ͔ Daiki Tanaka

2. Χʔωϧ ࠶ੜ֩ώϧϕϧτۭؒ ώϧϕϧτۭؒ ࠶ੜ֩ ΧʔωϧτϦοΫ 2

3. ࣮Χʔωϧ ू߹ X ʹ͍ͭͯɺ࣮Χʔωϧͱ͸ࣸ૾ X ˆ X ! R Ͱ͋Δɻ

   ࣮Χʔωϧɿू߹͔Β 2 ͭཁૉΛ౉͢ͱɺԿ͔ͷ࣮਺Λฦؔ͢਺ 3

4. ώϧϕϧτۭؒ ఆٛɿίʔγʔྻ ϕΫτϧۭؒ X ͷ఺ྻ (xn)1 n=1 ͕ lim n;m!1

   kxm ` xnk = 0 (1) Ͱ͋Δ࣌ɺίʔγʔྻͰ͋Δͱ͍͏ɻ ఆٛɿόφοϋۭؒ ϕΫτϧۭؒ X ͷ೚ҙͷίʔγʔྻ (xn)1 n=1 ʹରͯ͠ɺ lim n!1 kxn ` xk = 0 ͢ͳΘͪ lim n!1 kxnk = x (2) ͱͳΔ x 2 X ͕อূ͞ΕΔ࣌ɺX ͸׬උͰ͋ΔͱݺͿɻ׬උͳϊϧϜۭؒΛόφοϋۭؒ ͱݺͿɻ ఆٛɿώϧϕϧτۭؒ ׬උͳ಺ੵۭؒ (಺ੵʹΑͬͯ༠ಋ͞ΕΔϊϧϜۭؒ) ΛώϧϕϧτۭؒͱݺͿɻ ώϧϕϧτۭؒɿ಺ੵ͕ఆٛ͞Ε͍ͯΔ͔ͭ೚ҙͷίʔγʔྻͷऩଋઌ͕தʹ͋ΔΑ͏ͳ ۭؒ 4

5. ࠶ੜੑ ҎԼͰ͸ώϧϕϧτۭ͕࣮ؒ਺ମ R ্Ͱఆٛ͞Ε͍ͯΔͱ͠ɺH Ͱఆٛ͞ΕΔ಺ੵΛ h´; ´iH Ͱද͢ɻ ఆٛɿ࠶ੜ֩ώϧϕϧτۭؒ ू߹

   X ্ͷ࠶ੜ֩ώϧϕϧτۭؒ (Reproducing Kernrl Hilbert Space, RKHS) ͱ ͸ɺX ্ͷؔ਺͔ΒͳΔώϧϕϧτۭؒ H Ͱɺ೚ҙͷ x 2 X ʹରͯ͋͠Δؔ਺ kx 2 H : X ! R ͕ଘࡏͯ͠ɺҎԼͷ࠶ੜੑΛຬͨ͢෺Λ͍͏ɻ hf; kxiH = f (x) (8f 2 H : X ! R) (3) ·ͣ x ͕༩͑ΒΕͯɺH ͷதͷ೚ҙͷؔ਺ f ʹରͯ͠ɺͦΕͧΕͷ x ʹ্͍ͭͯهΛຬͨ ؔ͢਺ kx ͕ଘࡏ͢Δɺͱ͍͏Πϝʔδ ࠶ੜ֩ ্هͷఆٛͷ kx ʹରͯ͠ɺk (y; x) = kx (y) ʹΑͬͯఆ·ΔΧʔωϧ k : X ˆ X ! R Λ࠶ੜ֩ͱݺͿɻ 5

6. ࠶ੜ֩ͷੑ࣭ ໋୊ 1 X ্ͷ RKHS ͷ࠶ੜ֩ k ͸ɺX ্ͷਖ਼ఆ஋ΧʔωϧͰ͋ΓɺRKHS

   ͷ࠶ੜ֩ k ͸ͨͩ Ұͭଘࡏ͢Δɻ ఆཧ 1ɿMoore-Aronszajn ू߹ X ্ͷਖ਼ఆ஋Χʔωϧ k ʹର͠ɺX ্ͷ RKHSH ͰҎԼͷ 3 ͭͷ৚݅Λຬͨ͢෺ ͕ͨͩҰͭଘࡏ͢Δɻ (1) ೚ҙͷ x 2 X ʹରͯ͠ k (´; x) 2 H (2) Spanfk (´; x) j x 2 Xg ͸ H ಺Ͱ᜚ີ (3) k ͸ H ͷ࠶ੜ֩Ͱ͋Δɻ͢ͳΘͪɺ hf; k (´; x)iH = f (x) (8x 2 X; 8f 2 H) ໋୊ 1 ͱఆཧ 1 Λ߹ΘͤΔͱɺू߹ X ্ͷਖ਼ఆ஋Χʔωϧͱ RKHS ͸ 1 ର 1 ͰରԠ͠ɺ ਖ਼ఆ஋Χʔωϧ͕ RKHS ʹରԠ͢Δ͜ͱ͕Θ͔Δɻ 6

7. ΧʔωϧτϦοΫɿΧʔωϧͱ RKHS ͷؔ܎ ू߹ X ্ʹ࣮ਖ਼ఆ஋Χʔωϧ k ͕༩͑ΒΕɺରԠ͢Δ RKHS(ؔ਺Λཁૉͱͯ͠΋ۭͭ ؒ)

   Λ Hk ͱ͢ΔɻX ͔Β Hk ΁ͷࣸ૾ ˘ : X ! Hk Λ x 7! k (´; x) (4) ʹΑͬͯఆٛ͢Δɻ͢Δͱɺ࠶ੜੑͷఆ͔ٛΒɺ h˘ (x) ; ˘ (y)iHk = (˘ (x)) (y) = k (x; y) (5) ͜Ε͕·͞ʹΧʔωϧ๏ͷཁͱͳΔ࢓૊Έʹͳ͍ͬͯͯɺΧʔωϧτϦοΫͱݺ͹ΕΔɻ Χʔωϧ k Ͱܭࢉͨ͠஋ (k (x; y)) ͸ k ʹରԠ͢Δ RKHS(ߴ࣍ݩ) Ͱɺؔ਺ؒͷ಺ੵ Λͱ͍ͬͯΔ͜ͱʹ૬౰͢Δɻؔ਺ؒͷ಺ੵͱ͸ྫ͑͹ɿ Z 1 `1 f (x) g (x) dx (6) 7