20190223_nlpaperchallenge_CV_4.3to5.5

Transcript

1. ୈ2ճ nlpaper.challenge NLP/CV ަྲྀษڧձ ը૾ೝࣝ ୈ4.3ষ~ୈ5.5ষ 20190223 Yohei KIKUTA

2. ࣗݾ঺հ • Twitter ID @yohei_kikuta • Resume • ࠷ۙୀ৬ͯ͠ແ৬ʹͳΓ·ͨ͠
 ϒϩάΤϯτϦ


   ແ৬ͱ࿩ͯ͠Έ͍ͨਓ͸͓੠͕͚͍ͩ͘͞ʂ
 ΫοΫύουྑ͍ձࣾͳͷͰస৬͍ͨ͠ਓ͸ͥͻͲ͏ͧʂ

3. ଟ༷ମֶश͚ͩৄ͘͠΍Γ·͢ • ը૾ೝࣝ ຊͷ 4.3~5.5 Λൃද • ہॴಛ௃ʹؔͯ͠͸͔ͳΓߴີ౓Ͱ࣌ؒ಺ʹ࿩͖͠Εͳ͍
 ଟ༷ମֶश
 Χʔωϧؔ਺ۙࣅʢಛʹͦͷͨΊͷجૅ஌͕ࣝॏ͍ʣ


   ͦͷ΄͔༷ʑͳ࿩୊ • શମͷ·ͱΊͱུ֓Λہॴಛ௃ͷ෦෼Λܰ͘આ໌ͨ͠ޙɺଟ ༷ମֶशΛ΍΍ৄ͘͠આ໌
 Q. ͳͥଟ༷ମֶशͳͷ͔ʁ
 A. ࣗ෼͕গ͠ਅ໘໨ʹษڧͯ͠Έ͔͔ͨͬͨΒ

4. 4.3~4.6 ͷ·ͱΊ ہॴಛ௃ͰࣦΘΕۭͨؒ৘ใΛ෇༩ͨ͠Γ΋͢Δʢ4.6ʣ

5. 5.1~5.5 ͷ·ͱΊ ʢ֬཰తʣޯ഑߱Լ๏΍χϡʔτϯ๏Ͱύϥϝλ w Λֶश

6. ہॴಛ௃Λ༻͍ͨ࠶ߏங ͜Ε͸݁ہͲͷล͕ଟ༷ମͳͷ͔ʁ
 ͱ͍͏੠͕ฉ͖͑ͯͦ͜͏͕ͩɺͦΕ͸ޙͰগ͠ৄ͘͠આ໌

7. ಛ௃ࣸ૾ʹΑΔΧʔωϧͷۙࣅ ػցֶशʹଌ౓࿦͍Δͷʁͱ͍͏ٙ໰Λ࣋ͭਓ͸
 Mercer’s theorem ͱ͔ Bochner’s theorem ͱ͔Λݟ·͠ΐ͏

8. ۭؒ৘ใͷ׆༻ • ϓʔϦϯάʹΑࣦͬͯΘΕΔҐஔ৘ใΛखͰՃ͑Δ • ہॴهड़ࢠͷҐஔ΍εέʔϧΛՃ͑Δ • ہॴهड़ࢠͷࣗݾ૬ؔߦྻͷཁૉΛՃ͑Δ • spatial pyramid

   ͸ϓʔϦϯάޙͷಛ௃ʹۭؒ৘ใΛ෇༩

9. ଟ༷ମֶश ଟ༷ମֶशʹ஫໨ͯ͠গ͠ৄ͘͠આ໌͢Δʢݸਓతڵຯʣ આ໌͢Δͷ͸ҎԼͷτϐοΫɿ • ͦ΋ͦ΋ଟ༷ମͱ͸ʁʢ਺ֶతʹݫີͳ࿩͸͠ͳ͍ʣ • ଟ༷ମֶशʹࢸΔϞνϕʔγϣϯ • Ұͭͷྫͱͯ͠ہॴ࠲ඪ coding

   ͷվળͷ࿦จΛ঺հ
 [140] K. Yu, T. Zhang. Improved local coordinate coding using local tangents. In ICML, 2010.

10. ଟ༷ମͱ͸ʁ ہॴతʹ Euclid ۭؒͰهड़Ͱ͖Δ஍ਤΛషΓ߹ΘͤͯදͤΔ෺ ྫʣ஍ද໘Λߟ͑Δ
 ※ Φ ͱ Θ ͚ͩͰ͸࠲ඪܥ͸షΓ͖Εͳ͍ʢ׬શͳٿͰ͸ͳ͍ʣ


    ہॴతʢզʑͷ೔ৗεέʔϧʣʹ͸ Euclid ࠲ඪͰهड़Ͱ͖Δ
 ͦͷ࠲ඪΛషΓ߹ΘͤΕ͹஍ද໘શମΛΧόʔͰ͖Δ
 
 
 
 
 
 ͦͷΑ͏ͳషΓ߹Θͤͷ৘ใͰ 3 ࣍ݩͷ஍ٿͷ৘ใ΋ٞ࿦Մ

11. ଟ༷ମͱ͸ʁ σʔλͷॅΉۭؒ΋ಉ͡Α͏ͳ΋ͷͩͱ૝૾͞ΕΔ ͜ͷΑ͏ͳঢ়گͰ͸ɺྫ͑͹ೋ఺ؒͷڑ཭ΛଌΔͱ͖ʹߴ࣍ݩۭ ؒͰͷ Euclid ڑ཭͸ෆద੾͔΋͠Εͳ͍
 → ଟ༷ମʹԊͬͯڑ཭ΛଌΔํ͕ੑ࣭Λଊ͑ΒΕͦ͏ʢଌ஍ઢʣ
 → ৘ใزԿʹ͓͚Δࣗવޯ഑๏ͳͲ͸͜ΕΛ࢖͍ͬͯΔ

12. ଟ༷ମֶशʹࢸΔಈػ • ࣍ݩͷढ͍ͷճආ
 ྫʣσʔλେྔʹ͋Ε͹ kNN Ͱ͍͍͡ΌΜ → μϝͰ͢ • σʔλͷ༗͢Δಛ௃ΛΑΓྑ͘೺Ѳ


    ઌ΄ͲͷྫͷΑ͏ʹ୯ͳΔ Euclid ڑ཭͕ෆద੾͔΋͠Εͳ͍
 ྫʣࣗવޯ഑๏ɺt-SNE • ༷ʑͳΞϓϩʔν͔Β৽ͨͳ஌ݟ͕ಘΒΕΔ͔΋
 ඍ෼زԿతͳΞϓϩʔνʢہॴతʣˠ େମͷ࿩͸ͬͪ͜
 Ґ૬زԿతͳΞϓϩʔνʢେҬతʣˠ ࠓ೔͸৮Εͳ͍

13. ʢิ଍ʣ࣍ݩͷढ͍ • ಛ௃ྔͷ࣍ݩ͕େ͖͗͢Δ৔߹
 Ϟσϧ͕ෳࡶ͗ͯ͢ద੾ʹֶशͰ͖ͳ͍ • σʔλۭؒͷ࣍ݩ͕େ͖͗͢Δ৔߹
 ྫͱͯ͠ΫϥελϦϯάΛߟ͑Δ
 ٿ໘ूதݱ৅ʹΑΓɺҟͳΔ఺ؒͷڑ཭͕౳͘͠ͳ͍ͬͯ͘
 ݁Ռͱͯ͠఺ A

    ͔Βݟͯ఺ B ΋఺ C ΋΄΅ಉ͡Ͱ۠ผෆՄ
 
 
 
 
 ʢ࣍ݩͷढ͍ͷ࿩୊͸ ͸͡Ίͯͷύλʔϯೝࣝ ͕ৄ͍͠ʣ

14. ଟ༷ମֶशͷྫ ہॴ࠲ඪ coding Λվળ͢Δ͜ͱΛߟ͑Δ K. Yu, T. Zhang. Improved local

    coordinate coding using local tangents. In ICML, 2010. ࠷ऴతͳ໨ඪ͸σʔλ͕੒͢ଟ༷ମͷ಺ࡏతͳ࣍ݩʢPCA Ͱٻ ΊΔʣΛߟྀ͠ɺͦͷ৘ใΛ࢖ͬͯ coding Λิਖ਼

15. ४උ

16. ہॴ࠲ඪ coding ʹΑΔۙࣅ

17. (4.79) ࣜͷূ໌

18. ہॴ࠲ඪ coding ͷֶश๏

19. ֦ுہॴ࠲ඪ coding

20. σʔλଟ༷ମͷఆٛ

21. ہॴಛ௃ coding with u ূ໌ུʢઌ΄Ͳͷূ໌͕෼͔ͬͯΕ͹೉͘͠ͳ͍ʣ
 u ͸ (local) PCA ͳͲͰٻΊɺm

    ͸खͰܾΊΔύϥϝλ
 c(M) ͸ؔ਺ʹ͓͚ΔϦϓγοπఆ਺ʹ૬౰
 ॏཁͳͷ͸ c(M) ͕খ͍͞৔߹ʹ bound ͕Ωπ͘ͳΔͱ͍͏͜ͱ
 → ͜Ε͸খ͞ͳྖҬͰ͸σʔλଟ༷ମ͕ flat ͳߏ଄Ͱ͋Δ৔߹
 → “ఆੑత” ͳԾఆͰ flat Ͱͳͯ͘΋༗ޮͳ৔߹΋͋ΓಘΔ

22. ֶशΞϧΰϦζϜ ࿦จͷΞϧΰϦζϜࡌͤΔʢs, m ͸ hyperparameterʣ

23. ࣮ݧ݁ՌɿMNIST Cross validation ʹΑΓ s = 0, m = 64

    ୯७ͳہॴಛ௃ coding ͱൺ΂Δͱ anchor ਺͕গͳͯ͘΋ྑ͍

24. ࣮ݧ݁ՌɿCIFAR10 Cross validation ʹΑΓ s = 10, m = 256

    ͪ͜Β΋ anchor ਺͕গͳͯ͘΋ྑ͍݁ՌΛ͍ࣔͯ͠Δ

25. ଟ༷ମֶश͸໾ʹཱͭ • σʔλͷߏ଄Λ͏·͘ଊ͑ͯ༗༻ͳಛ௃ྔΛ࡞Εͨ • ہॴੑʹ஫໨Λ͠ͳ͕Βߴ࣍ݩ৘ใΛ௿࣍ݩͰۙࣅ • ࣮ࡍʹࣝผੑೳ͕޲্ • σΟʔϓϥʔχϯάͰ΋ଟ༷ମֶश͸ڵຯਂ͍τϐοΫ
 ৘ใزԿ


    ϦʔϚϯଟ༷ମ্ͰֶशΛఆࣜԽ
 …

26. 4.3~4.6 ͷ·ͱΊʢ࠶ܝʣ ہॴಛ௃ͰࣦΘΕۭͨؒ৘ใΛ෇༩ͨ͠Γ΋͢Δʢ4.6ʣ