SCAN

"SCAN: Learning Abstract Hierarchical Compositional Visual Concepts"
について

Transcript

1. 4$"/ OBSSBUJWF
   OJHIUTגࣜձࣾ
   ࡾ޷߁༞ 
   શ೴ΞʔΩςΫνϟ։ൃ෦Φϑձ
2. ͱΓ͋͛Δ࿦จ SCAN: Learning Abstract Hierarchical Compositional Visual Concepts
 Irina Higgins, Nicolas Sonnerat, Loic Matthey, Arka Pal, Christopher P Burgess, Matthew Botvinick, Demis Hassabis, Alexander Lerchner
 DeepMind 2017 ཧղΛਂΊΔࣄΛ໨తͱ࣮ͯ͠૷͓Αͼ؆୯ͳ࣮ݧΛߦ͍·ͨ͠
   IUUQTHJUIVCDPNNJZPTVEBTDBO
3. ࿦จͷϞνϕʔγϣϯ w γϯϘϧͱը૾ͷ૬ޓม׵Λߦ͍͍ͨ
   w γϯϘϧͱը૾ͷ݁ͼ͚ͭΛগྔͷϖΞͰߦ͍͍ͨ
   w ֓೦ؒͷ֊૚ؔ܎Λѻ͍͍ͨ
 ΑΓந৅తͳ֓೦
   
   ΑΓ۩ମతͳ֓೦
   w ֓೦ͱ֓೦ؒͷԋࢉΛѻ͍͍ͨ
 FY
   ΢Ϛͱࣶ໛༷Λ͋ΘͤΔͱγϚ΢Ϛʹ
4. 4$"/ֶशͷྲྀΕ  ը૾ͷ%JTFOUBOHMFදݱֶश
   ڭࢣͳֶ͠श
    ը૾ͱγϯϘϧͷ݁ͼ͚ͭ
    ίϯηϓτͱίϯηϓτͷԋࢉֶश
5. ը૾ͷ%JTFOUBOHMFදݱֶश
6. %JTFOUBOHMFNFOU ղ͖΄͙͠ ը૾ͷߏ੒ཁૉΛղ͖΄͙͞Εͨঢ়ଶͰදݱ͍ͨ͠
7. σʔληοτ นΧϥʔ
   ৭ύλʔϯ চΧϥʔ
   ৭ύλʔϯ w 0CKΧϥʔ
   ৭ύλʔϯ
   w 0CKλΠϓ
   छྨ
 ๧ࢠɺΞΠεΩϟϯσΟʔɺεʔπέʔε
   w ճస
   લޙҐஔΛ֤ը૾͝ͱʹϥϯμϜʹ
 w YYYຕը૾Λ༻ҙ
   w ࣮ࡍͷ࿦จͷ΋ͷ͸ɺϥΠςΟϯά΍Χϝϥ֯౓ͳͲͷόϦΤʔγϣϯ͕΋ͬͱଟ͍ͷͰ
 ຊ࣮ݧͷ΋ͷ͸όϦΤʔγϣϯ͕؆ུԽ͞Ε͍ͯΔ

8. 7BSJBUJPOBM
   "VUPFODPEFS
9. *OQVUͱ0VUQVUΛ͚ۙͮΔ Ж МͰ࡞ΒΕΔ෼෍ʹର͢ΔറΓ
10. Ж М ฏۉɺ෼ࢄͷਖ਼ن෼෍ʹ͚ۙͮΔΑ͏ͳਖ਼ଇԽ
11. Ќ7"&
12. ΑΓજࡏม਺ͷ෼෍ʹର͢Δ੍໿Λڧ͘͢Δ
13. Ж М ЌΛେ͖͘͢Δ͜ͱʹΑΓ
 ฏۉɺ෼ࢄͷਖ਼ن෼෍
    N(0, I) ʹ
 ͚ۙͮΔΑ͏ͳ੍໿͕ΑΓڧ͘ͳΔ
14. w q(z|x)͕N(0, I)ʹ׬શʹҰக͢Δͱ࠶ߏ੒Ͱ͖ͳ͘ͳΔ
    w ࠶ߏ੒Ͱ͖Δͷʹඞཁͳ৘ใΪϦΪϦ·ͰߜΔ
    w ͢Δͱ֤જࡏม਺z͕ɺนͷ৭ɺচͷ৭ɺΦϒδΣΫτͷ৭ɺFUDʜͱ
 ͍֤ͬͨύϥϝʔλ͝ͱʹ෼཭͞Εͯ͘Δ
    %JTFOUBOHMFNFOU ЌΛେ͖ͯ͘͘͠
15. นΧϥʔ চΧϥʔ 0CKΧϥʔ 0CKλΠϓ
16. Ќ7"&ͷ%JTFOUBOHMF݁Ռ 0CKλΠϓ 0CKҐஔ
 0CKλΠϓ΋ นΧϥʔ 0CKΧϥʔ চΧϥʔ ΦϒδΣΫτͷҐஔ લޙҐஔ ͱɺΦϒδΣΫτͷλΠϓ͕
 গࠞͬͯ͟͠͠·͍ͬͯΔ &OUBOHMF͞Ε͍ͯΔ ͕ɺଞͷ͓͓ΉͶ៉ྷʹ෼཭Ͱ͖͍ͯΔ
17. w 7"&ͷЌΛେ͖͘͢Δͱɺ࠶ߏ੒͕೉͘͠ͳͬͨΓɺ࠶ߏ੒݁Ռ͕΅΍͚ͨΓ͢Δ
 ϐΫηϧ୯ҐͰͷೋ৐ޡࠩܭࢉͳͲʹىҼ
    w 4$"/Ͱ͸ɺ࠶ߏ੒ޡࠩͷܭࢉ༻ʹผ్%FOPJTJOH
    "VUPFODPEFS %"& Λ༻ҙ͢Δ
18. %"& w Ұ෦ΛϚεΫͨ͠ը૾͔Βݩͷը૾Λ෮ݩ
    w Ќ7"&ͷֶशΑΓઌʹֶश͓ͯ͘͠
19. ࠶ߏ੒ޡࠩΛ%"&ͷதؒ૚ͰऔΔ
    ϐΫηϧ୯Ґͷޡࠩܭࢉͷ୅ΘΓʹ'FBUVSFͰͷޡࠩܭࢉΛߦ͏
20. %JTFOUBOHMFNFOUʹ͍ͭͯ
21. นΧϥʔ চΧϥʔ 0CKλΠϓ Կ΋ͳ͠ w ݸ ࣍ݩ ͋Δજࡏม਺[ͷ͏ͪɺҙຯ͕औΕΔ͸ݸͱͳͬͨ
    w ҙຯ͕ͱΕͨ[ͷ෼ࢄ͸খ͘͞ɺҙຯ͕ͱΕͳ͔ͬͨ[ͷ෼෍͸΄΅N(0,I)ͱͳΔ
22. ྫ
    ෼ࢄ͕খ͍͞෼෍ͷฏۉ͕มԽ͢Δ͜ͱͰ
    0CKΧϥʔͷมԽΛදݱ͍ͯ͠Δ
23. ٯʹҙຯ͕औΕ͍ͯΔજࡏม਺ʹେ͖͍෼ࢄΛ༩͑Δͱ
 ʮ0CKΧϥʔʹؔͯ͠ಛʹܾ·͍ͬͯͳ͍ʯ
 ͳͲͱ͍͏ͷΛදݱ͍ͯ͠Δ͜ͱʹͳΔ
24. ը૾ͱγϯϘϧͷ݁ͼ͚ͭ
25. γϯϘϧΛ࣍ݩͷ,IPUϕΫτϧͰදݱ͢Δ ݩ࿦จͰ͸ɺ࣍ݩͰදݱ͍͕ͯͨ͠ࠓճ͸؆ུԽͨ͠
27. ,-
28. ,- γϯϘϧ͔Β
 Πϝʔδ΁ͷม׵
29. นΧϥʔന
    ͷΈΛࢦఆ นΧϥʔനɺচΧϥʔന
    ͷΈΛࢦఆ นΧϥʔനɺচΧϥʔനɺ0CKΧϥʔന
    Λࢦఆ นΧϥʔനɺচΧϥʔനɺ0CKΧϥʔനɺ0CKλΠϓΞΠεΩϟϯσΟʔ
30. ۩ମతίϯηϓτ ந৅తίϯηϓτ ܾ·͍ͬͯΔ ಛʹܾ·͍ͬͯͳ͍
31. ۩ମతίϯηϓτ ந৅తίϯηϓτ ಈ෺ ΢Ϛ ͠·͠·ͷ΢Ϛ খ͞ͳ͠·͠·ͷ΢Ϛ ಈ෺ʹ͓͖͔͑Δͱ
32. ,- Πϝʔδ͔Β
 γϯϘϧ΁ͷม׵
33. w นΧϥʔ
    
    ന
    w চΧϥʔ
    
    ന
    w 0CKΧϥʔ
    
    ന
    w 0CKλΠϓ
    
    ΞΠεΩϟϯσΟʔ *OQVU 0VUQVU w นΧϥʔ
    
    ೱԫ৭
    w 0CKΧϥʔ
    
    ࢵ
    ਖ਼ղ͸੺
    w 0CKλΠϓ
    
    ๧ࢠ
34. ίϯηϓτͱίϯηϓτͷԋࢉֶश
35. ໛༷
    
    ͠·͠· ಈ෺ͷछྨ
    
    ΢Ϛ ΢Ϛ ͠·໛༷ ಈ෺ͷछྨ
    
    ΢Ϛ
 ໛༷
    
    
    
    
    
    
    
    
    
    
    ͠·͠· "/% ࠞͥΔͱʁ
36. */
    $0..0/ ಈ෺ͷछྨ
    
    ΢Ϛ
 ໛༷
    
    
    
    
    
    
    
    
    
    
    ͠·͠· γϚ΢Ϛ γϚϦε ڞ௨఺ʁ ໛༷
    
    ͠·͠· ಈ෺ͷछྨ
    
    Ϧε
 ໛༷
    
    
    
    
    
    
    
    
    
    
    ͠·͠·
37. γϚ΢Ϛ ͠·໛༷ ڞ௨఺ΛҾ͘ͱʁ ಈ෺ͷछྨ
    
    ΢Ϛ
 ໛༷
    
    
    
    
    
    
    
    
    
    
    ͠·͠· ໛༷
    
    ͠·͠· ಈ෺ͷछྨ
    
    ΢Ϛ *(/03&
38. ͜ͷԋࢉͷֶशΛߟ͑Δɻ
 ࠓճͷσʔληοτʹஔ͖׵͑Δͱ
39. চΧϥʔ
    
    ੺ นΧϥʔ
    
    ന $0/$&15
     $0/$&15
     "/% ࠞͥΔͱʁ นΧϥʔ
    
    ന
 চΧϥʔ
    
    ੺
40. */
    $0..0/ $0/$&15
     $0/$&15
     ڞ௨఺ʁ นΧϥʔ
    
    ന
 চΧϥʔ
    
    ੺ นΧϥʔ
    
    ന
 চΧϥʔ
    
    ੨ นΧϥʔ
    
    ന
41. চΧϥʔ
    
    ੺ นΧϥʔ
    
    ന $0/$&15
     $0/$&15
     ڞ௨఺ΛҾ͘ͱʁ *(/03& นΧϥʔ
    
    ന
 চΧϥʔ
    
    ੺
42. ,- $0/$&15
     $0/$&15
    
43. */
    $0..0/ *(/03& "/%
44. Ж М М Ж Ж М М Ж Ж М М Ж Ж М М Ж Ж М М Ж Ж М М Ж М Ж М Ж М Ж М Ж М Ж М Ж $0/$&15
     $0/$&15
     ԋࢉޙͷ
 $0/$&15 w XJEUI
    TUSJEFͷ࣍ݩ৞ΈࠐΈ૚Λͭ࿈Ͷ࣮ͯ૷ͨ͠
    w જࡏม਺͕֤࣍ݩຖʹ%JTFOUBOHMF͞Ε͍ͯΔͷͰɺ'$ͷ༷ͳ࣍ݩΛ·͙༷ͨͳ
 ॲཧ͕ඞཁ͕ͳ͘ɺ֤࣍ݩ͝ͱʹಉ͡ॲཧ͕͞ΕΕ͹Α͍
45. w ࠷ॳڭࢣσʔλΛը૾σʔλʹͯ͠Έ͕ͨɺֶश͕೉͔ͬͨ͠ͷͰɺڭࢣσʔλΛγϯϘϧʹͨ͠Β
 ֶश͕؆୯ʹͳͬͨɻ্ه͸ͦͷ݁Ռɻ
 ը૾͸ɺը૾಺ͷͲͷ৘ใ͕ڭࢣσʔλʹ֘౰͢Δ͔ɺ͕Θ͔Γʹ͍͘ͷͰ೉͍͠ 0CKΧϥʔന
    "/%
    นΧϥʔന 0CKΧϥʔന
    0CKλΠϓʹΞΠε
    */@$0..0/
    0CKΧϥʔʹന
    นΧϥʔന ֶशޙͷԋࢉ݁Ռ 0CKΧϥʔന
    นΧϥʔʹന
    *(/03&
    0CKΧϥʔʹന 0CKΧϥʔʹന͕ਖ਼ղ นΧϥʔʹന͕ਖ਼ղ 0CKΧϥʔʹന͔ͭนΧϥʔനͳͷ͕ਖ਼ղ
46. IUUQTHJUIVCDPNNJZPTVEBTDBO 4PVSDF
47. w /55ɹࢁాਅಙ͞Μ ँࣙ