Hubness and Pollution: Delving into Cross-Space Mapping for Zero-Shot Learning

Angeliki Lazaridou, Georgiana Dinu, Marco Baroni. Hubness and Pollution: Delving into Cross-Space Mapping for Zero-Shot Learning. ACL-IJCNLP 2015.

を第7回最先端 NLP 勉強会で発表したときのスライドです。

http://www.logos.t.u-tokyo.ac.jp/snlp7/

Transcript

1. )VCOFTT
   BOE
   1PMMVUJPO
   %FMWJOH
   JOUP
   $SPTT4QBDF
   .BQQJOH
   GPS
   ;FSP4IPU
   -FBSOJOH "OHFMJLJ
   -B[BSJEPV
   (FPSHJBOB
   %JOV
   .BSDP
   #BSPOJ
   "$-*+$/-1
   ʢਤදɾࣜ͸͜ͷ࿦จΑΓҾ༻ʣ ൃදऀ
   খொकʢट౎େֶ౦ژʣ
   LPNBDIJ!UNVBDKQ
   ୈճ࠷ઌ୺
   /-1
   ษڧձ!4NBSU/FXT
   "VHVTU
   UI
    
2. ͨ͘͞Μϥϕϧ͕͋Δ৔߹
   ;ͭ͏ͷڭࢣ͋Γֶश͸ݫ͍͠ w ;ͭ͏ͷڭࢣ͋Γֶश
 Y
   Z 
   Y
   ͕ૉੑϕΫτϧɺZ
   ͕ϥϕϧ
 ˠϥϕϧؒʹؔ܎͕ͳ͘ɺϥϕϧू߹͕ڊେͳ ͱ͖ʹΞϊςʔγϣϯ͕εέʔϧ͠ͳ͍  Πψ ΞϝϦΧ ຊ ं ωί ʜ
3. ͦ͜Ͱ
   ;FSPTIPU
   MFBSOJOH w ;FSPTIPU
   MFBSOJOH
 Y
   Z 
   Z
   ͸୯ޠʢ΍ϑϨʔζʣͰɺϥϕϧؒʹؔ ܎͕͋ΔͷͰɺ෼෍ྨࣅ౓Λ༻͍ͯϥϕϧͷҙ ຯۭؒΛਪఆ͢Δ͜ͱͰղܾ  ωί ʜ Πψ ΞϝϦΧ ຊ ं
4. ;FSPTIPU
   MFBSOJOH
   ͸
   ͲͷΑ͏ʹֶश͢Δʁ w ;ͭ͏ͷڭࢣ͋Γֶश
 ˠೖྗͷૉੑۭ͔ؒΒ૬ޓʹແؔ܎ͳϥϕϧΛ ༧ଌ͢Δؔ਺ΛٻΊΔ  Πψ ΞϝϦΧ ຊ ं ωί ʜ
5. ;FSPTIPU
   MFBSOJOH
   ͸
   ͲͷΑ͏ʹֶश͢Δʁ w ;FSPTIPU
   MFBSOJOH
 ˠೖྗͷૉੑۭؒͷϕΫτϧ͔Β෼෍ྨࣅ౓Ͱ ٻΊͨҙຯۭؒͰରԠ͢Δ୯ޠϥϕϧʹϚοϓ ͢Δؔ਺ʢDSPTT
   TQBDF
   NBQQJOHʣΛٻΊΔ  ωί Πψ ΞϝϦΧ ຊ ं ҙຯۭؒͰ
   ࠷ۙ๣ͷ୯ޠ
   ͷϥϕϧ
6. ෼෍ྨࣅ౓Λ༻͍ͨ
   
   ;FSPTIPU
   -FBSOJOH
   λεΫ w ೴৴߸ͷσίʔυʢ;4-
   ͷ࠷ॳͷݚڀʣ
 .JUDIFMM
   FU
   BM
   
   w ը૾ϥϕϦϯάʢΫϩεϞʔμϧʣ
 'SPNF
   FU
   BM
   
   -B[BSJEPV
   FU
   BM
   
   4PDIFS
   FU
   BM
   
   w ର༁ࣙॻɾϑϨʔζςʔϒϧߏஙʢݴޠԣஅʣ
 %JOV
   BOE
   #BSPOJ
   
   .JLPMPW
   FU
   BM
    
7. ຊݚڀͷओཁͳߩݙ w ;FSPTIPU
   MFBSOJOH
   ʹ͓͚ΔઢܗͷΫϩεϞʔ μϧϚοϐϯάؔ਺ͷੑ࣭ʹ͍ͭͯߟ࡯
   w ৐ޡࠩ࠷খ๏Ͱ͸ʮϋϒʯ͕ग़ݱʂ
   ‎ Ϛʔδϯ࠷େϥϯΩϯάϩεؔ਺Ͱվળ 
8. ຊݚڀͷओཁͳߩݙ  w ;FSPTIPU
   MFBSOJOH
   ʹ͓͚ΔઢܗͷΫϩεϞʔ μϧϚοϐϯάؔ਺ͷੑ࣭ʹ͍ͭͯߟ࡯
   w ΫϩεϞʔμϧͰ͸Ԛછʢաֶशʣ͕ग़ݱʂ
   ‎ ࣗݾֶशʹΑΔσʔλ֦ுͰվળ ͨͩ͠ෛྫΛ͏·͘
   બͿඞཁ͕͋Δ
9. ۭؒԣஅϚοϓֶशʹ͓͚Δ ϩʔυϚοϓ  ද
   
   ຊݚڀͷఏҊख๏ʹΑΔਫ਼౓޲্ʢ1SFDJTJPO!ʣ ݴޠԣஅ ΫϩεϞʔμϧ TUBUFPGUIFBSU   ௨ৗͷϚοϐϯά   ࠷େϚʔδϯʢઅʣ   σʔλ֦ுʢઅʣ /"  ෛྫͷར༻ʢઅʣ  
10. ;FSPTIPU
    MFBSOJOH
    ͷ
    ໨తؔ਺ w Ϧοδճؼ
    w Ϛʔδϯ࠷େԽ  ͨͩ͠
    EJTU
    ͸ڑ཭ؔ਺ʢ͜͜Ͱ͸
    DPT
    ྨࣅ౓ͷٯ਺ʣ
    Ѝ͸ϚʔδϯɺL
    ͸ෛྫͷ਺ʹରԠ͢ΔϋΠύʔύϥϝʔλ
    ˠશͯͷϥϕϧͰ࿨ΛऔΔͷ͸ͭΒ͍ͷͰαϯϓϦϯά͢Δ
11. ߴ࣍ݩۭؒͰ͸ඞͣϋϒ͕ग़ݱ
    3BEPWBOPWJD
    FU
    BM
     w ͨͩ͠ 
12. ͳͥϦοδճؼͰ͸
    ϋϒ͕ग़ݱ͢Δͷ͔ʁ  ઢܗճؼʢϦοδճؼʣͩͱɺϚοϓۭͨؒ͠ͷݪ఺ʹ͍ۙ
    Ґஔʹࣸ૾͞Ε΍͘͢ͳͬͯ͠·͏ͨΊ
    ॏ౻Β
    /-ݚ
13. ࠷େϚʔδϯ๏ʹΑͬͯ
    ϋϒͷ໰୊͸ܰݮͰ͖Δ  ද
    
    Ϧοδճؼͱ࠷େϚʔδϯ๏ͷൺֱ ݴޠԣஅ ΫϩεϞʔμϧ Ϧοδ ࠷େϚʔδϯ Ϧοδ ࠷େϚʔδϯ 1!     1!     1!     ද
    
    ςετࣄྫ͕࠷ۙ๣ͱͳ͍ͬͯΔׂ߹ ݴޠԣஅ ΫϩεϞʔμϧ Ϧοδ ࠷େϚʔδϯ ΰʔϧυ Ϧοδ ࠷େϚʔδϯ ΰʔϧυ      
14. ΫϩεϞʔμϧ؀ڥͩͱɺ
    ϋϒ͚ͩͰ͸ͳ͘Ԛછ΋໰୊ w ʮԚછʯ
    ܇࿅ࣄྫͷϥϕϧΛςετࣄྫʹ͚ͭ ͯ͠·͏ʢL//ͷதʹೖͬͯ͠·͏ʣ͜ͱ
    w ୳ࡧۭؒΛখ͘͞͠Α͏ͱ͢ΔͱɺԚછ͕͞Β ʹਂࠁʹͳΔ  ϥϕϧ਺ສ ϥϕϧ਺  ݴޠԣஅ ΫϩεϞʔμϧ ΫϩεϞʔμϧ Ԛછ౓   
15. ը૾ΩϝϥΛ༻͍ͨࣗݾֶश w ܇࿅ࣄྫʹͳ͍
    ZJ
    ʹର͠ɺۙ ๣ͷ܇࿅ࣄྫͰग़ݱͨ͠୯ޠ ϕΫτϧʹରԠ͢Δը૾ϕΫ τϧͷฏۉΛ༻͍ͯɺը૾ϕ Ϋτϧ
    ẋJ
    Λਪఆ
    w ਂ૚ֶशͰ΋ʮઙ͍ʯֶशͰ ΋ޮՌ͕͋Γɺ࠷ۙͰ͸
    /-1
    Ͱ΋ద༻͞Ε͍ͯΔ
    ;IBOH
    BOE
    -F$VO
      ݴޠͷྨࣅੑͱը૾ͷྨࣅੑ͸ҟͳΔ ͷͰɺϊΠδʔͳσʔλ͕ੜ੒͞ΕΔ ʢ্ਤͷ
    PQPTTVN
    ΍
    CBHQJQFʣ
16. ը૾ΩϝϥʹΑͬͯΫϩε
    Ϟʔμϧ
    [FSPTIPU
    MFBSOJOH
    ͕վળ w ΫϩεϞʔμϧλεΫͰ͸Ԛછ౓͕Լ͕Γద߹཰΋޲্
    w ΋ͱ΋ͱԚછ౓͕௿͍ݴޠԣஅλεΫͰ͸ٯʹద߹཰௿Լ
 ʢදׂѪʣ  ද
    
    ࠷େϚʔδϯ๏ͱը૾ΩϝϥʹΑΔΫϩεϞʔμϧ࣮ݧ ͳ͠ Ωϝϥ Ωϝϥ 1!    1!    1!    ͳ͠ Ωϝϥ Ωϝϥ Ԛછ౓   
17. ࠷େϚʔδϯ๏Ͱ͸
    ෛྫͷબͼํ͕ੑೳʹӨڹ͢Δ w ϩε࠷খԽ
    $SBNNFS
    FU
    BM
     
 ˠ΋ͬͱ΋ੑೳʹӨڹΛ༩͑ͦ͏ͳࣄྫΛෛྫ ͱͯ͠બ୒͢Δ
    w TK
    
    DPT ŷJ
    ZK
    
    DPT ZJ
    ZK 
 ͕΋ͬͱ΋ߴ͍
    TK
    Λ΋ͭࣄྫΛෛྫʹ༻͍Δ
    w ਤʢӈਤʣʹ͓͍ͯɺDBU
    ͕ਖ਼ղͩͱ͢Δͱɺ EPH
    Ͱ͸ͳ͘
    USVDL
    Λෛྫʹ༻͍Δ
    
18. ෛྫΛݡ͘બ୒͢Δͱ
    
    [FSPTIPU
    MFBSOJOH
    ͷੑೳ޲্  ද
    
    ෛྫͷબ୒ํ๏ʢϥϯμϜ
    WT
    ϩε࠷খʣͷൺֱ ݴޠԣஅ ΫϩεϞʔμϧ ϥϯμϜ ෛྫબ୒ ϥϯμϜ ෛྫબ୒ 1!     1!     1!     ʢ࠷େϚʔδϯ๏ɺը૾Ωϝϥʣ ʢਤӈਤʣগͳ͍
    FQPDI
    ਺Ͱ΋ߴ͍ੑೳΛ ಘΔ͜ͱ͕Ͱ͖Δ
19. ·ͱΊͱࠓޙͷ՝୊ w ઢܗͷ
    [FSPTIPU
    MFBSOJOH
    ʹ͓͚Δ਺ֶతɾܦݧత ͳੑ࣭Λߟ࡯͠ɺੑೳΛ޲্ͤ͞Δͭͷख๏ʢ࠷ େϚʔδϯԽɾσʔλ֦ுɾෛྫબ୒ʣΛఏҊͨ͠
    w ݴޠԣஅλεΫɺΫϩεϞʔμϧλεΫͷ͍ͣΕʹ ͓͍ͯ΋ɺTUBUFPGUIFBSU
    Λେ্͖͘ճΔੑೳΛ ࣔͨ͠
    w ը૾Ωϝϥͱෛྫબ୒ʹɺࠓޙ͸ҙຯΛߟྀͨ͠ख ๏Λద༻͍ͨ͠