Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

Slides for The State-of-the-art NLP study group.

Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. Presented at ACL 2020.

Transcript

1. #FZPOE
   "DDVSBDZ
   #FIBWJPSBM
   5FTUJOH
   PG /-1 .PEFMT
   XJUI $IFDL-JTU ಡΉਓ
   দྛ ༏Ұ࿠ʢ౦๺େֶʣ  ࠷ઌ୺/-1ษڧձ ACL 2020 Best Paper
2. ࿦จͷ֓ཁ • ιϑτ΢ΣΞͷৼ෣ۦಈ։ൃͰ༻͍Δৼ෣ςετΛ/-1 ϞσϧͷධՁʹ࣋ͪࠐΜͩ – ϞσϧධՁͷ৽͍͠ϑϨʔϜϫʔΫʗධՁ༻πʔϧΩοτ – ௨ৗͷϕϯνϚʔΫͰ͸ධՁ͠೉͍ʮϞσϧͷݴޠೳྗʯΛࡉ͔ ͘෼ੳͰ͖Δ • ςετͷεέʔϥϏϦςΟ΋୲อ – ςϯϓϨʔτهड़ʗςετͷόϦΤʔγϣϯࣗಈੜ੒ • ̏ͭͷλεΫʹ͓͚ΔσϞͰɺ͜ͷํ๏࿦͕λεΫඇґଘʹ ࢖͑Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετʹΑΓɺ୹࣌ؒͰޮ཰Α͘ϞσϧͷόάΛ ൃݟͰ͖Δ͜ͱ΍ɺϞσϧͷੑೳʹର͢Δཧղ͕ਂ·Δ͜ͱ Λ֬ೝͨ͠ ࠷ઌ୺/-1ษڧձ 
3. ຊ࿦จͰऔΓ্͛ΔλεΫ • 4FOUJNFOU
   BOBMZTJT
   4FOUJNFOU • %VQMJDBUF
   RVFTUJPO
   EFUFDUJPO
   221 – ̎ͭͷ࣭໰͕ҙຯతʹ౳Ձ͔ <8BOH
   FU
   BM
   C> • )PX
   DBO
   *
   CFDPNF
   NPSF
   PQUJNJTUJD
   • )PX
   DBO
   *
   CFDPNF
   MFTT
   QFTTJNJTUJD ˠ
    • .BDIJOF
   DPNQSFIFOTJPO
   .$
   – $
   7JDUPSJB
   JT
   ZPVOHFS
   UIBO
   %ZMBO – 2
   8IP
   JT
   MFTT
   ZPVOH
   "
   %ZMBO
   ࠷ઌ୺/-1ษڧձ  Quora Question Pairs <3BKQVSLBS FU
   BM
   >
4. ఏҊख๏ $IFDL-JTU • Ϟσϧʹରͯ͠ධՁ͍ͨ͠ ೳྗΛϦετΞοϓ ˠ ݸผͷৼΔ෣͍ςετʹ ॻ͖Լ͢ • ৼΔ෣͍ςετʹ͸̏ͭͷ λΠϓΛࢦఆ • ςετͷ௨ա཰ͰධՁ • ςϯϓϨʔτʹΑΔςετ έʔεͷ൚Խ ˠ
   େྔͷςετΛ؆୯ʹ ࡞੒Մೳ ࠷ઌ୺/-1ษڧձ  4FOUJNFOU
   "OBMZTJT Ͱͷྫ
5. $IFDL-JTU ͷ ߏ੒ཁૉ • $BQBCJMJUJFT – ͋ΔλεΫΛߦ͏Ϟσϧʹ ର͔ͯ֬͠Ί͍ͨओཁͳ ݴޠೳྗͷϦετ • 5FTU
   DBTFT – ࣮ࡍͷςετΠϯελϯε • खಈྻڍ • ςϯϓϨʔτʴ୯ޠϦετ • ݴޠϞσϧʹΑΔީิੜ੒ • 5FTU
   UZQFT – ֤ςετέʔε͕ೳྗΛ֬ೝ ͢Δͷʹར༻͍ͯ͠Δํ๏࿦ – ̏λΠϓ • ࠷খཁ݅ɺෆมੑɺมԽͷํ޲ ࠷ઌ୺/-1ษڧձ  4FOUJNFOU
   "OBMZTJT Ͱͷྫ
6. $BQBCJMJUJFT • ͋ΔλεΫΛߦ͏Ϟσϧʹର͔ͯ֬͠Ί͍ͨ ओཁͳݴޠೳྗͷϦετ • ஶऀΒ͕ςετͰߟྀ͢Δ͜ͱΛਪ঑͢Δೳྗ – 7PDBCVMBSZ 104 JNQPSUBOU
   XPSET
   PS
   XPSE
   UZQFT
   GPS
   UIF
   UBTL – 5BYPOPNZ
   TZOPOZNT
   BOUPOZNT
   FUD – 3PCVTUOFTT
   UP
   UZQPT
   JSSFMFWBOU
   DIBOHFT
   FUD – /&3
   'BJSOFTT
   /FHBUJPO
   – 5FNQPSBM
   VOEFSTUBOEJOH
   PSEFS
   PG
   FWFOUT – $PSFGFSFODF
   4FNBOUJD
   3PMF
   -BCFMJOH
   -PHJD ࠷ઌ୺/-1ษڧձ 
7. 7PDBCVMBSZ 104 • ͦͷλεΫͰॏ఺తʹݟΔ΂͖ޠͷΫϥεɾ౷ޠΧςΰϦΛ Ϟσϧ͕೺ѲͰ͖͍ͯΔ͔ΛνΣοΫ ςετέʔεͷ۩ମྫ • 4FOUJNFOU – ໨తɿۃੑΛ࣋ͭޠΛೝࣝͰ͖͍ͯΔ͔Λςετ͍ͨ͠ • l5IJT
   XBT
   B
   HPPE
   GMJHIUz ˠ
   QPTJUJWF • 221
   2VPSB
   2VFTUJPO
   1BJST
   – ໨తɿम০ޠ͕࣭໰಺༰Λม͑͏Δ͜ͱΛཧղ͍ͯ͠Δ͔ • l*T
   +PIO
   B
   UFBDIFS z WT
   l*T
   +PIO
   BO BDDSFEJUFE
   UFBDIFS z • .$ – ໨తɿൺֱڃ΍࠷্ڃΛཧղͰ͖͍ͯΔ͔ • $
   l.BSZ
   JT
   TNBSUFS
   UIBO
   +PIOz • 2
   l8IP
   JT
   UIF
   TNBSUFTU
   LJE z "
   l.BSZz ࠷ઌ୺/-1ษڧձ 
8. 5FTU
   5ZQFT • .JOJNVN
   'VODUJPOBMJUZ
   UFTU
   .'5 – ͜Ε͚ͩ͸ղ͚ͯ΄͍͠໰୊ͨͪ – ୯ମςετΈ͍ͨͳ΋ͷ • *OWBSJBODF
   UFTU
   */7
   – ೖྗʹ݁ՌʹӨڹΛ༩͑ͳ͍มߋΛՃ͑ͨ৔߹ʹग़ྗϥϕϧΛ ҡ࣋Ͱ͖Δ͔ – ϝλϞϧϑΟοΫςετ • ʢೖྗΛม׵ͨ͠ͱ͖ͷڍಈͰଟ༷ੑΛٖࣅతʹςετʁʣ • %JSFDUJPOBM
   &YQFDUBUJPO
   UFTU
   %*3
   – ೖྗʹɺ͋Δํ޲ʹ͔݁͠ՌΛม͑ͳ͍มߋΛ Ճ͑ͨ৔߹ʹग़ྗϥϕϧ͕ผํ޲ʹมԽ͠ͳ͍͔ – ϝλϞϧϑΟοΫςετ ࠷ઌ୺/-1ษڧձ 
9. (FOFSBUJOH
   5FTU
   $BTFT
   BU
   4DBMF • ςετͷ࡞Γํͱͯ͠ೋ௨Γ͋Γ͏Δ – ·ͣগ਺ͷߴ඼࣭ͷςετΛߟ͑Δ • ଟେͳ૑଄ੑͱ࿑ྗ͕ඞཁ – طଘͷσʔληοτ͔Βαϯϓϧʴվม͢Δ • վมͷͨΊͷؔ਺Λ҆શʹ࡞Δͷ͕େม • ྆ํͷϝϦοτɾσϝϦοτΛαϙʔτ͢Δ ػೳΛఏڙ – ςϯϓϨʔτʴ୯ޠϦετ – ݴޠϞσϧʹΑΔީิੜ੒ ࠷ઌ୺/-1ษڧձ 
10. ςϯϓϨʔτ • ςϯϓϨʔτʴ୯ޠϦετ UFNQMBUF
    I {NEGATION} {POS_VERB} the {THING}. {NEGATION} = {EJEO`U
    DBO`U
    TBZ
    *
    } {POS_VERB} = {MPWF
    MJLF
    ...} {THING} = {GPPE
    GMJHIU
    TFSWJDF
    ...} – ૊Έ߹Θͤશ௨ΓΛੜ੒͢Δ ࠷ઌ୺/-1ษڧձ 
11. ςϯϓϨʔτ֦ு • ୯ޠϦετΛ࡞Δίετ͕େ͖͍ ˠ
    ݴޠϞσϧʹΑΔ݀ຒΊީิੜ੒ • 3P#&35B ʹΑΓީิੜ੒ – l*
    SFBMMZ
    \NBTL^
    UIF GMJHIUz
    ˠ
    ZJFMET
    \FOKPZFE
    MJLFE
    MPWFE
    SFHSFU ^ ࠷ઌ୺/-1ษڧձ  • Ϣʔβʔʹऔࣺબ୒ͤ͞Δπʔϧ΋༻ҙ • ݁Ռʹ sensitive Ͱ͸ͳ͍ͱ͜ΖΛϚεΫ ͢Δ৔߹͸ϑΟϧλϦϯάͷίετ΋ͳ͍
12. ؔ࿈ݚڀͱͷҐஔ͚ͮ • Ϟσϧͷࡉ͔͍ೳྗΛݟΔʮνϟϨϯδܕʯධՁ ηοτ͸͜Ε·Ͱʹ΋͍͔ͭ͘ఏҊ͞Ε͍ͯΔ – ͨͩɺͦͷຆͲ͸ਪ࿦ʹؔΘΔ΋ͷ – ίετΛ͔͚ͯ࡞Γࠐ·Ε͓ͯΓɺධՁ σʔλͷεέʔϧ͕খ͍͞ – ۃ౓ʹ೉͍͠έʔε͕ଟ͍ • $IFDL-JTU ͸͜͏ͨ͠طଘͷධՁηοτͷऑ఺Λิ͏ ํ๏ͱͯ͠༗ޮ – ࠷௿ݶͰ͖͍ͯͯ΄͍͠ࣄྫͷςετ – ςετέʔεͷεέʔϥϏϦςΟʢΧόϨοδʣ – ୹࣌ؒͰ͋Δఔ౓࡞੒Մೳ ࠷ઌ୺/-1ษڧձ 
13. ओཁͳߩݙ • ݸผͷλεΫͰϞσϧͷৄࡉͳೳྗ෼ੳΛߦ͏ͨΊͷ γεςϚςΟοΫͳϑϨʔϜϫʔΫΛπʔϧΩοτԽͨ͠ – $BQBCJMJUJFT º 5FTU
    DBTFT ͷ̎࣠ ʴ ςϯϓϨʔτهड़Ͱ ϢʔβʹγϯϓϧͳઃܭͷΨΠμϯεΛఏڙ • ̏ͭͷλεΫͰ࣮ࡍʹϕϯνϚʔΫςετ͚͔ͩΒ͸ ໌Β͔ʹͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετͰɺϓϩμΫτϨϕϧͷιϑτ΢ΣΞͷ όάςετ΍৽نࢀೖ࣌ͷςετɺϞσϧͷೳྗ೺Ѳʹ ໾ཱͭ͜ͱΛࣔͨ͠ ࠷ઌ୺/-1ษڧձ 
14. 5FTUJOH
    405"
    NPEFMT XJUI
    $IFDL-JTU • 4FOUJNFOU
    ͷ෦෼͚ͩ঺հ͠·͢ – ࿦จͰ͸̏ͭͷλεΫͰൺֱ • 4FOUJNFOU
    221
    .$ • ߤۭձࣾυϝΠϯͰςετ • ̑ͭͷൺֱϞσϧ – ̏ͭͷ঎༻"1* – BOE
    3P#&35B GJOFUVOFE
    PO
    445 ࠷ઌ୺/-1ษڧձ  movie review • ιʔγϟϧϝσΟΞ ޲͚Ϟσϧ
15. ςετͷҰ෦ ࠷ઌ୺/-1ษڧձ 
16. 7PDBC 104 .'5T • ݈શੑͷνΣοΫ – ͘͢͝؆୯ͳྫ͕͔֬ʹ౰ͯΒΕΔ͔ .JDSPTPGU͕ࣾଞࣾ੡඼Λ߈ܸ͢ΔίʔφʔͷΑ͏ʹ ݟ͑ͳ͘΋ͳ͍ ࠷ઌ୺/-1ษڧձ 
17. ݈શੑνΣοΫ • .'5
    ͔Β෼͔Δ͜ͱ – # ͱ 3P# ͸χϡʔτϥϧΛ͋·Γ༧ଌͰ͖ͳ͍ – ໌Β͔ʹχϡʔτϥϧͳจͰ΋ؒҧ͏ (
    
    "
     – ໌Β͔ʹϙδςΟϒͳ΋ͷ FH l*
    MJLF
    UIJT
    TFBUz Ͱ΋ ͦͦؒ͜͜ҧ͏ (
     • ߴੑೳʴΑ͘ςετ͞Εͨ঎༻γεςϜͰ΋ جຊతͳ෦෼ʹର͢Δؒҧ͍͕͋Δ͜ͱ͕ ු͖ூΓʹͳͬͨ ࠷ઌ୺/-1ษڧձ 
18. ؤ݈ੑ • ϥϯμϜ63-ͷ௥ՃɺλΠϙɺݻ༗໊ࢺೖΕସ͑ • ͢΂ͯͷγεςϜ͕͜ͷΑ͏ͳվมʹηϯγςΟϒͳ ൓ԠΛݟͤΔ ࠷ઌ୺/-1ษڧձ 
19. ߏ଄తͳݴޠཧղ • 5FNQPSBM
    /FHBHUJPO
    43- ˠ
    ΄ͱΜͲͰ͖͍ͯͳ͍ • ݱঢ়ͲͷγεςϜ΋͋Δఔ౓ͷද૚తͳཧղʹͱͲ·ͬ ͍ͯΔ ࠷ઌ୺/-1ษڧձ 
20. ͦͷଞͷಘΒΕͨ஌ݟ • 'BJSOFTT – ͢΂ͯͷ঎༻γεςϜ͸ 'BJSOFTT
    TBOJUZ
    DIFDLT
    Λ௨աͨ͠ • l*
    BN
    B
    CMBDL
    XPNBOz UFNQMBUF
    *
    BN
    B
    \1305&$5&%^
    \/06/^ BMXBZT
    QSFEJDUJOH
    UIFN
    BT
    OFVUSBM – #&35
    ͸ • CMBDL
    BUIFJTU
    HBZ
    BOE
    MFTCJBO ʹରͯ͠ ৗʹωΨςΟϒ • "TJBO
    TUSBJHIU ʹରͯ͠ৗʹϙδςΟϒ ࠷ઌ୺/-1ษڧձ 
21. ͦͷଞͷಘΒΕͨ஌ݟ • /FVUSBM Λআ͍ͨΠϯελϯεʹ͸ – #&35
    ͱ 3P#&35B ͸ଞͷ঎༻γεςϜΑΓ ྑ͍݁ՌͱͳΔ • ঎༻γεςϜ͸ιʔγϟϧϝσΟΞʹνϡʔϯ ͞ΕͯΔ͸ͣɻ#&35
    ͱ 3P#&35B ͸өըυϝΠ ϯʹνϡʔϯɻͦΕͰ΋͜͏͍͏݁ՌʹͳΔ • /BHBUJPOʹ͍ͭͯ – #&35
    ͱ 3P#&35B ͸ΠϯυϝΠϯࣄྫʹ͸ ੑೳ͕ग़Δ͕ɺඇৗʹγϯϓϧͳ TBOJUZ
    DIFDLT
    ͷ΄ͱΜͲʹؒҧ͏ ࠷ઌ୺/-1ษڧձ 
22. ͜͏ͨ͠ςετͷԿ͕خ͍͔͠ ʢݴ͍׵͑ʣ • ϕϯνϚʔΫςετ͚͔ͩΒ͸໌Β͔ʹ ͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ • γεςϚςΟοΫͳϑϨʔϜϫʔΫͰ Ϣʔβʔͷ૑଄ੑʹର͢Δෛՙ͕খ͍͞ • Ұͭͷςετέʔεʹରͯ͠ޠኮͷόϦ ΤʔγϣϯΛ༻ҙ͢Δ͜ͱͰ͋Δఔ౓ ໢ཏతʹ TBOJUZ
    DIFDL
    Ͱ͖Δ ࠷ઌ୺/-1ษڧձ 
23. 6TFS UFTUT • ̎ͭͷςετ – .JDSPTPGUͷ঎༻"1*։ൃਞʹ࢖ͬͯ΋Β͏ – /-1ܦݧऀʹ৽ͨʹ221ʹνϡʔϯ͞Εͨ #&35ͷೳྗςετΛ΍ͬͯ΋Β͏ • اۀ͔Β໊̔ɺֶज़ք͔Β໊̍̌ ࠷ઌ୺/-1ษڧձ 
24. .JDSPTPGUͷ঎༻"1*։ൃਞʹ ࢖ͬͯ΋Β͏ • લఏ – ঎༻γεςϜͳͷͰͦ΋ͦ΋͔ͳΓλϑͳ ςετ͕࣮ࢪ͞Ε͍ͯΔ • ಺༰ – ஶऀΒͷϨΫνϟʔΛड͚ͳ͕Β̑࣌ؒͷൣғͰ ϞσϧΛ $IFDL-JTU ͯ͠΋Β͏ • ݁Ռ – ̏̌ͷςετέʔεΛߟ࣮͑ͯ̎̌૷Ͱ͖ͨ – ͜Ε·Ͱ࣮૷ͯ͠ͳ͔ͬͨςετ͕Ͱ͖ͨ – ࣮૷ࡁΈͷ΋ͷ΋ΑΓแׅతʹͳͬͨ – ʮ࣍ͷ։ൃαΠΫϧʹ૊ΈࠐΈ͍͔ͨΒ࣮૷͘Εʯ ͱݴΘΕͨ ࠷ઌ୺/-1ษڧձ 
25. 221ʹνϡʔϯ͞Εͨ#&35ͷ ೳྗςετΛ΍ͬͯ΋Β͏ • ෼͔ͬͨ͜ͱ – ೳྗϦετΛ౉͢ͱ • ΑΓͨ͘͞Μςετ͕ ࡞Εͨ • ΑΓଟ࠼ͳೳྗΛ ௐ΂ΔΑ͏ʹͳͬͨ – ςϯϓϨʔτ࢖͏ͱ • ͨ͘͞Μςετ͕ ࡞Εͨ • γϏΞͳόάΛ ͨ͘͞Μݟ͚ͭΒΕͨ ࠷ઌ୺/-1ษڧձ  • Capability ͷϦετ͕Ϣʔβ΁ͷ ΨΠυͱͯ͠໾ʹཱ͍ͬͯΔ • ςϯϓϨʔτ͸ςετͷ໢ཏੑʹ ߩݙ͍ͯ͠Δ
26. ·ͱΊͱٞ࿦ • ςετͷ৽͍͠ϑϨʔϜϫʔΫ – λεΫඇґଘʹ࢖͑Δ – ϢʔβʔςετͰ͍Ζ͍Ζόάݟ͚ͭΒΕͨ • ํ๏࿦ͷݶք – $IFDL-JTU DBOOPU
    CF EJSFDUMZ
    VTFE
    GPS
    OPO CFIBWJPSBM JTTVFT
    TVDI
    BT
    • EBUB WFSTJPOJOH
    QSPCMFNT
    "NFSTIJ FU
    BM
    
    • MBCFMJOH FSSPST
    • BOOPUBUPS
    CJBTFT
    (FWB FU
    BM
     • XPSTUDBTF
    TFDVSJUZ
    JTTVFT
    8BMMBDF
    FU
    BM
    
    • MBDL
    PG
    JOUFSQSFUBCJMJUZ
    3JCFJSP
    FU
    BM
      ࠷ઌ୺/-1ษڧձ 
27. ײ૝ • ৄࡉ͕໘ന͍ͷͰ࿦จΛಡΉ͜ͱΛ͓͢͢Ί ͠·͢ʢεϥΠυൃදʹ޲͍͍ͯͳ͍࿦จͰ͢ʣ • ։ൃαΠΫϧʹ૊ΈࠐΉ৔߹ͱɺެฏͳ ϕϯνϚʔΫͱͯ͠࢖͏ͱ͍͏༻్Ͱ͸ ཁٻ͞ΕΔੑ࣭͕ҟͳΓͦ͏ – ਅͷςετηοτ͸ΠϯελϯεΛ೷͚ͳ͍͸ͣ – ͋ΔೳྗͷςετΛ։ൃ༻ͱςετ༻ͰͲͷΑ͏ ʹ੾Γ෼͚Δ͔޻෉͕ඞཁ͔΋ ࠷ઌ୺/-1ษڧձ