Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

47bdb7f109e0b74652d3653102d02b93?s=47 Yuichiroh
September 23, 2020

Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

Slides for The State-of-the-art NLP study group.

Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. Presented at ACL 2020.

47bdb7f109e0b74652d3653102d02b93?s=128

Yuichiroh

September 23, 2020
Tweet

Transcript

  1. #FZPOE"DDVSBDZ #FIBWJPSBM5FTUJOHPG /-1 .PEFMT XJUI $IFDL-JTU ಡΉਓদྛ ༏Ұ࿠ʢ౦๺େֶʣ  ࠷ઌ୺/-1ษڧձ

    ACL 2020 Best Paper
  2. ࿦จͷ֓ཁ • ιϑτ΢ΣΞͷৼ෣ۦಈ։ൃͰ༻͍Δৼ෣ςετΛ/-1 ϞσϧͷධՁʹ࣋ͪࠐΜͩ – ϞσϧධՁͷ৽͍͠ϑϨʔϜϫʔΫʗධՁ༻πʔϧΩοτ – ௨ৗͷϕϯνϚʔΫͰ͸ධՁ͠೉͍ʮϞσϧͷݴޠೳྗʯΛࡉ͔ ͘෼ੳͰ͖Δ •

    ςετͷεέʔϥϏϦςΟ΋୲อ – ςϯϓϨʔτهड़ʗςετͷόϦΤʔγϣϯࣗಈੜ੒ • ̏ͭͷλεΫʹ͓͚ΔσϞͰɺ͜ͷํ๏࿦͕λεΫඇґଘʹ ࢖͑Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετʹΑΓɺ୹࣌ؒͰޮ཰Α͘ϞσϧͷόάΛ ൃݟͰ͖Δ͜ͱ΍ɺϞσϧͷੑೳʹର͢Δཧղ͕ਂ·Δ͜ͱ Λ֬ೝͨ͠ ࠷ઌ୺/-1ษڧձ 
  3. ຊ࿦จͰऔΓ্͛ΔλεΫ • 4FOUJNFOUBOBMZTJT 4FOUJNFOU • %VQMJDBUFRVFTUJPOEFUFDUJPO 221 – ̎ͭͷ࣭໰͕ҙຯతʹ౳Ձ͔ <8BOHFUBM

    C> • )PXDBO*CFDPNFNPSFPQUJNJTUJD  • )PXDBO*CFDPNFMFTTQFTTJNJTUJD ˠ  • .BDIJOFDPNQSFIFOTJPO .$  – $7JDUPSJBJTZPVOHFSUIBO%ZMBO – 28IPJTMFTTZPVOH "%ZMBO ࠷ઌ୺/-1ษڧձ  Quora Question Pairs <3BKQVSLBS FUBM >
  4. ఏҊख๏ $IFDL-JTU • Ϟσϧʹରͯ͠ධՁ͍ͨ͠ ೳྗΛϦετΞοϓ ˠ ݸผͷৼΔ෣͍ςετʹ ॻ͖Լ͢ • ৼΔ෣͍ςετʹ͸̏ͭͷ

    λΠϓΛࢦఆ • ςετͷ௨ա཰ͰධՁ • ςϯϓϨʔτʹΑΔςετ έʔεͷ൚Խ ˠେྔͷςετΛ؆୯ʹ ࡞੒Մೳ ࠷ઌ୺/-1ษڧձ  4FOUJNFOU"OBMZTJT Ͱͷྫ
  5. $IFDL-JTU ͷ ߏ੒ཁૉ • $BQBCJMJUJFT – ͋ΔλεΫΛߦ͏Ϟσϧʹ ର͔ͯ֬͠Ί͍ͨओཁͳ ݴޠೳྗͷϦετ •

    5FTUDBTFT – ࣮ࡍͷςετΠϯελϯε • खಈྻڍ • ςϯϓϨʔτʴ୯ޠϦετ • ݴޠϞσϧʹΑΔީิੜ੒ • 5FTUUZQFT – ֤ςετέʔε͕ೳྗΛ֬ೝ ͢Δͷʹར༻͍ͯ͠Δํ๏࿦ – ̏λΠϓ • ࠷খཁ݅ɺෆมੑɺมԽͷํ޲ ࠷ઌ୺/-1ษڧձ  4FOUJNFOU"OBMZTJT Ͱͷྫ
  6. $BQBCJMJUJFT • ͋ΔλεΫΛߦ͏Ϟσϧʹର͔ͯ֬͠Ί͍ͨ ओཁͳݴޠೳྗͷϦετ • ஶऀΒ͕ςετͰߟྀ͢Δ͜ͱΛਪ঑͢Δೳྗ – 7PDBCVMBSZ 104 JNQPSUBOUXPSETPSXPSEUZQFTGPSUIFUBTL

    – 5BYPOPNZ TZOPOZNT BOUPOZNT FUD – 3PCVTUOFTT UPUZQPT JSSFMFWBOUDIBOHFT FUD – /&3 'BJSOFTT /FHBUJPO  – 5FNQPSBM VOEFSTUBOEJOHPSEFSPGFWFOUT – $PSFGFSFODF 4FNBOUJD3PMF-BCFMJOH -PHJD ࠷ઌ୺/-1ษڧձ 
  7. 7PDBCVMBSZ 104 • ͦͷλεΫͰॏ఺తʹݟΔ΂͖ޠͷΫϥεɾ౷ޠΧςΰϦΛ Ϟσϧ͕೺ѲͰ͖͍ͯΔ͔ΛνΣοΫ ςετέʔεͷ۩ମྫ • 4FOUJNFOU – ໨తɿۃੑΛ࣋ͭޠΛೝࣝͰ͖͍ͯΔ͔Λςετ͍ͨ͠

    • l5IJTXBTBHPPEGMJHIUz ˠQPTJUJWF • 221 2VPSB2VFTUJPO1BJST  – ໨తɿम০ޠ͕࣭໰಺༰Λม͑͏Δ͜ͱΛཧղ͍ͯ͠Δ͔ • l*T+PIOBUFBDIFS z WTl*T+PIOBO BDDSFEJUFEUFBDIFS z • .$ – ໨తɿൺֱڃ΍࠷্ڃΛཧղͰ͖͍ͯΔ͔ • $l.BSZJTTNBSUFSUIBO+PIOz • 2l8IPJTUIFTNBSUFTULJE z "l.BSZz ࠷ઌ୺/-1ษڧձ 
  8. 5FTU5ZQFT • .JOJNVN'VODUJPOBMJUZUFTU .'5 – ͜Ε͚ͩ͸ղ͚ͯ΄͍͠໰୊ͨͪ – ୯ମςετΈ͍ͨͳ΋ͷ • *OWBSJBODFUFTU

    */7  – ೖྗʹ݁ՌʹӨڹΛ༩͑ͳ͍มߋΛՃ͑ͨ৔߹ʹग़ྗϥϕϧΛ ҡ࣋Ͱ͖Δ͔ – ϝλϞϧϑΟοΫςετ • ʢೖྗΛม׵ͨ͠ͱ͖ͷڍಈͰଟ༷ੑΛٖࣅతʹςετʁʣ • %JSFDUJPOBM&YQFDUBUJPOUFTU %*3  – ೖྗʹɺ͋Δํ޲ʹ͔݁͠ՌΛม͑ͳ͍มߋΛ Ճ͑ͨ৔߹ʹग़ྗϥϕϧ͕ผํ޲ʹมԽ͠ͳ͍͔ – ϝλϞϧϑΟοΫςετ ࠷ઌ୺/-1ษڧձ 
  9. (FOFSBUJOH5FTU$BTFTBU4DBMF • ςετͷ࡞Γํͱͯ͠ೋ௨Γ͋Γ͏Δ – ·ͣগ਺ͷߴ඼࣭ͷςετΛߟ͑Δ • ଟେͳ૑଄ੑͱ࿑ྗ͕ඞཁ – طଘͷσʔληοτ͔Βαϯϓϧʴվม͢Δ •

    վมͷͨΊͷؔ਺Λ҆શʹ࡞Δͷ͕େม • ྆ํͷϝϦοτɾσϝϦοτΛαϙʔτ͢Δ ػೳΛఏڙ – ςϯϓϨʔτʴ୯ޠϦετ – ݴޠϞσϧʹΑΔީิੜ੒ ࠷ઌ୺/-1ษڧձ 
  10. ςϯϓϨʔτ • ςϯϓϨʔτʴ୯ޠϦετ UFNQMBUFI {NEGATION} {POS_VERB} the {THING}. {NEGATION} =

    {EJEO`U DBO`UTBZ* } {POS_VERB} = {MPWF MJLF ...} {THING} = {GPPE GMJHIU TFSWJDF ...} – ૊Έ߹Θͤશ௨ΓΛੜ੒͢Δ ࠷ઌ୺/-1ษڧձ 
  11. ςϯϓϨʔτ֦ு • ୯ޠϦετΛ࡞Δίετ͕େ͖͍ ˠݴޠϞσϧʹΑΔ݀ຒΊީิੜ੒ • 3P#&35B ʹΑΓީิੜ੒ – l*SFBMMZ\NBTL^UIF GMJHIUz

    ˠZJFMET\FOKPZFE MJLFE MPWFE SFHSFU ^ ࠷ઌ୺/-1ษڧձ  • Ϣʔβʔʹऔࣺબ୒ͤ͞Δπʔϧ΋༻ҙ • ݁Ռʹ sensitive Ͱ͸ͳ͍ͱ͜ΖΛϚεΫ ͢Δ৔߹͸ϑΟϧλϦϯάͷίετ΋ͳ͍
  12. ؔ࿈ݚڀͱͷҐஔ͚ͮ • Ϟσϧͷࡉ͔͍ೳྗΛݟΔʮνϟϨϯδܕʯධՁ ηοτ͸͜Ε·Ͱʹ΋͍͔ͭ͘ఏҊ͞Ε͍ͯΔ – ͨͩɺͦͷຆͲ͸ਪ࿦ʹؔΘΔ΋ͷ – ίετΛ͔͚ͯ࡞Γࠐ·Ε͓ͯΓɺධՁ σʔλͷεέʔϧ͕খ͍͞ –

    ۃ౓ʹ೉͍͠έʔε͕ଟ͍ • $IFDL-JTU ͸͜͏ͨ͠طଘͷධՁηοτͷऑ఺Λิ͏ ํ๏ͱͯ͠༗ޮ – ࠷௿ݶͰ͖͍ͯͯ΄͍͠ࣄྫͷςετ – ςετέʔεͷεέʔϥϏϦςΟʢΧόϨοδʣ – ୹࣌ؒͰ͋Δఔ౓࡞੒Մೳ ࠷ઌ୺/-1ษڧձ 
  13. ओཁͳߩݙ • ݸผͷλεΫͰϞσϧͷৄࡉͳೳྗ෼ੳΛߦ͏ͨΊͷ γεςϚςΟοΫͳϑϨʔϜϫʔΫΛπʔϧΩοτԽͨ͠ – $BQBCJMJUJFT º 5FTUDBTFT ͷ̎࣠ ʴ

    ςϯϓϨʔτهड़Ͱ ϢʔβʹγϯϓϧͳઃܭͷΨΠμϯεΛఏڙ • ̏ͭͷλεΫͰ࣮ࡍʹϕϯνϚʔΫςετ͚͔ͩΒ͸ ໌Β͔ʹͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετͰɺϓϩμΫτϨϕϧͷιϑτ΢ΣΞͷ όάςετ΍৽نࢀೖ࣌ͷςετɺϞσϧͷೳྗ೺Ѳʹ ໾ཱͭ͜ͱΛࣔͨ͠ ࠷ઌ୺/-1ษڧձ 
  14. 5FTUJOH405"NPEFMT XJUI$IFDL-JTU • 4FOUJNFOUͷ෦෼͚ͩ঺հ͠·͢ – ࿦จͰ͸̏ͭͷλεΫͰൺֱ • 4FOUJNFOU 221 .$

    • ߤۭձࣾυϝΠϯͰςετ • ̑ͭͷൺֱϞσϧ – ̏ͭͷ঎༻"1* – BOE3P#&35B GJOFUVOFEPO445 ࠷ઌ୺/-1ษڧձ  movie review • ιʔγϟϧϝσΟΞ ޲͚Ϟσϧ
  15. ςετͷҰ෦ ࠷ઌ୺/-1ษڧձ 

  16. 7PDBC 104 .'5T • ݈શੑͷνΣοΫ – ͘͢͝؆୯ͳྫ͕͔֬ʹ౰ͯΒΕΔ͔ .JDSPTPGU͕ࣾଞࣾ੡඼Λ߈ܸ͢ΔίʔφʔͷΑ͏ʹ ݟ͑ͳ͘΋ͳ͍ ࠷ઌ୺/-1ษڧձ

    
  17. ݈શੑνΣοΫ • .'5͔Β෼͔Δ͜ͱ – # ͱ 3P# ͸χϡʔτϥϧΛ͋·Γ༧ଌͰ͖ͳ͍ – ໌Β͔ʹχϡʔτϥϧͳจͰ΋ؒҧ͏

    ( " – ໌Β͔ʹϙδςΟϒͳ΋ͷ FH l*MJLFUIJTTFBUz Ͱ΋ ͦͦؒ͜͜ҧ͏ ( • ߴੑೳʴΑ͘ςετ͞Εͨ঎༻γεςϜͰ΋ جຊతͳ෦෼ʹର͢Δؒҧ͍͕͋Δ͜ͱ͕ ු͖ூΓʹͳͬͨ ࠷ઌ୺/-1ษڧձ 
  18. ؤ݈ੑ • ϥϯμϜ63-ͷ௥ՃɺλΠϙɺݻ༗໊ࢺೖΕସ͑ • ͢΂ͯͷγεςϜ͕͜ͷΑ͏ͳվมʹηϯγςΟϒͳ ൓ԠΛݟͤΔ ࠷ઌ୺/-1ษڧձ 

  19. ߏ଄తͳݴޠཧղ • 5FNQPSBM /FHBHUJPO 43- ˠ΄ͱΜͲͰ͖͍ͯͳ͍ • ݱঢ়ͲͷγεςϜ΋͋Δఔ౓ͷද૚తͳཧղʹͱͲ·ͬ ͍ͯΔ ࠷ઌ୺/-1ษڧձ

    
  20. ͦͷଞͷಘΒΕͨ஌ݟ • 'BJSOFTT – ͢΂ͯͷ঎༻γεςϜ͸ 'BJSOFTTTBOJUZ DIFDLTΛ௨աͨ͠ • l*BNBCMBDLXPNBOz UFNQMBUF*BNB\1305&$5&%^\/06/^

    BMXBZTQSFEJDUJOHUIFNBTOFVUSBM – #&35͸ • CMBDL BUIFJTU HBZ BOEMFTCJBO ʹରͯ͠ ৗʹωΨςΟϒ • "TJBO TUSBJHIU ʹରͯ͠ৗʹϙδςΟϒ ࠷ઌ୺/-1ษڧձ 
  21. ͦͷଞͷಘΒΕͨ஌ݟ • /FVUSBM Λআ͍ͨΠϯελϯεʹ͸ – #&35ͱ 3P#&35B ͸ଞͷ঎༻γεςϜΑΓ ྑ͍݁ՌͱͳΔ •

    ঎༻γεςϜ͸ιʔγϟϧϝσΟΞʹνϡʔϯ ͞ΕͯΔ͸ͣɻ#&35ͱ 3P#&35B ͸өըυϝΠ ϯʹνϡʔϯɻͦΕͰ΋͜͏͍͏݁ՌʹͳΔ • /BHBUJPOʹ͍ͭͯ – #&35ͱ 3P#&35B ͸ΠϯυϝΠϯࣄྫʹ͸ ੑೳ͕ग़Δ͕ɺඇৗʹγϯϓϧͳ TBOJUZ DIFDLTͷ΄ͱΜͲʹؒҧ͏ ࠷ઌ୺/-1ษڧձ 
  22. ͜͏ͨ͠ςετͷԿ͕خ͍͔͠ ʢݴ͍׵͑ʣ • ϕϯνϚʔΫςετ͚͔ͩΒ͸໌Β͔ʹ ͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ • γεςϚςΟοΫͳϑϨʔϜϫʔΫͰ Ϣʔβʔͷ૑଄ੑʹର͢Δෛՙ͕খ͍͞ • Ұͭͷςετέʔεʹରͯ͠ޠኮͷόϦ

    ΤʔγϣϯΛ༻ҙ͢Δ͜ͱͰ͋Δఔ౓ ໢ཏతʹ TBOJUZDIFDLͰ͖Δ ࠷ઌ୺/-1ษڧձ 
  23. 6TFS UFTUT • ̎ͭͷςετ – .JDSPTPGUͷ঎༻"1*։ൃਞʹ࢖ͬͯ΋Β͏ – /-1ܦݧऀʹ৽ͨʹ221ʹνϡʔϯ͞Εͨ #&35ͷೳྗςετΛ΍ͬͯ΋Β͏ •

    اۀ͔Β໊̔ɺֶज़ք͔Β໊̍̌ ࠷ઌ୺/-1ษڧձ 
  24. .JDSPTPGUͷ঎༻"1*։ൃਞʹ ࢖ͬͯ΋Β͏ • લఏ – ঎༻γεςϜͳͷͰͦ΋ͦ΋͔ͳΓλϑͳ ςετ͕࣮ࢪ͞Ε͍ͯΔ • ಺༰ –

    ஶऀΒͷϨΫνϟʔΛड͚ͳ͕Β̑࣌ؒͷൣғͰ ϞσϧΛ $IFDL-JTU ͯ͠΋Β͏ • ݁Ռ – ̏̌ͷςετέʔεΛߟ࣮͑ͯ̎̌૷Ͱ͖ͨ – ͜Ε·Ͱ࣮૷ͯ͠ͳ͔ͬͨςετ͕Ͱ͖ͨ – ࣮૷ࡁΈͷ΋ͷ΋ΑΓแׅతʹͳͬͨ – ʮ࣍ͷ։ൃαΠΫϧʹ૊ΈࠐΈ͍͔ͨΒ࣮૷͘Εʯ ͱݴΘΕͨ ࠷ઌ୺/-1ษڧձ 
  25. 221ʹνϡʔϯ͞Εͨ#&35ͷ ೳྗςετΛ΍ͬͯ΋Β͏ • ෼͔ͬͨ͜ͱ – ೳྗϦετΛ౉͢ͱ • ΑΓͨ͘͞Μςετ͕ ࡞Εͨ •

    ΑΓଟ࠼ͳೳྗΛ ௐ΂ΔΑ͏ʹͳͬͨ – ςϯϓϨʔτ࢖͏ͱ • ͨ͘͞Μςετ͕ ࡞Εͨ • γϏΞͳόάΛ ͨ͘͞Μݟ͚ͭΒΕͨ ࠷ઌ୺/-1ษڧձ  • Capability ͷϦετ͕Ϣʔβ΁ͷ ΨΠυͱͯ͠໾ʹཱ͍ͬͯΔ • ςϯϓϨʔτ͸ςετͷ໢ཏੑʹ ߩݙ͍ͯ͠Δ
  26. ·ͱΊͱٞ࿦ • ςετͷ৽͍͠ϑϨʔϜϫʔΫ – λεΫඇґଘʹ࢖͑Δ – ϢʔβʔςετͰ͍Ζ͍Ζόάݟ͚ͭΒΕͨ • ํ๏࿦ͷݶք –

    $IFDL-JTU DBOOPUCF EJSFDUMZVTFEGPSOPO CFIBWJPSBM JTTVFTTVDIBT • EBUB WFSTJPOJOHQSPCMFNT "NFSTIJ FUBM   • MBCFMJOH FSSPST  • BOOPUBUPSCJBTFT (FWB FUBM  • XPSTUDBTFTFDVSJUZJTTVFT 8BMMBDFFUBM   • MBDLPGJOUFSQSFUBCJMJUZ 3JCFJSPFUBM   ࠷ઌ୺/-1ษڧձ 
  27. ײ૝ • ৄࡉ͕໘ന͍ͷͰ࿦จΛಡΉ͜ͱΛ͓͢͢Ί ͠·͢ʢεϥΠυൃදʹ޲͍͍ͯͳ͍࿦จͰ͢ʣ • ։ൃαΠΫϧʹ૊ΈࠐΉ৔߹ͱɺެฏͳ ϕϯνϚʔΫͱͯ͠࢖͏ͱ͍͏༻్Ͱ͸ ཁٻ͞ΕΔੑ࣭͕ҟͳΓͦ͏ – ਅͷςετηοτ͸ΠϯελϯεΛ೷͚ͳ͍͸ͣ

    – ͋ΔೳྗͷςετΛ։ൃ༻ͱςετ༻ͰͲͷΑ͏ ʹ੾Γ෼͚Δ͔޻෉͕ඞཁ͔΋ ࠷ઌ୺/-1ษڧձ