Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

#FZPOE"DDVSBDZ #FIBWJPSBM5FTUJOHPG /-1 .PEFMT XJUI $IFDL-JTU ಡΉਓদྛ ༏Ұ࿠ʢ౦๺େֶʣ ࠷ઌ୺/-1ษڧձ
ACL 2020 Best Paper

࿦จͷ֓ཁ • ιϑτ΢ΣΞͷৼ෣ۦಈ։ൃͰ༻͍Δৼ෣ςετΛ/-1 ϞσϧͷධՁʹ࣋ͪࠐΜͩ – ϞσϧධՁͷ৽͍͠ϑϨʔϜϫʔΫʗධՁ༻πʔϧΩοτ – ௨ৗͷϕϯνϚʔΫͰ͸ධՁ͠೉͍ʮϞσϧͷݴޠೳྗʯΛࡉ͔ ͘෼ੳͰ͖Δ •
ςετͷεέʔϥϏϦςΟ΋୲อ – ςϯϓϨʔτهड़ʗςετͷόϦΤʔγϣϯࣗಈੜ੒ • ̏ͭͷλεΫʹ͓͚ΔσϞͰɺ͜ͷํ๏࿦͕λεΫඇґଘʹ ࢖͑Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετʹΑΓɺ୹࣌ؒͰޮ཰Α͘ϞσϧͷόάΛ ൃݟͰ͖Δ͜ͱ΍ɺϞσϧͷੑೳʹର͢Δཧղ͕ਂ·Δ͜ͱ Λ֬ೝͨ͠ ࠷ઌ୺/-1ษڧձ

ຊ࿦จͰऔΓ্͛ΔλεΫ • 4FOUJNFOUBOBMZTJT 4FOUJNFOU • %VQMJDBUFRVFTUJPOEFUFDUJPO 221 – ̎ͭͷ࣭໰͕ҙຯతʹ౳Ձ͔ <8BOHFUBM
C> • )PXDBO*CFDPNFNPSFPQUJNJTUJD • )PXDBO*CFDPNFMFTTQFTTJNJTUJD ˠ • .BDIJOFDPNQSFIFOTJPO .$ – $7JDUPSJBJTZPVOHFSUIBO%ZMBO – 28IPJTMFTTZPVOH "%ZMBO ࠷ઌ୺/-1ษڧձ Quora Question Pairs <3BKQVSLBS FUBM >

ఏҊख๏ $IFDL-JTU • Ϟσϧʹରͯ͠ධՁ͍ͨ͠ ೳྗΛϦετΞοϓ ˠ ݸผͷৼΔ෣͍ςετʹ ॻ͖Լ͢ • ৼΔ෣͍ςετʹ͸̏ͭͷ
λΠϓΛࢦఆ • ςετͷ௨ա཰ͰධՁ • ςϯϓϨʔτʹΑΔςετ έʔεͷ൚Խ ˠେྔͷςετΛ؆୯ʹ ࡞੒Մೳ ࠷ઌ୺/-1ษڧձ 4FOUJNFOU"OBMZTJT Ͱͷྫ

$IFDL-JTU ͷ ߏ੒ཁૉ • $BQBCJMJUJFT – ͋ΔλεΫΛߦ͏Ϟσϧʹ ର͔ͯ֬͠Ί͍ͨओཁͳ ݴޠೳྗͷϦετ •
5FTUDBTFT – ࣮ࡍͷςετΠϯελϯε • खಈྻڍ • ςϯϓϨʔτʴ୯ޠϦετ • ݴޠϞσϧʹΑΔީิੜ੒ • 5FTUUZQFT – ֤ςετέʔε͕ೳྗΛ֬ೝ ͢Δͷʹར༻͍ͯ͠Δํ๏࿦ – ̏λΠϓ • ࠷খཁ݅ɺෆมੑɺมԽͷํ޲ ࠷ઌ୺/-1ษڧձ 4FOUJNFOU"OBMZTJT Ͱͷྫ

$BQBCJMJUJFT • ͋ΔλεΫΛߦ͏Ϟσϧʹର͔ͯ֬͠Ί͍ͨ ओཁͳݴޠೳྗͷϦετ • ஶऀΒ͕ςετͰߟྀ͢Δ͜ͱΛਪ঑͢Δೳྗ – 7PDBCVMBSZ 104 JNQPSUBOUXPSETPSXPSEUZQFTGPSUIFUBTL
– 5BYPOPNZ TZOPOZNT BOUPOZNT FUD – 3PCVTUOFTT UPUZQPT JSSFMFWBOUDIBOHFT FUD – /&3 'BJSOFTT /FHBUJPO – 5FNQPSBM VOEFSTUBOEJOHPSEFSPGFWFOUT – $PSFGFSFODF 4FNBOUJD3PMF-BCFMJOH -PHJD ࠷ઌ୺/-1ษڧձ

7PDBCVMBSZ 104 • ͦͷλεΫͰॏ఺తʹݟΔ΂͖ޠͷΫϥεɾ౷ޠΧςΰϦΛ Ϟσϧ͕೺ѲͰ͖͍ͯΔ͔ΛνΣοΫ ςετέʔεͷ۩ମྫ • 4FOUJNFOU – ໨తɿۃੑΛ࣋ͭޠΛೝࣝͰ͖͍ͯΔ͔Λςετ͍ͨ͠
• l5IJTXBTBHPPEGMJHIUz ˠQPTJUJWF • 221 2VPSB2VFTUJPO1BJST – ໨తɿम০ޠ͕࣭໰಺༰Λม͑͏Δ͜ͱΛཧղ͍ͯ͠Δ͔ • l*T+PIOBUFBDIFS z WTl*T+PIOBO BDDSFEJUFEUFBDIFS z • .$ – ໨తɿൺֱڃ΍࠷্ڃΛཧղͰ͖͍ͯΔ͔ • $l.BSZJTTNBSUFSUIBO+PIOz • 2l8IPJTUIFTNBSUFTULJE z "l.BSZz ࠷ઌ୺/-1ษڧձ

5FTU5ZQFT • .JOJNVN'VODUJPOBMJUZUFTU .'5 – ͜Ε͚ͩ͸ղ͚ͯ΄͍͠໰୊ͨͪ – ୯ମςετΈ͍ͨͳ΋ͷ • *OWBSJBODFUFTU
*/7 – ೖྗʹ݁ՌʹӨڹΛ༩͑ͳ͍มߋΛՃ͑ͨ৔߹ʹग़ྗϥϕϧΛ ҡ࣋Ͱ͖Δ͔ – ϝλϞϧϑΟοΫςετ • ʢೖྗΛม׵ͨ͠ͱ͖ͷڍಈͰଟ༷ੑΛٖࣅతʹςετʁʣ • %JSFDUJPOBM&YQFDUBUJPOUFTU %*3 – ೖྗʹɺ͋Δํ޲ʹ͔݁͠ՌΛม͑ͳ͍มߋΛ Ճ͑ͨ৔߹ʹग़ྗϥϕϧ͕ผํ޲ʹมԽ͠ͳ͍͔ – ϝλϞϧϑΟοΫςετ ࠷ઌ୺/-1ษڧձ

(FOFSBUJOH5FTU$BTFTBU4DBMF • ςετͷ࡞Γํͱͯ͠ೋ௨Γ͋Γ͏Δ – ·ͣগ਺ͷߴ඼࣭ͷςετΛߟ͑Δ • ଟେͳ૑଄ੑͱ࿑ྗ͕ඞཁ – طଘͷσʔληοτ͔Βαϯϓϧʴվม͢Δ •
վมͷͨΊͷؔ਺Λ҆શʹ࡞Δͷ͕େม • ྆ํͷϝϦοτɾσϝϦοτΛαϙʔτ͢Δ ػೳΛఏڙ – ςϯϓϨʔτʴ୯ޠϦετ – ݴޠϞσϧʹΑΔީิੜ੒ ࠷ઌ୺/-1ษڧձ

ςϯϓϨʔτ • ςϯϓϨʔτʴ୯ޠϦετ UFNQMBUFI {NEGATION} {POS_VERB} the {THING}. {NEGATION} =
{EJEO`U DBO`UTBZ* } {POS_VERB} = {MPWF MJLF ...} {THING} = {GPPE GMJHIU TFSWJDF ...} – ૊Έ߹Θͤશ௨ΓΛੜ੒͢Δ ࠷ઌ୺/-1ษڧձ

ςϯϓϨʔτ֦ு • ୯ޠϦετΛ࡞Δίετ͕େ͖͍ ˠݴޠϞσϧʹΑΔ݀ຒΊީิੜ੒ • 3P#&35B ʹΑΓީิੜ੒ – l*SFBMMZ\NBTL^UIF GMJHIUz
ˠZJFMET\FOKPZFE MJLFE MPWFE SFHSFU ^ ࠷ઌ୺/-1ษڧձ • Ϣʔβʔʹऔࣺબ୒ͤ͞Δπʔϧ΋༻ҙ • ݁Ռʹ sensitive Ͱ͸ͳ͍ͱ͜ΖΛϚεΫ ͢Δ৔߹͸ϑΟϧλϦϯάͷίετ΋ͳ͍

ؔ࿈ݚڀͱͷҐஔ͚ͮ • Ϟσϧͷࡉ͔͍ೳྗΛݟΔʮνϟϨϯδܕʯධՁ ηοτ͸͜Ε·Ͱʹ΋͍͔ͭ͘ఏҊ͞Ε͍ͯΔ – ͨͩɺͦͷຆͲ͸ਪ࿦ʹؔΘΔ΋ͷ – ίετΛ͔͚ͯ࡞Γࠐ·Ε͓ͯΓɺධՁ σʔλͷεέʔϧ͕খ͍͞ –
ۃ౓ʹ೉͍͠έʔε͕ଟ͍ • $IFDL-JTU ͸͜͏ͨ͠طଘͷධՁηοτͷऑ఺Λิ͏ ํ๏ͱͯ͠༗ޮ – ࠷௿ݶͰ͖͍ͯͯ΄͍͠ࣄྫͷςετ – ςετέʔεͷεέʔϥϏϦςΟʢΧόϨοδʣ – ୹࣌ؒͰ͋Δఔ౓࡞੒Մೳ ࠷ઌ୺/-1ษڧձ

ओཁͳߩݙ • ݸผͷλεΫͰϞσϧͷৄࡉͳೳྗ෼ੳΛߦ͏ͨΊͷ γεςϚςΟοΫͳϑϨʔϜϫʔΫΛπʔϧΩοτԽͨ͠ – $BQBCJMJUJFT º 5FTUDBTFT ͷ̎࣠ ʴ
ςϯϓϨʔτهड़Ͱ ϢʔβʹγϯϓϧͳઃܭͷΨΠμϯεΛఏڙ • ̏ͭͷλεΫͰ࣮ࡍʹϕϯνϚʔΫςετ͚͔ͩΒ͸ ໌Β͔ʹͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ͜ͱΛࣔͨ͠ • ϢʔβʔςετͰɺϓϩμΫτϨϕϧͷιϑτ΢ΣΞͷ όάςετ΍৽نࢀೖ࣌ͷςετɺϞσϧͷೳྗ೺Ѳʹ ໾ཱͭ͜ͱΛࣔͨ͠ ࠷ઌ୺/-1ษڧձ

5FTUJOH405"NPEFMT XJUI$IFDL-JTU • 4FOUJNFOUͷ෦෼͚ͩ঺հ͠·͢ – ࿦จͰ͸̏ͭͷλεΫͰൺֱ • 4FOUJNFOU 221 .$
• ߤۭձࣾυϝΠϯͰςετ • ̑ͭͷൺֱϞσϧ – ̏ͭͷ঎༻"1* – BOE3P#&35B GJOFUVOFEPO445 ࠷ઌ୺/-1ษڧձ movie review • ιʔγϟϧϝσΟΞ ޲͚Ϟσϧ

ςετͷҰ෦ ࠷ઌ୺/-1ษڧձ

7PDBC 104 .'5T • ݈શੑͷνΣοΫ – ͘͢͝؆୯ͳྫ͕͔֬ʹ౰ͯΒΕΔ͔ .JDSPTPGU͕ࣾଞࣾ੡඼Λ߈ܸ͢ΔίʔφʔͷΑ͏ʹ ݟ͑ͳ͘΋ͳ͍ ࠷ઌ୺/-1ษڧձ

݈શੑνΣοΫ • .'5͔Β෼͔Δ͜ͱ – # ͱ 3P# ͸χϡʔτϥϧΛ͋·Γ༧ଌͰ͖ͳ͍ – ໌Β͔ʹχϡʔτϥϧͳจͰ΋ؒҧ͏
( " – ໌Β͔ʹϙδςΟϒͳ΋ͷ FH l*MJLFUIJTTFBUz Ͱ΋ ͦͦؒ͜͜ҧ͏ ( • ߴੑೳʴΑ͘ςετ͞Εͨ঎༻γεςϜͰ΋ جຊతͳ෦෼ʹର͢Δؒҧ͍͕͋Δ͜ͱ͕ ු͖ூΓʹͳͬͨ ࠷ઌ୺/-1ษڧձ

ؤ݈ੑ • ϥϯμϜ63-ͷ௥ՃɺλΠϙɺݻ༗໊ࢺೖΕସ͑ • ͢΂ͯͷγεςϜ͕͜ͷΑ͏ͳվมʹηϯγςΟϒͳ ൓ԠΛݟͤΔ ࠷ઌ୺/-1ษڧձ

ߏ଄తͳݴޠཧղ • 5FNQPSBM /FHBHUJPO 43- ˠ΄ͱΜͲͰ͖͍ͯͳ͍ • ݱঢ়ͲͷγεςϜ΋͋Δఔ౓ͷද૚తͳཧղʹͱͲ·ͬ ͍ͯΔ ࠷ઌ୺/-1ษڧձ

ͦͷଞͷಘΒΕͨ஌ݟ • 'BJSOFTT – ͢΂ͯͷ঎༻γεςϜ͸ 'BJSOFTTTBOJUZ DIFDLTΛ௨աͨ͠ • l*BNBCMBDLXPNBOz UFNQMBUF*BNB\1305&$5&%^\/06/^
BMXBZTQSFEJDUJOHUIFNBTOFVUSBM – #&35͸ • CMBDL BUIFJTU HBZ BOEMFTCJBO ʹରͯ͠ ৗʹωΨςΟϒ • "TJBO TUSBJHIU ʹରͯ͠ৗʹϙδςΟϒ ࠷ઌ୺/-1ษڧձ

ͦͷଞͷಘΒΕͨ஌ݟ • /FVUSBM Λআ͍ͨΠϯελϯεʹ͸ – #&35ͱ 3P#&35B ͸ଞͷ঎༻γεςϜΑΓ ྑ͍݁ՌͱͳΔ •
঎༻γεςϜ͸ιʔγϟϧϝσΟΞʹνϡʔϯ ͞ΕͯΔ͸ͣɻ#&35ͱ 3P#&35B ͸өըυϝΠ ϯʹνϡʔϯɻͦΕͰ΋͜͏͍͏݁ՌʹͳΔ • /BHBUJPOʹ͍ͭͯ – #&35ͱ 3P#&35B ͸ΠϯυϝΠϯࣄྫʹ͸ ੑೳ͕ग़Δ͕ɺඇৗʹγϯϓϧͳ TBOJUZ DIFDLTͷ΄ͱΜͲʹؒҧ͏ ࠷ઌ୺/-1ษڧձ

͜͏ͨ͠ςετͷԿ͕خ͍͔͠ ʢݴ͍׵͑ʣ • ϕϯνϚʔΫςετ͚͔ͩΒ͸໌Β͔ʹ ͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ • γεςϚςΟοΫͳϑϨʔϜϫʔΫͰ Ϣʔβʔͷ૑଄ੑʹର͢Δෛՙ͕খ͍͞ • Ұͭͷςετέʔεʹରͯ͠ޠኮͷόϦ
ΤʔγϣϯΛ༻ҙ͢Δ͜ͱͰ͋Δఔ౓ ໢ཏతʹ TBOJUZDIFDLͰ͖Δ ࠷ઌ୺/-1ษڧձ

6TFS UFTUT • ̎ͭͷςετ – .JDSPTPGUͷ঎༻"1*։ൃਞʹ࢖ͬͯ΋Β͏ – /-1ܦݧऀʹ৽ͨʹ221ʹνϡʔϯ͞Εͨ #&35ͷೳྗςετΛ΍ͬͯ΋Β͏ •
اۀ͔Β໊̔ɺֶज़ք͔Β໊̍̌ ࠷ઌ୺/-1ษڧձ

.JDSPTPGUͷ঎༻"1*։ൃਞʹ ࢖ͬͯ΋Β͏ • લఏ – ঎༻γεςϜͳͷͰͦ΋ͦ΋͔ͳΓλϑͳ ςετ͕࣮ࢪ͞Ε͍ͯΔ • ಺༰ –
ஶऀΒͷϨΫνϟʔΛड͚ͳ͕Β̑࣌ؒͷൣғͰ ϞσϧΛ $IFDL-JTU ͯ͠΋Β͏ • ݁Ռ – ̏̌ͷςετέʔεΛߟ࣮͑ͯ̎̌૷Ͱ͖ͨ – ͜Ε·Ͱ࣮૷ͯ͠ͳ͔ͬͨςετ͕Ͱ͖ͨ – ࣮૷ࡁΈͷ΋ͷ΋ΑΓแׅతʹͳͬͨ – ʮ࣍ͷ։ൃαΠΫϧʹ૊ΈࠐΈ͍͔ͨΒ࣮૷͘Εʯ ͱݴΘΕͨ ࠷ઌ୺/-1ษڧձ

221ʹνϡʔϯ͞Εͨ#&35ͷ ೳྗςετΛ΍ͬͯ΋Β͏ • ෼͔ͬͨ͜ͱ – ೳྗϦετΛ౉͢ͱ • ΑΓͨ͘͞Μςετ͕ ࡞Εͨ •
ΑΓଟ࠼ͳೳྗΛ ௐ΂ΔΑ͏ʹͳͬͨ – ςϯϓϨʔτ࢖͏ͱ • ͨ͘͞Μςετ͕ ࡞Εͨ • γϏΞͳόάΛ ͨ͘͞Μݟ͚ͭΒΕͨ ࠷ઌ୺/-1ษڧձ • Capability ͷϦετ͕Ϣʔβ΁ͷ ΨΠυͱͯ͠໾ʹཱ͍ͬͯΔ • ςϯϓϨʔτ͸ςετͷ໢ཏੑʹ ߩݙ͍ͯ͠Δ

·ͱΊͱٞ࿦ • ςετͷ৽͍͠ϑϨʔϜϫʔΫ – λεΫඇґଘʹ࢖͑Δ – ϢʔβʔςετͰ͍Ζ͍Ζόάݟ͚ͭΒΕͨ • ํ๏࿦ͷݶք –
$IFDL-JTU DBOOPUCF EJSFDUMZVTFEGPSOPO CFIBWJPSBM JTTVFTTVDIBT • EBUB WFSTJPOJOHQSPCMFNT "NFSTIJ FUBM • MBCFMJOH FSSPST • BOOPUBUPSCJBTFT (FWB FUBM • XPSTUDBTFTFDVSJUZJTTVFT 8BMMBDFFUBM • MBDLPGJOUFSQSFUBCJMJUZ 3JCFJSPFUBM ࠷ઌ୺/-1ษڧձ

ײ૝ • ৄࡉ͕໘ന͍ͷͰ࿦จΛಡΉ͜ͱΛ͓͢͢Ί ͠·͢ʢεϥΠυൃදʹ޲͍͍ͯͳ͍࿦จͰ͢ʣ • ։ൃαΠΫϧʹ૊ΈࠐΉ৔߹ͱɺެฏͳ ϕϯνϚʔΫͱͯ͠࢖͏ͱ͍͏༻్Ͱ͸ ཁٻ͞ΕΔੑ࣭͕ҟͳΓͦ͏ – ਅͷςετηοτ͸ΠϯελϯεΛ೷͚ͳ͍͸ͣ
– ͋ΔೳྗͷςετΛ։ൃ༻ͱςετ༻ͰͲͷΑ͏ ʹ੾Γ෼͚Δ͔޻෉͕ඞཁ͔΋ ࠷ઌ୺/-1ษڧձ

Beyond Accuracy: Behavioral Testing of NLP Mod...

Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

Yuichiroh

More Decks by Yuichiroh

Other Decks in Research

Featured

Transcript

#FZPOE"DDVSBDZ #FIBWJPSBM5FTUJOHPG /-1 .PEFMT XJUI $IFDL-JTU ಡΉਓদྛ ༏Ұ࿠ʢ౦๺େֶʣ ࠷ઌ୺/-1ษڧձ

࿦จͷ֓ཁ • ιϑτ΢ΣΞͷৼ෣ۦಈ։ൃͰ༻͍Δৼ෣ςετΛ/-1 ϞσϧͷධՁʹ࣋ͪࠐΜͩ – ϞσϧධՁͷ৽͍͠ϑϨʔϜϫʔΫʗධՁ༻πʔϧΩοτ – ௨ৗͷϕϯνϚʔΫͰ͸ධՁ͠೉͍ʮϞσϧͷݴޠೳྗʯΛࡉ͔ ͘෼ੳͰ͖Δ •

ຊ࿦จͰऔΓ্͛ΔλεΫ • 4FOUJNFOUBOBMZTJT 4FOUJNFOU • %VQMJDBUFRVFTUJPOEFUFDUJPO 221 – ̎ͭͷ࣭໰͕ҙຯతʹ౳Ձ͔ <8BOHFUBM

ఏҊख๏ $IFDL-JTU • Ϟσϧʹରͯ͠ධՁ͍ͨ͠ ೳྗΛϦετΞοϓ ˠ ݸผͷৼΔ෣͍ςετʹ ॻ͖Լ͢ • ৼΔ෣͍ςετʹ͸̏ͭͷ

$IFDL-JTU ͷ ߏ੒ཁૉ • $BQBCJMJUJFT – ͋ΔλεΫΛߦ͏Ϟσϧʹ ର͔ͯ֬͠Ί͍ͨओཁͳ ݴޠೳྗͷϦετ •

$BQBCJMJUJFT • ͋ΔλεΫΛߦ͏Ϟσϧʹର͔ͯ֬͠Ί͍ͨ ओཁͳݴޠೳྗͷϦετ • ஶऀΒ͕ςετͰߟྀ͢Δ͜ͱΛਪ঑͢Δೳྗ – 7PDBCVMBSZ 104 JNQPSUBOUXPSETPSXPSEUZQFTGPSUIFUBTL

7PDBCVMBSZ 104 • ͦͷλεΫͰॏ఺తʹݟΔ΂͖ޠͷΫϥεɾ౷ޠΧςΰϦΛ Ϟσϧ͕೺ѲͰ͖͍ͯΔ͔ΛνΣοΫ ςετέʔεͷ۩ମྫ • 4FOUJNFOU – ໨తɿۃੑΛ࣋ͭޠΛೝࣝͰ͖͍ͯΔ͔Λςετ͍ͨ͠

5FTU5ZQFT • .JOJNVN'VODUJPOBMJUZUFTU .'5 – ͜Ε͚ͩ͸ղ͚ͯ΄͍͠໰୊ͨͪ – ୯ମςετΈ͍ͨͳ΋ͷ • *OWBSJBODFUFTU

(FOFSBUJOH5FTU$BTFTBU4DBMF • ςετͷ࡞Γํͱͯ͠ೋ௨Γ͋Γ͏Δ – ·ͣগ਺ͷߴ඼࣭ͷςετΛߟ͑Δ • ଟେͳ૑଄ੑͱ࿑ྗ͕ඞཁ – طଘͷσʔληοτ͔Βαϯϓϧʴվม͢Δ •

ςϯϓϨʔτ • ςϯϓϨʔτʴ୯ޠϦετ UFNQMBUFI {NEGATION} {POS_VERB} the {THING}. {NEGATION} =

ςϯϓϨʔτ֦ு • ୯ޠϦετΛ࡞Δίετ͕େ͖͍ ˠݴޠϞσϧʹΑΔ݀ຒΊީิੜ੒ • 3P#&35B ʹΑΓީิੜ੒ – l*SFBMMZ\NBTL^UIF GMJHIUz

ؔ࿈ݚڀͱͷҐஔ͚ͮ • Ϟσϧͷࡉ͔͍ೳྗΛݟΔʮνϟϨϯδܕʯධՁ ηοτ͸͜Ε·Ͱʹ΋͍͔ͭ͘ఏҊ͞Ε͍ͯΔ – ͨͩɺͦͷຆͲ͸ਪ࿦ʹؔΘΔ΋ͷ – ίετΛ͔͚ͯ࡞Γࠐ·Ε͓ͯΓɺධՁ σʔλͷεέʔϧ͕খ͍͞ –

ओཁͳߩݙ • ݸผͷλεΫͰϞσϧͷৄࡉͳೳྗ෼ੳΛߦ͏ͨΊͷ γεςϚςΟοΫͳϑϨʔϜϫʔΫΛπʔϧΩοτԽͨ͠ – $BQBCJMJUJFT º 5FTUDBTFT ͷ̎࣠ ʴ

5FTUJOH405"NPEFMT XJUI$IFDL-JTU • 4FOUJNFOUͷ෦෼͚ͩ঺հ͠·͢ – ࿦จͰ͸̏ͭͷλεΫͰൺֱ • 4FOUJNFOU 221 .$

ςετͷҰ෦ ࠷ઌ୺/-1ษڧձ

7PDBC 104 .'5T • ݈શੑͷνΣοΫ – ͘͢͝؆୯ͳྫ͕͔֬ʹ౰ͯΒΕΔ͔ .JDSPTPGU͕ࣾଞࣾ੡඼Λ߈ܸ͢ΔίʔφʔͷΑ͏ʹ ݟ͑ͳ͘΋ͳ͍ ࠷ઌ୺/-1ษڧձ

݈શੑνΣοΫ • .'5͔Β෼͔Δ͜ͱ – # ͱ 3P# ͸χϡʔτϥϧΛ͋·Γ༧ଌͰ͖ͳ͍ – ໌Β͔ʹχϡʔτϥϧͳจͰ΋ؒҧ͏

ؤ݈ੑ • ϥϯμϜ63-ͷ௥ՃɺλΠϙɺݻ༗໊ࢺೖΕସ͑ • ͢΂ͯͷγεςϜ͕͜ͷΑ͏ͳվมʹηϯγςΟϒͳ ൓ԠΛݟͤΔ ࠷ઌ୺/-1ษڧձ

ߏ଄తͳݴޠཧղ • 5FNQPSBM /FHBHUJPO 43- ˠ΄ͱΜͲͰ͖͍ͯͳ͍ • ݱঢ়ͲͷγεςϜ΋͋Δఔ౓ͷද૚తͳཧղʹͱͲ·ͬ ͍ͯΔ ࠷ઌ୺/-1ษڧձ

ͦͷଞͷಘΒΕͨ஌ݟ • 'BJSOFTT – ͢΂ͯͷ঎༻γεςϜ͸ 'BJSOFTTTBOJUZ DIFDLTΛ௨աͨ͠ • lBNBCMBDLXPNBOz UFNQMBUFBNB\1305&$5&%^\/06/^

ͦͷଞͷಘΒΕͨ஌ݟ • /FVUSBM Λআ͍ͨΠϯελϯεʹ͸ – #&35ͱ 3P#&35B ͸ଞͷ঎༻γεςϜΑΓ ྑ͍݁ՌͱͳΔ •

͜͏ͨ͠ςετͷԿ͕خ͍͔͠ ʢݴ͍׵͑ʣ • ϕϯνϚʔΫςετ͚͔ͩΒ͸໌Β͔ʹ ͳΒͳ͍ࡉ͔ͳೳྗධՁ͕Ͱ͖Δ • γεςϚςΟοΫͳϑϨʔϜϫʔΫͰ Ϣʔβʔͷ૑଄ੑʹର͢Δෛՙ͕খ͍͞ • Ұͭͷςετέʔεʹରͯ͠ޠኮͷόϦ

6TFS UFTUT • ̎ͭͷςετ – .JDSPTPGUͷ঎༻"1*։ൃਞʹ࢖ͬͯ΋Β͏ – /-1ܦݧऀʹ৽ͨʹ221ʹνϡʔϯ͞Εͨ #&35ͷೳྗςετΛ΍ͬͯ΋Β͏ •

.JDSPTPGUͷ঎༻"1*։ൃਞʹ ࢖ͬͯ΋Β͏ • લఏ – ঎༻γεςϜͳͷͰͦ΋ͦ΋͔ͳΓλϑͳ ςετ͕࣮ࢪ͞Ε͍ͯΔ • ಺༰ –

221ʹνϡʔϯ͞Εͨ#&35ͷ ೳྗςετΛ΍ͬͯ΋Β͏ • ෼͔ͬͨ͜ͱ – ೳྗϦετΛ౉͢ͱ • ΑΓͨ͘͞Μςετ͕ ࡞Εͨ •

·ͱΊͱٞ࿦ • ςετͷ৽͍͠ϑϨʔϜϫʔΫ – λεΫඇґଘʹ࢖͑Δ – ϢʔβʔςετͰ͍Ζ͍Ζόάݟ͚ͭΒΕͨ • ํ๏࿦ͷݶք –

ײ૝ • ৄࡉ͕໘ന͍ͷͰ࿦จΛಡΉ͜ͱΛ͓͢͢Ί ͠·͢ʢεϥΠυൃදʹ޲͍͍ͯͳ͍࿦จͰ͢ʣ • ։ൃαΠΫϧʹ૊ΈࠐΉ৔߹ͱɺެฏͳ ϕϯνϚʔΫͱͯ͠࢖͏ͱ͍͏༻్Ͱ͸ ཁٻ͞ΕΔੑ࣭͕ҟͳΓͦ͏ – ਅͷςετηοτ͸ΠϯελϯεΛ೷͚ͳ͍͸ͣ