(Reading )Agreeing to Disagree: Annotating Offensive Language Datasets with Annotators’ Disagreement

komachi lab.

Transcript

1. EMNLP 2021
2. - Ξϊςʔγϣϯʹ͓͚ΔJOUFSBOOPUBUPS
   BHSFFNFOUʹ͍ͭͯͷ࿦จ Ұൠతʹ͸BHSFFNFOU௿͍ 
   ΨΠυϥΠϯͷϛεɺεύϚʔͷӨڹˠσʔλͷ࣭௿͍ - 0GGFOTJWF
   MBOHVBHF
   EFUFDUJPOͱ͍͏ओ؍ੑͷߴ͍λεΫͰͷݕূ - ͍͍͍ͨ͜ͱɿ • ओ؍తͳλεΫʹ͓͍ͯɺJOUFSBOOPUBUPS
   BHSFFNFOU͕௿͍ʹϊΠζʢΞϊςʔγϣϯ ͷ ϛεʣ Ͱ͸ͳ͍ • ओ؍ੑɺCJBTɺςΩετͷᐆດ͞ͳͲ͸ॏཁͰ͋Γɺओ؍తͳλεΫͰ͸ຊ࣭తͳཁૉɻͳ ͷͰɺ͜ΕΒΛࣺͯͯ͸ͩΊɻ • BHSFFNFOU͕ߴ͍σʔλΛूΊΔͱσʔληοτ͕؆୯ʹͳΓ͗͢ɺݱߦͷσʔληοτ͸ ؆୯Ͱ͋Δ 2 概要
3. - $SPXETPVSDJOHͰΫϥ΢υϫʔΧʔ͸ෳࡶͳλεΫΛ࣮ߦ͢ΔͨΊͷτϨʔχϯά Λड͚͍ͯΔΘ͚Ͱ͸ͳ͍ 
   Ұൠʹ͸"HSFFNFOUΛ࢖ͬͯͦͷ඼࣭Λଌఆ͢Δ - 1P4 UBHHJOHͱ͔QBSTJOH
   ͸ΞϊςʔγϣϯΨΠυϥΠϯ͕ݪҼͰΞϊςʔλʔؒͷ ૬ҧ͕ੜ͡΍͍͢ɻˠ ࿩͠߹͍ʹΑͬͯղܾͰ͖Δɻ - 4PDJBM
   DPNQVUJOH
   UBTL
   PGGFOTJWF
   MBOHVBHF
   EFUFDUJPOͳͲ Ͱ͸ɺΞϊςʔλʔͷ ׬શͳ߹ҙ͸ڧ੍͞ΕΔ΂͖Ͱ͸ͳ͍ ˠ HMPCBM
   DPOTFOTVT
   ͸໨ࢦ͞ͳ͍ - Θ͔ͬͨ͜ͱɿ "HSFFNFOUͷ௿͍΋ͷͰ΋ϞσϧͷτϨʔχϯάʹ༗༻Ͱ͋ΓɺϥϯμϜͳΞϊςʔ γϣϯͰ͸ͳ͍͜ͱΛࣔͨ͠ɻ ͭ·Γɺࠓ·ͰߦΘΕ͖ͯͨΠϯελϯεͷ࡟আ͸ɺEJTBHSFFNFOU໰୊Λղܾ͢Δͨ Ίͷਖ਼͍͠ઓུͰ͸ͳ͍ɻ 3 Introduction
4. - ࠷ۙͰ͸ɺݴޠ͸ຊ࣭తʹᐆດͰ͋ΔͨΊɺEJTBHSFFNFOU͸ආ͚ΒΕͳ͍ͱओு͢ Δ࿦จ͕૿͍͑ͯΔ -PSB
   "SPZP BOE
   $ISJT
   8FMUZ
   
   5SVUI
   JT
   B
   MJF
   $SPXE
   USVUI
   BOE
   UIF
   TFWFO
   NZUIT
   PG
   IVNBO
   BOOPUBUJPO
   "*
   .BHB[JOF - /&3΍1PT UBHHJOHͳͲͰɺ"HSFFNFOUͷ௿͍ΠϯελϯεΛϑΟϧλϦϯάɺॏ Έ෇͚ɺ৴པੑͷ௿͍ΞϊςʔλʔͷಛఆͳͲΛ͢Δઌߦݚڀ͕ଟ਺͋Δ ˠ ؆୯ͳέʔεͷ෼ྨਫ਼౓Λ্͛Δ໨త - ࣅͨݚڀ • Ϋϥ΢υιʔεͷσʔληοτʹ͓͚ΔTUBCMF
   PQJOJPOT
   ͱϊΠζΛ෼཭ɻ .JUDIFMM
   -
   (PSEPO
   ,BJUMZO
   ;IPV
   ,BZVS 1BUFM
   5BUTVOPSJ )BTIJNPUP
   BOE
   .JDIBFM
   4
   #FSOTUFJO
   
   5IF
   EJTBHSFFNFOU
   EFDPOWPMVUJPO
   #SJOHJOH
   NBDIJOF
   MFBSOJOH
   QFSGPSNBODF
   NFUSJDT
   JO
   MJOF
   XJUI
   SFBMJUZ
   • ΞϊςʔλʔΛͦͷภ޲ੑʹج͍ͮͯάϧʔϓʹ෼͚ɺҟͳΔΰʔϧυελϯμʔυͱ͢Δ 4PIBJM "LIUBS
   7BMFSJP
   #BTJMF
   BOE
   7JWJBOB
   1BUUJ
   
   .PEFMJOH
   BOOPUBUPS
   QFSTQFDUJWF
   BOE
   QPMBSJ[FE
   PQJOJPOT
   UP
   JNQSPWF
   IBUF
   TQFFDI
   EFUFDUJPO
   4 関連研究
5. - πΠʔτ $PWJEɺถࠃେ౷ྖબڍɺ#MBDL
   -JWFT
   .BUUFS
   #-. ϋογϡλάͱಛఆͷ Ωʔϫʔυؚ͕·ΕΔπΠʔτΛऔಘ FH
   DPWJE
   FMFDUJPO
   CMN ສ݅ͷπΠʔτʢ֤υϝΠϯͰ໿ສ݅ʣΛϥϯμϜʹநग़ - ΞϊςʔγϣϯͷͨΊʹΫϥεʢ/
   0
   "HSFFNFOU
   MFWFMʣͷόϥϯεͷऔΕͨσʔ ληοτʹ͍ͨ͠ • ઌߦݚڀͷΞϊςʔγϣϯ͞ΕͨσʔληοτΛ࢖͏ɻ • ৚݅Λม͑ͨͭͷ#FSUϕʔεͷ෼ྨثΛ༻ҙͯ͠ɺΞϯαϯϒϧֶशʢ֤෼ྨثΛԾ૝త ͳΞϊςʔλʔͱݟ၏͢ʣɻ • ଟ਺ܾͷථ਺ΛҎԼͷΑ͏ʹఆٛ • Ξϯαϯϒϧͷ֤ҰகΫϥεʢ"
   "
   "ʣʹ͍ͭͯ ͷπΠʔτΛબ୒͠ɺυϝΠ ϯ͝ͱʹ߹ܭ ͷπΠʔτΛநग़ɻ 5 Data Selection and Annotation
6. - ωΠςΟϒεϐʔΧʔਓ͕Ξϊςʔγϣϯ - ߴ඼࣭ͳΞϊςʔγϣϯΛ࣮ݱ͢Δ • ਓͷઐ໳ՈʹΞϊςʔγϣϯΛґཔ͠ɺ׬શʹҰகͨ͠πΠʔτΛΰʔϧυελϯμʔυ ͱ͢Δɻ • Ϋϥ΢υϫʔΧʔ͕ΰʔϧυΛؒҧͬͨ৔߹ɺͦͷ)*5͸ഁغɻ • ૯߹తͳਫ਼౓͕࠷௿Ͱ΋ʹୡ͠ͳ͔ͬͨϫʔΧʔ͕ߦͬͨΞϊςʔγϣϯΛ͢΂ͯ࡟আɻ - ".5ͰΞϊςʔγϣϯ͞ΕͨπΠʔτͷ૯਺͸ ݅ 6 こまかいAnnotation 内容 ͜Ε͸ؒ઀తʹBHSFFNFOU؅ཧɺ CJBTআڈ͍ͯ͠ΔͷͰ͸ʁ
7. - Ϋϥ΢υΞϊςʔγϣϯͷ෼෍͸߈ܸతͳπΠʔτ͕ˋɺඇ߈ܸతͳπΠʔτ͕ˋɺ ΞϯαϯϒϧΞϊςʔγϣϯͰ͸ͦΕͧΕˋɻ - ΞϯαϯϒϧͷBHSFFNFOUΫϥε͸VOJGPSN͕ͩɺΫϥ΢υΞϊςʔγϣϯ͸VOJGPSNͰ ͸ͳ͍ɻ - ΞϯαϯϒϧͱΫϥ΢υͷBHSFFFNFOUͷؒͷ1FBSTPOTͷ૬ؔ܎਺͸ - ΞϯαϯϒϧΛ༻͍ͨ1SFTDSFFO͸ᐆດ͞ͷͳ͍ɺ·ͨ͸ΑΓࠔ೉ͳπΠʔτΛಛఆͰ͖ ΔՄೳੑ͕͋Δɻ 7 (Annotation結果)
8. - ୅໊ࢺ - ಛఆͷਓ΍άϧʔϓΛର৅ͱ͠ͳ͍ҰൠతͳౖΓͷදݱ - 2VFTUJPOT ˠ EJTBHSFFNFOU͸ɺQPPS
   BOOPUBUJPOʹىҼ͢Δ΋ͷͰ͸ͳ͘ɺπΠʔτͷղऍͷ૬ ҧʹىҼ͢Δ΋ͷɻ 8 アノテーションのdisagreementにつながる現象
9. - 5SBJO
   5FTU
   EBUB • "
   " ͷͭΛ܇࿅ʹ༻͍Δͷ͕Ͳͷ5FTU
   TFUʹରͯ͠΋Ұ൪ྑ͍ • "HSFFNFOU͕௿͍σʔλ͸΍͸Γਫ਼౓ΛԼ͛Δ 9 Classificationに対する影響
10. "SBOE
    "ͷϥϕϧΛϥϯμϜͳ΋ͷʹஔ͖׵͑ͨ΋ͷ • "SBOEΑΓ΋"ͷํ͕ྑ͍ͷͰɺ"ͷϥϕϧ͸ۮવʹׂΓ౰ͯΒΕͨ΋ͷͰ͸ ͳ͘ɺࠔ೉Ͱ͸͋Δ͕෼ྨثʹͱͬͯ༗༻ͳ৴߸ΛؚΜͰ͍Δɻ • Πϯελϯεͷ࡟আ͸৘ใͷଛࣦʹͭͳ͕ΔͨΊྑ͘ͳ͍ 10 Agreementが低いものは精度向上に役⽴つか
11. 4IBSE
    UBTL 0GGFOTFWBM Ͱ༻͍ΒΕ͍ͯΔσʔληοτʹରͯ͠.UVSLͰΞϊςʔγϣϯͨ͠΋ͷ • طଘͷλεΫ͸େ൒ͷγεςϜ͕ೋ஋෼ྨλεΫͰ'είΞʼ • ೉͍͠Πϯελϯε͕গͳ͍ͨΊείΞ͕ߴ͘ͳ͍ͬͯΔ ˠΦʔόʔαϯϓϦϯάͱ͔Ͱ೉͍͠ΠϯελϯεΛ૿΍͢΂͖Ͱ͸ʁʢஶऀʣ - ͔͠͠ɺσʔληοτͷ෼෍͸େن໛σʔλͱൺ΂ͯಉ͡ͳͷͰࣗવɻ 11 既存データセットに対する調査 λεΫͱͯ͠͸ࣗવͳ෼෍ͱΦʔόʔαϯ ϓϦϯά͢ΔͷͱͲͬͪͷํ͕޷·͍͠ʁ
12. - "HSFFNFOU͕௿͍σʔλ͸ਫ਼౓ΛԼ͛Δ͕ɺਫ਼౓ΛԼ͛Δ͔ΒͱݴͬͯϊΠζͰ͸ ͳ͍ - σʔλʹଟ༷ੑΛऔΓೖΕɺϚΠϊϦςΟͷ੠ͷഉআͱਓޱ౷ܭֶతͳޡΓͷ྆ํΛ ݮΒ͍ͨ͠ͷͰ͋Ε͹ʢ)PWZ BOE
    4QSVJU
    ʣɺҙݟͷ૬ҧ͸ϊΠζͰ͸ͳ͘ TJHOBMͱͯ͠ݟΒΕΔ΂͖Ͱ͢ɻ - ײ૝ • ͜ͷݚڀͷ"HSFFNFOU
    SBUFͷ௿͍Πϯελϯεʹ͸݁ہϊΠζͱTUBCMF
    PQJOJPOTͷͲͪΒ ΋ؚ·Ε͍ͯΔΑ͏ͳؾ͕͢Δ 12 まとめ