Leveraging Crowdsourcing for Paraphrase Recognition

௕ Ԭ ٕ ज़ Պ ֶ େ ֶ ࣗ વ ݴ ޠ ॲ ཧ ݚ ڀ ࣨ ֶ ෦ ̐ ೥ ֯ ு ཽ ੖ Leveraging Crowdsourcing for Parapharase Recognition Martin Tschirsich, Gerold Hintz Proceedings of the 7th Linguistic Annotation Workshop & Interoperability with Discourse, pages 205–213, Sofia, Bulgaria, August 8-9, 2013. ਤ΍ද͸࿦จΑΓҾ༻ 1

概要 2 ʲௐࠪɾఏҊʳ   ύϥϑϨʔζೝࣝͷͨΊͷΫϥ΢υιʔγϯάํ๏ ὎ଟஈ֊ͷΫϥ΢υιʔγϯάख๏Λఏࣔɻ ʲ݁Ռʳ   จ຺తͳݴ͍׵͑ͷੜ੒ΛͰ͖Δɻ  
ݴ͍׵͑ίʔύεͷίετΛେ෯ʹ࡟ݮͰ͖Δɻ

はじめに 3 ʲύϥϑϨʔζೝࣝʳ %SBT ަ׵͕ՄೳͳςΩετͷϖΞΛ෼ੳ͢Δ͜ͱ ˔ྫ͑͹ɾɾɾ৘ใݕࡧͷ෼໺ ʮୈ୅ถࠃେ౦ྗͷࡴਓʯ
ɹʹʮδϣϯ'ɾέωσΟͷ҉ࡴʯ

はじめに 4 ʲύϥϑϨʔζೝࣝͷݚڀʳ   Φʔϓϯͳݚڀ՝୊ ὎ۙ೥ɺٸܹʹਐา͍ͯ͠Δ 4PDIFSFUBM
὎͔͠͠ɺਫ਼౓͸ະͩʹ޲্͍ͯ͠ͳ͍ɻ

パラフレーズの定義 5 ʲύϥϑϨʔζͷ֓೦ʳ %PMBOBOE#SPDLFUU   ҙຯత࿦ྨࣅੑͱ୯ޠΦϯτϩδʔͷ֓೦ʹີ઀ʹ ؔ࿈͍ͯ͠Δɻ  
ਖ਼֬ͳఆٛ͸ͳ͘ɺෳࡶͳΨΠυϥΠϯͰܾఆɻ Ϋϥ΢υιʔγϯάΛߦ͏ࡍʹ͸ɾɾɾ ࡞ۀऀͷ௚ײʹཔ͍ͬͯΔ͜ͱʹ஫ҙ͢Δඞཁ͕͋Δɻ ὎ྫจ͕ॏཁͰ͋Δ

パラフレーズの認識 6 ʲύϥϑϨʔζͷೝࣝʳ 4PDIFSFUBM   ʮ೚ҙͷ௕͞ͱܗͰ͋ΔͭͷϑϨʔζ͕ಉ͡ҙຯͰ͋ Δ͔Ͳ͏͔ʯΛܾఆ͢Δ ʲઌߦݚڀʳ
  /άϥϜͷॏͳΓ   ґଘؔ܎πϦʔͷॏͳΓ΍ฤूڑ཭ Ͱܾఆ͍ͯ͠Δɻ ὎ಉٛޠ΍ҙຯʹ౳͍͔͠ΛࣝผͰ͖ͳ͍ɻ ὎ݴ͍׵͑ΒΕͨจষΛֶशͯࣗ͠ಈࣝผ͢Δඞཁ͕͋Δɻ

先行研究 7 ;IPVFUBM ὎ύϥϨϧίʔύεΛ༻͍ͨ຋༁ϕʔεͷख๏ .BEOBOJFUBM
὎ҙຯྨࣅੑͷධՁ   ୯७ͳ̎஋Ͱ͸ͳ͘ɺ࿈ଓతͳ஋ͰϖΞͷྨࣅͯ͠ ͍Δఔ౓Λࣔ͢ɻ   ςΩετͷྨࣅੑ͸ɺଟ਺ͷΫϥ΢υϫʔΧʔͷ൑ அΛฏۉԽ͢Δɻ

クラウドソーシング 8 ʲ$SPXE'MPXFSʳ   Ϋϥ΢υιʔγϯάΛߦ͏8FCαʔϏε   ࡞ۀऀͷλεΫ਺΍ډॅ஍Λ੍ݶͰ͖Δ   ऩू͞Εͨσʔλͷਖ਼౰ੑΛݕূ͢ΔγεςϜ ¡ 
࣮ࡍͷσʔλΛॲཧ͢Δલʹɺ࡞ۀऀ͕ਖ਼͘͠ճ౴͢ΔΑ͏ ʹνΣοΫΛ͢Δɻ ¡  ࡞ۀதʹ΋ɺਖ਼͘͠ճ౴͍ͯ͠Δ͔νΣοΫ͢Δɻ ὎ਖ਼ղσʔλͱ࡞ۀ݁ՌΛൺֱ͠ɺ৴པੑΛ୲อ͢Δɻ

クラウドソーシング 9 ʲ࢓ࣄ಺༰ͷσβΠϯʳ   ࢓ࣄ಺༰ͷσβΠϯ͸ɺऩू͞Εͨσʔλͷ඼࣭ʹ ࠷΋େ͖ͳӨڹΛ༩͑Δɻ ὎ਖ਼͍͠ࢦࣔͱΘ͔Γ΍͍͢ྫ͕ॏཁ   $SPXE'MPXFSʹ͸ɺ$.-ݕূػೳ͕͋Δɻ
὎ෆਖ਼ͳϢʔβͷೖྗΛऩू͠ͳ͍

フレーズ−パラフレーズ生成 10   ݴ͍׵͑ͷϕʔεϥΠϯ   ूஂ࡞ۀऀʹɺϑϨʔζQ Λఏࣔ͠ɺॻ͖׵͑Q Λ
ಘΔ

２段階の言い換えの生成 11   ࡞ۀऀʹϑϨʔζQ Λఏࣔ͠ɺݴ͍׵͑Q ΛಘΔɻ   ̎ɺ̏ਓͷ࡞ۀऀ͕ͦΕͧΕͷੜ੒͞Εͨݴ͍׵
͑ͷϖΞΛݕূ͢Δɻ ὎ઐ໳ՈͷධՁऀͱ܈ऺͷ൑அͷ߹ҙ͸ /FHSJFUBM

多段階の言い換えの生成 12   ࡞ۀऀʹϑϨʔζQ Λఏࣔ͠ɺݴ͍׵͑Q ΛಘΔɻ   ଞͷ࡞ۀऀʹϑϨʔζQ
Λఏࣔ͠ɺQ Λݕূ͠ɺ ݴ͍׵͑Q ΛಘΔɻ ὎ޡͬͨݴ͍׵͑ΛݮΒ͠ɺ ɹΑΓଟ͘ͷݴ͍׵͕͑ಘΒΕΔɻ

多段階の言い換えの生成 13 ஈ֊ͷݴ͍׵͑ɿऩूͨ͠ϖΞͷΛݕূ ଟஈ֊ͷݴ͍׵͑ ஈ ɿऩूͨ͠ϖΞͷΛݕূ

まとめ 14   Ϋϥ΢υιʔγϯάͷํ๏ͱͯ͠ɺ ɹଟஈ֊ͷݴ͍׵͑ΛఏҊɻ   ଟஈతʹύϥϑϨʔζΛߦ͏͜ͱ͕༗ޮ ¡  ݕূͱݴ͍׵͑Λߦ͏͜ͱͰɺҙຯͷ͹Β͖͕ͭগͳ͘ͳΔ

Leveraging Crowdsourcing for Paraphrase Recogni...

Leveraging Crowdsourcing for Paraphrase Recognition

kakubari

More Decks by kakubari

Other Decks in Technology

Featured

Transcript

概要 2 ʲௐࠪɾఏҊʳ   ύϥϑϨʔζೝࣝͷͨΊͷΫϥ΢υιʔγϯάํ๏ ὎ଟஈ֊ͷΫϥ΢υιʔγϯάख๏Λఏࣔɻ ʲ݁Ռʳ   จ຺తͳݴ͍׵͑ͷੜ੒ΛͰ͖Δɻ

はじめに 3 ʲύϥϑϨʔζೝࣝʳ %SBT ަ׵͕ՄೳͳςΩετͷϖΞΛ෼ੳ͢Δ͜ͱ ˔ྫ͑͹ɾɾɾ৘ใݕࡧͷ෼໺ ʮୈ୅ถࠃେ౦ྗͷࡴਓʯ

はじめに 4 ʲύϥϑϨʔζೝࣝͷݚڀʳ   Φʔϓϯͳݚڀ՝୊ ὎ۙ೥ɺٸܹʹਐา͍ͯ͠Δ 4PDIFSFUBM

パラフレーズの定義 5 ʲύϥϑϨʔζͷ֓೦ʳ %PMBOBOE#SPDLFUU   ҙຯత࿦ྨࣅੑͱ୯ޠΦϯτϩδʔͷ֓೦ʹີ઀ʹ ؔ࿈͍ͯ͠Δɻ

パラフレーズの認識 6 ʲύϥϑϨʔζͷೝࣝʳ 4PDIFSFUBM   ʮ೚ҙͷ௕͞ͱܗͰ͋ΔͭͷϑϨʔζ͕ಉ͡ҙຯͰ͋ Δ͔Ͳ͏͔ʯΛܾఆ͢Δ ʲઌߦݚڀʳ

先行研究 7 ;IPVFUBM ὎ύϥϨϧίʔύεΛ༻͍ͨ຋༁ϕʔεͷख๏ .BEOBOJFUBM

クラウドソーシング 8 ʲ$SPXE'MPXFSʳ   Ϋϥ΢υιʔγϯάΛߦ͏8FCαʔϏε   ࡞ۀऀͷλεΫ਺΍ډॅ஍Λ੍ݶͰ͖Δ   ऩू͞Εͨσʔλͷਖ਼౰ੑΛݕূ͢ΔγεςϜ ¡

クラウドソーシング 9 ʲ࢓ࣄ಺༰ͷσβΠϯʳ   ࢓ࣄ಺༰ͷσβΠϯ͸ɺऩू͞Εͨσʔλͷ඼࣭ʹ ࠷΋େ͖ͳӨڹΛ༩͑Δɻ ὎ਖ਼͍͠ࢦࣔͱΘ͔Γ΍͍͢ྫ͕ॏཁ   $SPXE'MPXFSʹ͸ɺ$.-ݕূػೳ͕͋Δɻ

フレーズ−パラフレーズ生成 10   ݴ͍׵͑ͷϕʔεϥΠϯ   ूஂ࡞ۀऀʹɺϑϨʔζQ Λఏࣔ͠ɺॻ͖׵͑Q Λ

２段階の言い換えの生成 11   ࡞ۀऀʹϑϨʔζQ Λఏࣔ͠ɺݴ͍׵͑Q ΛಘΔɻ   ̎ɺ̏ਓͷ࡞ۀऀ͕ͦΕͧΕͷੜ੒͞Εͨݴ͍׵

多段階の言い換えの生成 12   ࡞ۀऀʹϑϨʔζQ Λఏࣔ͠ɺݴ͍׵͑Q ΛಘΔɻ   ଞͷ࡞ۀऀʹϑϨʔζQ

多段階の言い換えの生成 13 ஈ֊ͷݴ͍׵͑ɿऩूͨ͠ϖΞͷΛݕূ ଟஈ֊ͷݴ͍׵͑ ஈ ɿऩूͨ͠ϖΞͷΛݕূ

まとめ 14   Ϋϥ΢υιʔγϯάͷํ๏ͱͯ͠ɺ ɹଟஈ֊ͷݴ͍׵͑ΛఏҊɻ   ଟஈతʹύϥϑϨʔζΛߦ͏͜ͱ͕༗ޮ ¡  ݕূͱݴ͍׵͑Λߦ͏͜ͱͰɺҙຯͷ͹Β͖͕ͭগͳ͘ͳΔ