Share
Embed
類似用例文の部分的置換による文短縮
牧野 恵, 池田 諭史, 山本 和英. 類似用例文の部分的置換による文短縮. 情報処理学会 研究報告, NL173-4 (2006.5)
自然言語処理研究室
May 31, 2006
Transcript
28 slides
-
طଘݚڀ • େΒ[2005] ܞଳ͚χϡʔεهࣄͷࣗಈ࡞ tfɾidf Λ༻͍ͯจઅ͝ͱʹॏཁΛࢉग़ • ࡾ্Β[2004] ਓखͰ࡞ͨ͠ϧʔϧʹج͍ͮͯ෦Λ আ͠ɺࣈນΛࣗಈ࡞
• ງΒ[2002] (٬؍ධՁͰͷൺֱରর) ಈతܭը๏Λ༻͍ͯ୯ޠநग़Λߦ͍ͬͯΔ จॖΛߦ͏ʹ༷ʑͳॲཧ͕ඞཁ ॖจͷ࠾༻ՕॴΛஅ͢Δ͜ͱࠔ 2 -
༻ྫར༻ܕͷจॖ -৽װઢཁهࣄ- • ܦgooʹΑΔϝʔϧαʔϏε – ৽װઢंͷిޫܝࣔ൘Ͱ࣮ࡍʹ༻͞Ε͍ͯ ΔχϡʔεهࣄΛ৴ – λΠτϧͱຊจ1ʙ3จͰߏ͞ΕΔ –
ਓखͰॏཁՕॴͷಛఆɺ෦ͷআΛߦͬ ͯ࡞͞Εͨॖจ – ৴ස ݄༵ʙ༵ۚ·Ͱͷिʹ5ɺ13ճ ͜ͷΑ͏ͳχϡʔεهࣄΛ ʮ৽װઢཁهࣄʯͱఆٛ͢Δ 3 -
༻ྫར༻ܕͷจॖ ॖจΛ࡞ ༻ྫจɿ ʮ৽װઢཁهࣄʯ̍จ (28032จʛ199912݄ʙ20063݄) ɾ ॏཁՕॴͷಛఆ ɾ ॖจͷ࠾༻Օॴͷબ 4
• ൺֱత༰қʹॖจ͕ಘΒΕΔ ʢϧʔϧ࡞ॏཁͷࢉग़͕ෆཁʣ • ΑΓࣗવͳॖจ͕ಘΒΕΔ -
༻ྫར༻ܕͷจॖ -ॖจͷग़ྗ·Ͱ- ̍ɽ ೖྗจͱྨࣅͨ͠༻ྫจʢʮྨࣅ༻ྫจʯʣ Λબ͢Δ ̎ɽ બ͞Εͨྨࣅ༻ྫจͱೖྗจͷจઅΛ ஔ͠ɺॖจΛ࡞͢Δ ̏ɽ म০෦ͷՃΛߦ͏
ɾೖྗจ͔Βੜͨ͠ύλϯ ɾ༻ྫจ͔Βੜͨ͠ύλϯ ʢ28032݅ʣ ൺֱ ྨࣅ༻ྫจ 5 -
ྨࣅ༻ྫจͷબ -֓ཁ- • ೖྗจͱߏจɺޠኮ͕ྨࣅͨ͠༻ྫจ ʢಛʹߏจ͕ྨࣅͨ͠༻ྫจʣ • • ύλϯͷੜ 1ɽจܗʢจͷܗࣜΛ౷Ұʣ 2ɽߏจύλϯɺ୯ޠύλϯΛੜ
ߏจతͳྨࣅ ޠኮతͳྨࣅ จͷྨࣅ ߏจύλϯ ୯ޠύλϯ 6 -
ྨࣅ༻ྫจͷબ -จܗ- • ৽װઢཁهࣄʹදΕΔಛతͳจදݱ [ࢁຊΒ,2005] ʮମݴࢭΊʯɺʮॿࢺࢭΊʯ ྨࣅ༻ྫจͷબΛਖ਼͘͠ߦ͑ΔΑ͏ʹ ༻ྫจ ೖྗจ จͷܗࣜΛશͯଗ͑Δ
ʮʙͱ߹ҙͨ͠ʯ ˠ ʮʙͱ߹ҙʯ ʮʙ͔Βఫୀ͢Δํʯ ˠ ʮʙ͔Βఫୀʯ 7 -
ྨࣅ༻ྫจͷબ -ύλϯͷੜ(1/2)- ߏจύλϯ – จɺಈࢺɺ֨ใΛख͕͔Γͱ͢Δ – จͷجຊߏΛද͢෦Λύλϯʹ࠾༻ ߏจύλϯʹ࠾༻͢Δ෦ จ1จઅ (ͨͩ͠ࣈɺॿࢺ൚Խͯ͠࠾༻)
ಈࢺؚ͕·ΕΔจઅͱͦͷΓݩจઅ ʢ໊ͨͩ͠ࢺɺࣈɺه߸൚Խͯ͠࠾༻ʣ ୯ޠύλϯ – ޠኮʹண͠ɺݻ༗໊ࢺɺࣈɺه߸Λ൚Խͨ͠ύ λϯ 8 -
ྨࣅ༻ྫจͷબ -ύλϯͷੜ(2/2)- ύλϯͷੜྫ Ex1) ΠτʔϤʔΧಊ / 24͔Β / 5ؒݶఆͰ /
8200ԁͷ / ਈ࢜ɾ්ਓεʔπΛ / ൢച / ߏจύλϯ) ##͔Β#Ͱ#Λൢച ୯ޠύλϯ) ##͔Β#ؒݶఆͰ#ԁͷ ਈ࢜#්ਓεʔπΛൢച ˞໊ࢺ۟ʹΔจઅߏจύλϯ࠾༻ͤͣ 9 -
ྨࣅ༻ྫจͷબ ύλϯͷൺֱ – ೖྗจͱ࠷ྨࣅͨ͠༻ྫจΛબ͢Δ – ྨࣅईʹBLEUείΞΛ༻ • BLEUείΞ n-gramͷزԿฏۉ ෆͳείΞΛ༩͑ͳ͍Α͏ϖφϧςΟ
)) ( ), ( BLEU( ) 1 ( )) ( ), ( BLEU( ) , ( sim i i i t w s w t d s d t s λ λ − + = : ) ( ), ( : ) ( ), ( : : i t w s w i t d s d i t s ೖྗจ ൪ͷ༻ྫจ i ೖྗจͷߏจύλϯɺ ൪ͷ༻ྫจͷߏจύλϯ i ೖྗจͷ୯ޠύλϯɺ ൪ͷ༻ྫจͷ୯ޠύλϯ i ༻ྫจू߹ ͷ T ) , ( sim max arg ˆ i t s T ti t ∈ = ྨࣅ༻ྫจ t ˆ 10/ -
ॖจͷ࡞ -֓ཁ- ෦తஔ – ೖྗจͱྨࣅ༻ྫจͷจઅΛஔ – ॖจ࡞·Ͱ 1ɽจจઅΛஔ 2ɽஔͨ͠จઅͷΓݩจઅͰ࠷ऴܗଶૉ͕ ॿࢺ
ˠ ॿࢺ͕ಉ͡߹ ͦͷଞ ˠ ࢺ͕ಉ͡߹ ͦͷจઅΛஔ͢Δ ʢͨͩ͠ʮ໊ࢺ+ॿࢺʯʹΔจઅஔͤͣʣ ஔՕॴ͕ແ͘ͳΔ·Ͱ܁Γฦ͢ 12 -
ॖจͷ࡞ -࡞ྫ- ྨࣅ༻ྫจɿDDIͱ/KDDɺ/ຊҠಈ௨৴(IDO)/ 16ޕޙɺ/དྷͷ/10݄1Ͱ/ ߹ซ͢Δͱ / ਖ਼ࣜʹ/ ൃද / ೖྗจɿμΠΤʔͷ/ߴࣾ/15ޕલɺ
/ܾࢉऔకձͷ/੮্Ͱ/22Ͱ/ࣾΛ/ ࣙ͢Δͱ/ ද໌ / ஔޙɿߴࣾ15ޕલɺ22Ͱࣙ͢Δͱ ද໌ ද໌ ߴࣾ 15ޕલɺ 22Ͱ ࣙ͢Δͱ 13/ -
म০෦ͷՃ -༻ྫจ͔Βσʔλ࡞- • ࿈ମम০અͷ͞ ˠ ඃम০໊ࢺʹΑͬͯҟͳΔ • ༻ྫจ(28000݅)ɿ – ʮ໊ࢺʴ֨ॿࢺʯɺʮ໊ࢺʴॿࢺʯͷจઅʹରͯ͠
Կॏʹจઅ͕͍ͬͯΔ͔ฏۉΛͱΔ ܾఆ άϧδΞେ౷ྖબڍͰ ݱ৬ͷ γΣϫϧφθେ౷ྖͷ ࠶બ͕ % % % % େ౷ྖ : ̍จઅ ࠶બ : ̎จઅ Exʣ༻ྫจ 15 -
ධՁ࣮ݧ -࣮ݧσʔλ- • ༻ྫจ – ʮ৽װઢཁهࣄʯ 1จ 28032จ ʢ199912݄ʙ20063݄ʣ •
ςετσʔλ – Webهࣄͷ1จ100จ ʢlNIKKEI NETΑΓzʣ • ύϥϝʔλͷௐ – ςετσʔλͱผͷWebهࣄͷ1จ100จ • ٬؍ධՁͷਖ਼ղσʔλ – WebهࣄͱλΠτϧ͕ಉҰͷ༻ྫจ 17 -
٬؍ධՁ -ධՁํ๏- • ٬؍ධՁ Ϧʔυ๏ طଘݚڀʢ୯ޠநग़ʹΑΔจॖʣ ఏҊख๏aʢ1Ґͷྨࣅ༻ྫจΛ༻ʣ ఏҊख๏bʢ্Ґ5Ґͷྨࣅ༻ྫจΛ༻ɺ5จΛग़ྗʣ ධՁࢦඪ ROUGEείΞ(N-gram࠶ݱ)
∑ ∑ ∈ − ∈ − − = r gram n r gram n n n n gram r CT gram r CT gram c CT r c N ) ( )) ( ), ( min( ) , ( - ROUGE ఏҊख๏ͷ ཁͰ࣮ݧ 18 -
ཁ • ཁ – ग़ྗจͷܗଶૉ ʗ ೖྗจͷܗଶૉ – ٬؍ධՁͰ͜ͷཁΛϦʔυ๏ɺطଘݚڀ ʹద༻͠ൺֱΛߦ͏
.454 ্Ґ5Ґͷྨࣅ༻ྫจ͔Β࡞ ʢROUGE-1͕࠷ߴ͔ͬͨॖจʣ .416 1Ґͷྨࣅ༻ྫจ͔Β࡞ ཁ ཁͷࢉग़Λߦͬͨର 19 -
٬؍ධՁ -ධՁ݁Ռ- ఏҊख๏a:1Ґͷྨࣅ༻ྫจ͔Β࡞ͨ͠ॖจ ఏҊख๏̱:ྨࣅ༻ྫจΛ্Ґ5Ґ·Ͱग़ྗͨ͠ͱ͖ʹ ࠷ྑ͍ධՁ͕ಘΒΕͨॖจ ఏҊख๏ͷํ͕༏ҐͰ͋Δ݁Ռ͕ಘΒΕͨ ʢROUGE-̎ͷ݁Ռ͔ΒΑΓ୯ޠ࿈ͷྑ͍ॖจΛ࡞ Ͱ͖ͨʣ .332 .208
.254 ROUGE-2 .517 .458 .446 ROUGE-1 ఏҊख๏b طଘݚڀ Ϧʔυ๏ .279 .186 .233 ROUGE-2 .455 .421 .410 ROUGE-1 ఏҊख๏a طଘݚڀ Ϧʔυ๏ 20 -
ओ؍ධՁ -ධՁํ๏- ̎ɽඃݧऀ3ਓ ࢦఆ͞ΕͨจઅͷൣғͰॖจʹඞཁͩͱߟ͑Δจ અΛબ ྨࣅ༻ྫจΛ্Ґ5Ґ·Ͱग़ྗ͠ɺ࡞ͨ͠ॖจ5จ ఏҊख๏͕ॖจʹ࠾༻ͨ͠จઅͷਖ਼ޡ Ex) 1Ґ 6จઅ
2Ґ 7จઅ 3Ґ 6จઅ 4Ґ 8จઅ (max) 5Ґ 5จઅ (min) 5ʙ8จઅͰબ ൺֱ ࢦఆͨ͠จઅ 22 ྨࣅ༻ྫจxҐ͔Β࡞ͨ͠ॖจͷจઅ -
ओ؍ධՁ -ධՁ݁Ռ- ̍ɽҙͷจઅͰબ ̎ɽࢦఆ͞ΕͨจઅͰબ ࠶ݱ͍͕ɺఏҊख๏Ͱબͨ͠จઅͷ8ׂਖ਼ ղͰ͋ͬͨ .669 .645 .709 .654
F .781 .699 .867 .778 ద߹ .588 .599 .600 .554 ࠶ݱ શମฏۉ ඃݧऀC ඃݧऀB ඃݧऀA .665 .634 .749 .613 F .734 .637 .786 .648 ద߹ .637 .632 .716 .581 ࠶ݱ શମฏۉ ඃݧऀC ඃݧऀB ඃݧऀA 23 -
ߟ -ॖจͷจઅ- • ඃݧऀ͕ҙͷจઅͰॖจʹ࠾༻ͨ͠จઅ ೖྗจͷจઅɺฏۉ13.4จઅʹରͯ͠ ఏҊख๏Ͱબ͢Δจઅগͳ͍ ˠ ࠶ݱ •
ਓ͕ؒ࡞͢ΔॖจʹΑΓ͚ۙͮΔͨΊʹ ஔํ๏ (ྨࣅ༻ྫจͱߏจ͕શ͘ҟͳΔͱஔͰ͖ͳ͍) म০෦ͷՃ (Ͳͷम০෦ΛՃ͖͔͢༏ઌΛߟྀ͢Δ) 5.8 6.3 7.8 7.0 จઅ ఏҊख๏ ඃݧऀC ඃݧऀB ඃݧऀA 24 -
ߟ -ਖ਼͘͠࡞͞Εͳ͔ͬͨॖจ- • ਖ਼͘͠࡞͞Εͳ͔ͬͨॖจʹ͍ͭͯ – ྨࣅ༻ྫจ ˠ ߏจύλϯɺ୯ޠύλϯ ೖྗจ: ேʹΑΔ፮கඃऀɺીզͻͱΈ͞Μͷ
ͰݩถฌͷδΣϯΩϯε͞Μ ʙ ͱ ໘ձͨ͠ બ͞Εͨྨࣅ༻ྫจ: ીզͻͱΈ͞ΜͷͰݩถฌͷ δΣϯΩϯε͞Μ͕ ʙ ʹ ग़಄ ୯ޠύλϯ͕ྨࣅ͍ͯ͠Δ͚ͩͰɺਖ਼͍͠ॖจ ͕࡞͞Εͳ͍ ˠ ύϥϝʔλͷௐɺޠʹॏΈΛஔ͘ͳͲݕ౼͕ ඞཁ 25 -
͓ΘΓʹ • ೖྗจͱྨࣅͨ͠༻ྫจͷจઅΛஔ͢Δ͜ ͱʹΑͬͯॖจΛ࡞ͨ͠ ༻ྫར༻ܕͷจॖ ϧʔϧ࡞ɺॏཁͷࢉग़͕ෆཁ ΑΓࣗવͳॖจ͕࡞Ͱ͖Δ • طଘݚڀʹൺɺ̧̤̪̜̚είΞͰ༏Ґͳ݁ Ռ͕ಘΒΕͨ
• ࠓޙͷ՝ – ྨࣅ༻ྫจͷબ – ཁՄมͷจॖث 27