09NLP-muramatsu.pdf

Transcript

1. ߏจยΛ༻͍ͨ ߏจยΛ༻͍ͨ ཁ໿จੜ੒ ཁ໿จੜ੒ ௕Ԭٕज़Պֶେֶ ௕Ԭٕज़Պֶେֶ ిؾܥ ిؾܥ ଜদ ଜদ ༞ر ༞ر ࢁຊ ࢁຊ ࿨ӳ ᶃ ࿨ӳ
2. ໨త ໨త ɾ৽͍͠ॲཧ୯ҐͰจষΛཁ໿ ɾ৽͍͠ॲཧ୯ҐͰจষΛཁ໿ ˠܗଶૉ΍จઅ୯ҐͰ͸ߦΘͳ͍ ˠܗଶૉ΍จઅ୯ҐͰ͸ߦΘͳ͍ ˠจੜ੒Λߦ͏ʢจষ͔ΒจΛੜ੒ʣ ˠจੜ੒Λߦ͏ʢจষ͔ΒจΛੜ੒ʣ ɾ౷ܭϞσϧΛ࢖Θͳ͍ ɾ౷ܭϞσϧΛ࢖Θͳ͍ ˠ ˠਓ͕ؒݟͯࣗવͳཁ໿จΛੜ੒ ਓ͕ؒݟͯࣗવͳཁ໿จΛੜ੒ ᶄ
3. طଘݚڀ طଘݚڀ ɾ ɾ຀໺Β ຀໺Β[2008] [2008] - -༻ྫϕʔεͱͨ͠ཁ໿ख๏ ༻ྫϕʔεͱͨ͠ཁ໿ख๏ - -ೖྗจͱ༻ྫͷྨࣅ౓Λ࢖༻ ೖྗจͱ༻ྫͷྨࣅ౓Λ࢖༻ ɾ ɾງΒ ງΒ[2002] [2002] - -ʮ ʮTri Tri- -gram gramʯͱʮ ʯͱʮTF TFɾ ɾIDF IDFʯΛݩʹ࠷దԽ ʯΛݩʹ࠷దԽ ᶅ
4. ྨࣅ༻ྫܕཁ໿ ྨࣅ༻ྫܕཁ໿ ྨࣅ༻ྫจΛબ୒͢Δ؍఺͸શ෦Ͱ ྨࣅ༻ྫจΛબ୒͢Δ؍఺͸શ෦Ͱ3 3ͭ ͭ ɾ ɾʮॿࢺͷҰகʯ ʮॿࢺͷҰகʯˠ ˠػೳޠͷද૚ ػೳޠͷද૚ ɾʮݻ༗දݱλάͷҰகʯ ɾʮݻ༗දݱλάͷҰகʯ ˠߏจղੳثͷղੳ݁Ռ ˠߏจղੳثͷղੳ݁Ռ ɾʮ୯ޠؒྨࣅ౓ʯ ɾʮ୯ޠؒྨࣅ౓ʯˠ୯ޠͷ૬ޓ৘ใྔ ˠ୯ޠͷ૬ޓ৘ใྔ ᶆ
5. ʮߏจยʯͱ͸ʁ ʮߏจยʯͱ͸ʁ ຊݚڀ͕ࣨఏҊͨ֓͠೦ ຊݚڀ͕ࣨఏҊͨ֓͠೦ - -ʮ̎จઅͷ܎Γड͚ʯͷରͰ͋Δ ʮ̎จઅͷ܎Γड͚ʯͷରͰ͋Δ ߏจยͷྫ ߏจยͷྫ ྫʮ ྫʮS Sࣾͷܞଳ͸ӷথ͕ΩϨΠʯ ࣾͷܞଳ͸ӷথ͕ΩϨΠʯ ʮ ʮS Sࣾͷܞଳʯɺʮܞଳ͸ΩϨΠʯɺʮӷথ͕ΩϨΠʯ ࣾͷܞଳʯɺʮܞଳ͸ΩϨΠʯɺʮӷথ͕ΩϨΠʯ ͱ͍ͬͨ ͱ͍ͬͨ3 3ͭͷߏจยʢ୯Ґ͸ϐʔεʣʹͳΔ ͭͷߏจยʢ୯Ґ͸ϐʔεʣʹͳΔ ᶇ
6. ʮߏจยʯͷར఺ ʮߏจยʯͷར఺ ɾ ɾநग़͕༰қͰ͋Δ நग़͕༰қͰ͋Δ - -ʮ̎จઅͷ܎Γड͚ʯΛجʹநग़ ʮ̎จઅͷ܎Γड͚ʯΛجʹநग़ ɾ ɾ෦෼໦ʹམͱ͢͜ͱͰ؆ུԽ ෦෼໦ʹམͱ͢͜ͱͰ؆ུԽ - -໦ߏ଄Ͱѻ͏໰୊ϨϕϧΛ؆୯Խ ໦ߏ଄Ͱѻ͏໰୊ϨϕϧΛ؆୯Խ ɾ ɾҙຯతͳܨ͕Γ ҙຯతͳܨ͕Γ - -୯ޠ΍จઅΑΓ΋ᐆດੑ͕ແ͘ͳΔ ୯ޠ΍จઅΑΓ΋ᐆດੑ͕ແ͘ͳΔ ᶈ
7. Ξϓϩʔν Ξϓϩʔν ᶗ ᶗ. . ༻ྫจͷબ୒ ༻ྫจͷબ୒ - -ೖྗهࣄͱҙຯతʹ͍ۙ༻ྫจΛબ୒ ೖྗهࣄͱҙຯతʹ͍ۙ༻ྫจΛબ୒ ᶘ ᶘ. . ߏจยͷରԠ෇͚ ߏจยͷରԠ෇͚ - -ೖྗจͱ༻ྫจͷରԠΛಘΔ ೖྗจͱ༻ྫจͷରԠΛಘΔ ᶙ ᶙ. . ཁ໿จͷੜ੒ ཁ໿จͷੜ੒ - -ରԠ෇͚ΒΕͨߏจยΛ༻͍ͯจੜ੒ ରԠ෇͚ΒΕͨߏจยΛ༻͍ͯจੜ੒ ᶉ
8. γεςϜਤ γεςϜਤ ӳจࣈ͸จઅ A/B/C/Dɻ E/F/G/Hɻ I/J/K/Lɻ a/b/c/d/eɻ Pi[AˠD] Pi[B ˠD] Pi[EˠG] Pi[F ˠG] Pi[J ˠ L ] Pi[Kˠ L ] Pi[I ˠ J] Pi[GˠH] ༻ྫจͷू߹ ೖྗهࣄ ɻ ɻ ɻ ༻ྫจ ᶗ Ps[aˠc] Ps[bˠc] Ps[cˠe] Ps[dˠe] ग़ྗཁ໿จ ᶊ A/G/B/J/Lɻ ᶘ ᶙ
9. ༻ྫจͷબ୒ ༻ྫจͷબ୒ ɾ ɾߏจยͷྨࣅ౓Λ༻͍ͯ༻ྫΛબ୒ ߏจยͷྨࣅ౓Λ༻͍ͯ༻ྫΛબ୒ ᶋ
10. ʮߏจยʯͷྨࣅ౓ ʮߏจยʯͷྨࣅ౓ ɾ ɾEDR EDRͷγιʔϥεΛ༻͍ͯܭࢉ ͷγιʔϥεΛ༻͍ͯܭࢉ Ps(i)ʹ༻ྫʢೖྗʣͷߏจย Sme(Ime)=༻ྫจ(ೖྗจ)ͷ܎Γݩจઅ ɺ Smc(Imc)=༻ྫจ(ೖྗจ)ͷ܎Γઌจઅ dk=SmeͱImeͷڞ௨্Ґϊʔυͷਂ͞ɺdi=Imeͷϊʔυͷਂ͞(ds͸SmeΛࣔ͢) ᶌ
11. ཁ໿จͷੜ੒ ཁ໿จͷੜ੒ ʻೖྗهࣄʼ ๺ւಓ࿈߹ւ۠ړۀௐ੔ҕһձ͕·ͱΊͨ۝ീ೥ͷळαέͷ ࠷ऴړ֫ঢ়گͰɺړ֫ྔ͸ࡾઍ۝ඦࣣे࿡ສೋઍ࿡ඦ࢛ेҰඌͰ લ೥ಉظൺҰ࢛ɾീˋݮͱͳͬͨ ɻւਫԹͷ্ঢ͕ෆړͷݪҼͱ͞ΕΔɻ ʻ༻ྫจʼ ݄̍̌຤ͷ֎՟४උߴ͸̔̐̍̓ԯ̎̌̌̕ສυϧͰલ݄຤ൺ ̍̓ԯ̓̍̌̌ສυϧݮɻ ʻग़ྗཁ໿จʼ ෆړͷݪҼͱ͞ΕΔړ֫ྔ͸લ೥ಉظൺҰ࢛ɾീˋݮͱͳͬͨɻ ᶍ
12. ࣗಈධՁ ࣗಈධՁ ɾ ɾਖ਼ղσʔλʹਓखཁ໿จΛ࢖༻ ਖ਼ղσʔλʹਓखཁ໿จΛ࢖༻ ධՁई౓ ैདྷख๏ ຊख๏ BLEU஋ͷฏۉʢ100݅ʣ 0.41 0.08 ROUGE-4஋ͷฏۉʢ100݅ʣ 0.85 0.64 BLEU஋͸20ˋɺROUGE-4஋͸75ˋͷ ύϑΥʔϚϯε͔͠ग़ͳ͍݁Ռ ᶎ
13. ߟ࡯ ߟ࡯ ᶗ ᶗ ᶗ ᶗ. . EDR EDRͷ໢ཏੑͷௐࠪ݁Ռ ͷ໢ཏੑͷௐࠪ݁Ռ ༻ྫจͷू߹ ධՁ࣮ݧσʔλ ܗଶૉ਺ 1,003,459 16,188 ಺༰ޠ਺ 677,855 9,998 EDR֓೦ࣙॻͱ ͷ߹க਺ 294,445 4,394 ಺༰ޠʹର͢ΔEDR֓೦ࣙॻͷ໢ཏੑ͸ ༻ྫจɺධՁ࣮ݧσʔλڞʹ44ˋͰ͋ͬͨɻ ˰EDR͚ͩͰ͸γιʔϥε৘ใ͕଍Γͳ͍ ᶏ
14. ߟ࡯ ߟ࡯ ᶘ ᶘ ᶘ ᶘ. .಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠ ߏจย ධՁऀA 62/100 (62%) 34/100 (34%) ධՁ஋B 38/100 (38%) 22/100 (22%) ධՁ஋C 64/100 (64%) 42/100 (42%) ᶐ ಺༰ޠͷྨࣅ౓͕0.9ʢ࠷େ஋1ʹରͯ͠ʣΛӽ͑ͨ ΋ͷʹରͯ͠9ׂ͕ਓؒͷओ؍ͱҰகͨ͠ɻ ˰ʮߏจยʯͷྨࣅ౓͕՝୊ͱͳΔ
15. ݁࿦ ݁࿦ ɾ ɾߏจยΛ༻͍ͯཁ໿จੜ੒Λߦͬͨ -಺༰ޠͷྨࣅ౓͸ਓؒͷओ؍ʹ͍ۙ -ߏจยͷྨࣅ౓ʹؔͯ͠࠶ݕ౼͕ඞཁ ߏจยͷྨࣅ౓ʹؔͯ͠࠶ݕ౼͕ඞཁ - -γιʔϥεʹؔͯ͠ผͷϦιʔε͕ඞཁ γιʔϥεʹؔͯ͠ผͷϦιʔε͕ඞཁ ᶑ
16. ධՁ࣮ݧ ධՁ࣮ݧ ɾ ɾ༻ྫจͷू߹ ༻ྫจͷू߹ - -27036 27036݅Λ࢖༻ʢ೔ܦχϡʔεϝʔϧ ݅Λ࢖༻ʢ೔ܦχϡʔεϝʔϧ ʣ ʣ ɾ ɾධՁ࣮ݧσʔλ ධՁ࣮ݧσʔλ - -೔ຊܦࡁ৽ฉ ೔ຊܦࡁ৽ฉ 100 100݅Λཁ໿ର৅ͱ͢Δ ݅Λཁ໿ର৅ͱ͢Δ ᶒ
17. ਓखධՁ ਓखධՁ ɾ ɾ಺༰ద੾ੑͷൺֱධՁ ಺༰ద੾ੑͷൺֱධՁ ैདྷख๏ ຊख๏ ධՁऀA 82/100 (จ) 18/100 (จ) ධՁऀB 82/100 (จ) 18/100 (จ) ɾ ɾՄಡੑධՁͷൺֱධՁ΋ߦͬͨ ՄಡੑධՁͷൺֱධՁ΋ߦͬͨ - -͔͠͠ɺैདྷख๏ΑΓԼճΔ ͔͠͠ɺैདྷख๏ΑΓԼճΔ ᶓ
18. ߟ࡯ ߟ࡯ ɾ ɾ࣍ͷ̎఺ʹ͍ͭͯ௥ՃௐࠪΛߦͬͨ ࣍ͷ̎఺ʹ͍ͭͯ௥ՃௐࠪΛߦͬͨ ᶗ ᶗ. . EDR EDRͷ໢ཏੑ ͷ໢ཏੑ - -༻ྫจͱ ༻ྫจͱධՁ࣮ݧσʔλ ධՁ࣮ݧσʔλʹؔͯ͠ௐࠪ ʹؔͯ͠ௐࠪ ᶘ ᶘ. .಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠɺߏจยͷྨࣅ౓ - -ਓؒͷओ؍ͱͷҰகੑʹؔͯ͠ௐࠪ ਓؒͷओ؍ͱͷҰகੑʹؔͯ͠ௐࠪ ᶔ