09NLP-muramatsu.pdf

 09NLP-muramatsu.pdf

Transcript

  1. 3.

    طଘݚڀ طଘݚڀ ɾ ɾ຀໺Β ຀໺Β[2008] [2008] - -༻ྫϕʔεͱͨ͠ཁ໿ख๏ ༻ྫϕʔεͱͨ͠ཁ໿ख๏ -

    -ೖྗจͱ༻ྫͷྨࣅ౓Λ࢖༻ ೖྗจͱ༻ྫͷྨࣅ౓Λ࢖༻ ɾ ɾງΒ ງΒ[2002] [2002] - -ʮ ʮTri Tri- -gram gramʯͱʮ ʯͱʮTF TFɾ ɾIDF IDFʯΛݩʹ࠷దԽ ʯΛݩʹ࠷దԽ ᶅ
  2. 4.

    ྨࣅ༻ྫܕཁ໿ ྨࣅ༻ྫܕཁ໿ ྨࣅ༻ྫจΛબ୒͢Δ؍఺͸શ෦Ͱ ྨࣅ༻ྫจΛબ୒͢Δ؍఺͸શ෦Ͱ3 3ͭ ͭ ɾ ɾʮॿࢺͷҰகʯ ʮॿࢺͷҰகʯˠ ˠػೳޠͷද૚

    ػೳޠͷද૚ ɾʮݻ༗දݱλάͷҰகʯ ɾʮݻ༗දݱλάͷҰகʯ ˠߏจղੳثͷղੳ݁Ռ ˠߏจղੳثͷղੳ݁Ռ ɾʮ୯ޠؒྨࣅ౓ʯ ɾʮ୯ޠؒྨࣅ౓ʯˠ୯ޠͷ૬ޓ৘ใྔ ˠ୯ޠͷ૬ޓ৘ใྔ ᶆ
  3. 5.

    ʮߏจยʯͱ͸ʁ ʮߏจยʯͱ͸ʁ ຊݚڀ͕ࣨఏҊͨ֓͠೦ ຊݚڀ͕ࣨఏҊͨ֓͠೦ - -ʮ̎จઅͷ܎Γड͚ʯͷରͰ͋Δ ʮ̎จઅͷ܎Γड͚ʯͷରͰ͋Δ ߏจยͷྫ ߏจยͷྫ ྫʮ

    ྫʮS Sࣾͷܞଳ͸ӷথ͕ΩϨΠʯ ࣾͷܞଳ͸ӷথ͕ΩϨΠʯ ʮ ʮS Sࣾͷܞଳʯɺʮܞଳ͸ΩϨΠʯɺʮӷথ͕ΩϨΠʯ ࣾͷܞଳʯɺʮܞଳ͸ΩϨΠʯɺʮӷথ͕ΩϨΠʯ ͱ͍ͬͨ ͱ͍ͬͨ3 3ͭͷߏจยʢ୯Ґ͸ϐʔεʣʹͳΔ ͭͷߏจยʢ୯Ґ͸ϐʔεʣʹͳΔ ᶇ
  4. 6.

    ʮߏจยʯͷར఺ ʮߏจยʯͷར఺ ɾ ɾநग़͕༰қͰ͋Δ நग़͕༰қͰ͋Δ - -ʮ̎จઅͷ܎Γड͚ʯΛجʹநग़ ʮ̎จઅͷ܎Γड͚ʯΛجʹநग़ ɾ ɾ෦෼໦ʹམͱ͢͜ͱͰ؆ུԽ

    ෦෼໦ʹམͱ͢͜ͱͰ؆ུԽ - -໦ߏ଄Ͱѻ͏໰୊ϨϕϧΛ؆୯Խ ໦ߏ଄Ͱѻ͏໰୊ϨϕϧΛ؆୯Խ ɾ ɾҙຯతͳܨ͕Γ ҙຯతͳܨ͕Γ - -୯ޠ΍จઅΑΓ΋ᐆດੑ͕ແ͘ͳΔ ୯ޠ΍จઅΑΓ΋ᐆດੑ͕ແ͘ͳΔ ᶈ
  5. 7.

    Ξϓϩʔν Ξϓϩʔν ᶗ ᶗ. . ༻ྫจͷબ୒ ༻ྫจͷબ୒ - -ೖྗهࣄͱҙຯతʹ͍ۙ༻ྫจΛબ୒ ೖྗهࣄͱҙຯతʹ͍ۙ༻ྫจΛબ୒

    ᶘ ᶘ. . ߏจยͷରԠ෇͚ ߏจยͷରԠ෇͚ - -ೖྗจͱ༻ྫจͷରԠΛಘΔ ೖྗจͱ༻ྫจͷରԠΛಘΔ ᶙ ᶙ. . ཁ໿จͷੜ੒ ཁ໿จͷੜ੒ - -ରԠ෇͚ΒΕͨߏจยΛ༻͍ͯจੜ੒ ରԠ෇͚ΒΕͨߏจยΛ༻͍ͯจੜ੒ ᶉ
  6. 8.

    γεςϜਤ γεςϜਤ ӳจࣈ͸จઅ A/B/C/Dɻ E/F/G/Hɻ I/J/K/Lɻ a/b/c/d/eɻ Pi[AˠD] Pi[B ˠD]

    Pi[EˠG] Pi[F ˠG] Pi[J ˠ L ] Pi[Kˠ L ] Pi[I ˠ J] Pi[GˠH] ༻ྫจͷू߹ ೖྗهࣄ ɻ ɻ ɻ ༻ྫจ ᶗ Ps[aˠc] Ps[bˠc] Ps[cˠe] Ps[dˠe] ग़ྗཁ໿จ ᶊ A/G/B/J/Lɻ ᶘ ᶙ
  7. 12.

    ࣗಈධՁ ࣗಈධՁ ɾ ɾਖ਼ղσʔλʹਓखཁ໿จΛ࢖༻ ਖ਼ղσʔλʹਓखཁ໿จΛ࢖༻ ධՁई౓ ैདྷख๏ ຊख๏ BLEU஋ͷฏۉʢ100݅ʣ 0.41

    0.08 ROUGE-4஋ͷฏۉʢ100݅ʣ 0.85 0.64 BLEU஋͸20ˋɺROUGE-4஋͸75ˋͷ ύϑΥʔϚϯε͔͠ग़ͳ͍݁Ռ ᶎ
  8. 13.

    ߟ࡯ ߟ࡯ ᶗ ᶗ ᶗ ᶗ. . EDR EDRͷ໢ཏੑͷௐࠪ݁Ռ ͷ໢ཏੑͷௐࠪ݁Ռ

    ༻ྫจͷू߹ ධՁ࣮ݧσʔλ ܗଶૉ਺ 1,003,459 16,188 ಺༰ޠ਺ 677,855 9,998 EDR֓೦ࣙॻͱ ͷ߹க਺ 294,445 4,394 ಺༰ޠʹର͢ΔEDR֓೦ࣙॻͷ໢ཏੑ͸ ༻ྫจɺධՁ࣮ݧσʔλڞʹ44ˋͰ͋ͬͨɻ ˰EDR͚ͩͰ͸γιʔϥε৘ใ͕଍Γͳ͍ ᶏ
  9. 14.

    ߟ࡯ ߟ࡯ ᶘ ᶘ ᶘ ᶘ. .಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠ ߏจย

    ධՁऀA 62/100 (62%) 34/100 (34%) ධՁ஋B 38/100 (38%) 22/100 (22%) ධՁ஋C 64/100 (64%) 42/100 (42%) ᶐ ಺༰ޠͷྨࣅ౓͕0.9ʢ࠷େ஋1ʹରͯ͠ʣΛӽ͑ͨ ΋ͷʹରͯ͠9ׂ͕ਓؒͷओ؍ͱҰகͨ͠ɻ ˰ʮߏจยʯͷྨࣅ౓͕՝୊ͱͳΔ
  10. 16.

    ධՁ࣮ݧ ධՁ࣮ݧ ɾ ɾ༻ྫจͷू߹ ༻ྫจͷू߹ - -27036 27036݅Λ࢖༻ʢ೔ܦχϡʔεϝʔϧ ݅Λ࢖༻ʢ೔ܦχϡʔεϝʔϧ ʣ

    ʣ ɾ ɾධՁ࣮ݧσʔλ ධՁ࣮ݧσʔλ - -೔ຊܦࡁ৽ฉ ೔ຊܦࡁ৽ฉ 100 100݅Λཁ໿ର৅ͱ͢Δ ݅Λཁ໿ର৅ͱ͢Δ ᶒ
  11. 17.

    ਓखධՁ ਓखධՁ ɾ ɾ಺༰ద੾ੑͷൺֱධՁ ಺༰ద੾ੑͷൺֱධՁ ैདྷख๏ ຊख๏ ධՁऀA 82/100 (จ)

    18/100 (จ) ධՁऀB 82/100 (จ) 18/100 (จ) ɾ ɾՄಡੑධՁͷൺֱධՁ΋ߦͬͨ ՄಡੑධՁͷൺֱධՁ΋ߦͬͨ - -͔͠͠ɺैདྷख๏ΑΓԼճΔ ͔͠͠ɺैདྷख๏ΑΓԼճΔ ᶓ
  12. 18.

    ߟ࡯ ߟ࡯ ɾ ɾ࣍ͷ̎఺ʹ͍ͭͯ௥ՃௐࠪΛߦͬͨ ࣍ͷ̎఺ʹ͍ͭͯ௥ՃௐࠪΛߦͬͨ ᶗ ᶗ. . EDR EDRͷ໢ཏੑ

    ͷ໢ཏੑ - -༻ྫจͱ ༻ྫจͱධՁ࣮ݧσʔλ ධՁ࣮ݧσʔλʹؔͯ͠ௐࠪ ʹؔͯ͠ௐࠪ ᶘ ᶘ. .಺༰ޠɺߏจยͷྨࣅ౓ ಺༰ޠɺߏจยͷྨࣅ౓ - -ਓؒͷओ؍ͱͷҰகੑʹؔͯ͠ௐࠪ ਓؒͷओ؍ͱͷҰகੑʹؔͯ͠ௐࠪ ᶔ