Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文間接続関係の自動同定のための人間による同定分析

 文間接続関係の自動同定のための人間による同定分析

齋藤 真実, 山本 和英, 関根 聡. 文間接続関係の自動同定のための人間による同定分析. 情報処理学会 研究報告, NL174-12 (2006.7)

More Decks by 自然言語処理研究室

Other Decks in Research

Transcript

  1. 4 ໨తͱഎܠ z ઌߦݚڀ {ೖྗͷ̎จؒͷ઀ଓؔ܎Λࣗಈਪఆ͢ΔγεςϜ {ਖ਼ղ཰65ˋ z ໰୊ {ೖྗ͸̎จ͚ͩͰΑ͍ͷ͔ʁ {ͦ΋ͦ΋ਖ਼ղͱ͸ʁ

    {઀ଓؔ܎͕ෳ਺ଘࡏ͢Δ͜ͱ΋͋ΔͷͰ͸ʁ {઀ଓؔ܎ຖͷ೉͠͞͸ଘࡏ͢Δ͔ʁ z ਓखʹΑΔಉఆ෼ੳ͔ΒγεςϜͷઃఆΛߟ͑Δ
  2. 6 ਓखʹΑΔ઀ଓؔ܎ͷਪఆ z 3ਓͷඃݧऀɿAɺBɺC z ੨ۭจݿɿ23ςΩετɺ300ઃ໰ z 6छྨͷ઀ଓؔ܎͔Βద੾ͳ΋ͷΛબ୒ z ෳ਺બ୒Մ(༏ઌॱҐ෇)

    10.7 ྫ͑͹ɺͨͱ͑͹ ྫࣔ 4.7 ͯ͞ɺͱ͜ΖͰɺͰ͸ɾɾɾ స׵ 8.7 ͭ·Γɺ͢ͳΘͪɺͦΕͱ΋ɺ͋Δ͍͸ɾɾɾ ฒྻ 10.0 ͔ͩΒɺͳͷͰɺ͢Δͱɾɾɾ ҼՌ 41.3 ͔͠͠ɺͰ΋ɺͱ͜Ζ͕ɾɾɾ ٯ઀ 24.7 ·ͨɺͦͯ͠ɺ͔͠΋ɺ͞Βʹɾɾɾ ྦྷՃ ׂ߹[%] ୅දతͳ઀ଓࢺͷྫ ઀ଓؔ܎
  3. 7 ೋछྨͷ࣮ݧ zςΩετશମΛ༩͑ͨ৔߹ z̎จ͚ͩΛ༩͑ͨ৔߹ ʙɻ ͔͠͠ ɺ ʙɻ Ұจ໨ ೋจ໨

    ʙɻ ɺ ʙɻ ඃݧऀ͸઀ଓؔ܎Λਪఆ ɻ ɻ ͦͯ͠ɺ ɻ ɻ ɻ ɻ ɺ ɻ ɻ
  4. 9 ෳ਺બ୒ z ฏۉͯ͠ 1.07 ʢ300ઃ໰ʹରͯ͠ਓؒͷग़ྗ͸1.07ഒʣ z ΄ͱΜͲͷ໰୊ʹରͯ͠ग़ྗ͸Ұͭ {͔ͩΒͱ͍ͬͯਖ਼ղ͕ҰͭͰ͋Δͱ͸͍͑ͳ͍ {Ұͭબ୒ͨ࣌͠఺Ͱਓؒ͸ຬ଍ͯ͠͠·͏ʁ

    z ༏ઌॱҐͷ࠷΋ߴ͍ग़ྗΛඃݧऀͷ།Ұͷग़ྗ 1.02 1.04 1.14 1.16 1.01 1.05 ग़ྗ૯਺/300 305 312 341 349 302 316 ग़ྗ૯਺ 2จ Text 2จ Text 2จ Text C B A
  5. 10 ෳ਺બ୒ʹΑΔਖ਼ղ཰΁ͷӨڹ z ਖ਼ղ཰1ɿબ୒ͨ͠઀ଓؔ܎ͷதʹਖ਼ղؚ͕·Ε͍ͯΕ͹˓ z ਖ਼ղ཰2ɿ༏ઌॱҐ͕ҰҐͰਖ਼ղͨ͠΋ͷ͚ͩΛ˓ z ग़ྗ਺Λ૿΍ͤ͹ਖ਼ղ཰΋্͕Δ z ෳ਺બ୒Ͱ΋ࣅͨΑ͏ͳ઀ଓؔ܎͕ಉ࣌ʹબ͹Ε΍͍͢

    ʢʮྦྷՃʯͱʮฒྻʯʣ 0.65 (31/48) 0.80 (4/5) 0.61 (25/41) 1.00 (2/2) ਖ਼ղ཰1 2จ 0.38 (29/77) 0.50 (6/12) 0.33 (16/49) 0.44 (7/16) ਖ਼ղ཰2 Text ਖ਼ղ཰2 ਖ਼ղ཰1 0.35 (17/48) 0.61 (47/77) Total 0.60 (3/5) 0.92 (11/12) C 0.29 (12/41) 0.49 (24/49) B 1.00 (2/2) 0.75 (12/16) A
  6. 12 ਖ਼ղ཰ͷൺֱͱҰக཰ 0.650 0.620 0.620 C 0.547 0.467 0.497 B

    0.640 0.607 0.597 A ग़ྗͷҰக཰ 2จͷΈ ςΩετશମ ඃݧऀ z ਖ਼ղ཰ʹࠩ͸ͳ͘ɺҰக཰͸6ׂఔ౓ z ςΩετશମΛݟͨ΄͏͕ྑ͍΋ͷͱ̎จ͚ͩʹݶ ఆͨ͠ํ͕ྑ͍΋ͷ͕͋Δʁ
  7. 13 ઀ଓؔ܎ຖͷ࠶ݱ཰ͱద߹཰ ਤ ɽਓ ͷ ࠶ ݱ ཰ ͷ ฏ

    ۉ       ྦྷ Ճ ٯ ઀ Ҽ Ռ ฒ ྻ స ׵ ྫ ࣔ ࠶ ݱ ཰ 5FYU จ ਤ ɽਓ ͷ ద ߹ ཰ ͷ ฏ ۉ       ྦྷ Ճ ٯ ઀ Ҽ Ռ ฒ ྻ స ׵ ྫ ࣔ ద ߹ ཰ 5FYU จ ʮస׵ʯ͸ςΩετશମͷ৘ใ͕ॏཁɻ ʮٯ઀ʯʮྫࣔʯ͸2จͰ΋ߴ͍ਖ਼ղ཰ɻ
  8. 14 ग़ྗͷҰக౓ͱਖ਼ղͷؔ܎ 112 33 51 28 ʷ ʷ e 117

    36 39 42 ˓ ʷ d 122 36 48 38 ʷ ˓ ෆҰக c 158 45 61 52 ʷ ʷ b 391 150 101 140 ˓ ˓ Ұக a Total C B A 2จ Text ग़ྗ ˓ɿਖ਼ղɺʷɿෆਖ਼ղ
  9. 15 ग़ྗͷҰக౓ͱਖ਼ղͷؔ܎ 112 33 51 28 ʷ ʷ e 117

    36 39 42 ˓ ʷ d 122 36 48 38 ʷ ˓ ෆҰக c 158 45 61 52 ʷ ʷ b 391 150 101 140 ˓ ˓ Ұக a Total C B A 2จ Text ग़ྗ ˓ɿਖ਼ղɺʷɿෆਖ਼ղ
  10. 16 ҰํͰͷΈਖ਼ղ͍ͯ͠Δ໰୊ 12 9 ྫࣔ 3 8 స׵ 9 13

    ฒྻ 18 18 ҼՌ 45 39 ٯ઀ 30 35 ྦྷՃ ໰୊਺ ໰୊਺ 2จͰਖ਼ղ TextͰਖ਼ղ ઀ଓؔ܎ ਤ ɽ઀ ଓ ؔ ܎ ຖ ͷ ׂ ߹       ྦྷ Ճ ٯ ઀ Ҽ Ռ ฒ ྻ స ׵ ྫ ࣔ ׂ߹ɹ 5FYUͷ Έ จ ͷ Έ z ଟগͷภΓ͸ݟΒΕΔ͕ɺ઀ଓؔ܎ʹΑͬͯ۠ผ͢ Δͷ͸೉͍͠ɻ
  11. 17 ςΩετͱ̎จΛ૊Έ߹Θͤͨͱ͖ͷਖ਼ղ཰ z ૊Έ߹Θͤͷਖ਼ղ཰ɿςΩετશମͱ2จ͚ͩΛݟ ͨ৔߹ͷগͳ͘ͱ΋ҰํͰਖ਼ղ͍ͯ͠Ε͹˓ 0.740 0.620 0.620 C 0.627

    0.467 0.497 B 0.737 0.607 0.597 A ૊Έ߹Θͤ 2จͷΈ ςΩετશମ ඃݧऀ z ςΩετશମΛݟΔ z 2จ͚ͩʹݶఆ ໰୊ʹΑͬͯ۠ผ ਫ਼౓ͷ޲্ʁ
  12. 18 ςΩετશମɿʷɺ2จͷΈɿ˓ z ݪจͰ͸ʮٯ઀ʯͷʮͱ͜Ζ͕ʯ z ඃݧऀ3ਓͷ͏ͪ2ਓ͸ςΩετશମΛݟͨͱ͖ʹ ʮྦྷՃʯͱग़ྗ z Ͳͷจͱͷͭͳ͕ΓΛ͍ࣔͯ͠Δ͔ͷ൑அ͸ਓؒ Ͱ΋೉͍͠

    ࣗ෼͸ΑΜͰ͍ͳ͍͚ΕͲ΋ɺ൴͸ઌʹʮࠜʯͱ͍͏ɺ΍ͬͺΓΞϨΰϦʔͷ ੒ޭͨ͠࡞඼Λॻ͍ͨͦ͏ͩɻ ᶃͱ͍͏ͱɺͭ·Γɺʰվ଄ʱʹൃද͞Εͨํͷ͸͋Μ·Γ੒ޭ͍ͯ͠ͳ͍ͱ ͍͏͜ͱʹͳΔɻʢ൱ఆతʣ ᶄ࡞ऀͷओ؍తͳɺݹ෩ͳݴ༿Ͱ͍͑͹͋Δड़ ջͱ͍͏Α͏ͳ΋ͷ͸ཧղͰ͖Δɻʢߠఆతʣ ɺ࡞඼͸ம͖ͭͰΑ ·ͤΔ෺Ͱ͸ͳ͍͔Βɺ͋ͷೋͭ͸ɺ͍͓͏ͱ͢Δ͜ͱΛɺ͸͖ͬΓͨ͠ܗͰ ಡऀͷ৺΁ଧͪ͜·ͳ͍ͱ͍͏఺Ͱࣦഊͩͬͨɻʢ൱ఆతʣ ಛʹʮ٠ͷՖʯ ͷํ͸ɺओ୊ͷ͔ͭΈ͔͕ͨϓϩϨλϦΞతͳཱ৔ͰݟΕ͹ഊ๺ओٛ͘͞ ͍ͱ͍͏ɺཧ࿦্ͷܽ఺΋΋͍ͬͯͨɻ
  13. 19 ߟ࡯1 z ਓ͕઀ଓؔ܎ΛಡΈऔΔࡍʹ͸ɾɾɾ {·ͣ͸̎จ͔Β ݟΔൣғΛ֦ு {̎จͷதʹे෼ͳ৘ใؚ͕·Ε͍ͯΔ͔ {̎จ͚ͩͰे෼ͳ৔߹Ͱ΋ɺςΩετதͷଞͷ৘ใʹӨڹ͞Ε Δʁ z

    ςΩετશମΛݟΔΑΓ2จʹݶఆͨ͠ํ͕Α͍৔߹ {Ͳͷจͱͭͳ͕͍ͬͯΔ͔ͷ൑அ͸ਓؒͰ΋೉͍͠ {ਓؒ͸จষͷྲྀΕ·ͰಡΜͰ͠·͏ z ઀ଓؔ܎Λ൑அ͢ΔͨΊͷඞཁे෼ͳ৘ใͱ͸ʁ ࠓޙͷ՝୊
  14. 21 ग़ྗͷҰக౓ͱਖ਼ղͷؔ܎ Ұக 112 33 51 28 ʷ ʷ e

    117 36 39 42 ˓ ʷ d 122 36 48 38 ʷ ˓ ෆҰக c 158 45 61 52 ʷ ʷ b 391 150 101 140 ˓ ˓ Ұக a Total C B A 2จ Text ग़ྗ ˓ɿਖ਼ղɺʷɿෆਖ਼ղ
  15. 22 ඃݧऀ͕શһҰகͯ͠ޡͬͨྫ1 z ݪจͰ͸ňฒྻʼnΛҙຯ͢Δʮ͢ͳΘͪʯ {ॻ͖खɿ௚લͷจͷݴ͍௚͠ z ඃݧऀ͸શһҰகͯ͠ňྫࣔʯ {ಡΈखɿ۩ମྫΛड़΂͍ͯΔͷͰ઀ଓؔ܎͸ňྫࣔʼn ྫ͑͹ɺߕͷ؟ʹ͸A ͱB

    ͱ͕ɺΑ͘ࣅ͍ͯΔΑ͏ʹݟ͑Δɻͱ͜Ζ͕ɺԵʹ ӠΘͤΔͱɺͪͬͱ΋ࣅ͍ͯͳ͍͡Όͳ͍͔ͱӠ͏ɻ͜Ε͸ߕͱԵͱͰண؟఺ ͕͕ͪ͏ͨΊͩͱӠ͑͹ͦΕ·ͰͰ͋Δɻ ߕʹͱͬͯ͸A ͱB ͱͷೋ ਓͷإͷதͰɺྫ͑͹؟͚͕ͩ஫ҙͷয఺ͱͳΔͷʹɺԵʹ͸؟͸ͦΜͳ ʹ໰୊ʹͳΒͳ͍Ͱޱڐ͕ಛʹେ੾ͳಛ௃ͱͳͬͯҹ৅͞ΕΔɺͱ͍͏৔߹ ͕ͦΕͰ͋Δɻ
  16. 23 ඃݧऀ͕શһҰகͯ͠ޡͬͨྫ2 z ઀ଓؔ܎͸ňస׵ʯ z ΋ͱͷςΩετͰ͸ňٯ઀ʼnΛҙຯ͢Δʮ͔͠͠ʯ z ʮ͔͠͠ʯ΋ňస׵ʼnͷҙຯͰ༻͍ΒΕΔ͜ͱ͕͋Δɻ ɾɾɾ൴ঁ͸්ਓࡶࢽͰ͍͏ڭཆ΋ɺ࿩୊ʹࠔΒͳ͍΄Ͳ͸Ώ͔ͨͰɺঁͱ͠ ͯਓؒͱͯ͠׆ൃͰ͋Δ΋ͷͷ໘ന͞Λࣗ෼ͷ਎ʹఴ͑ͯදݱ͢Δٕज़΋

    ཧղ͠ɺΘ͖·͍͑ͯΔۙ୅తͳए්͍ਓͰ͋Δͱ͍͏͜ͱ͕ग़དྷΑ͏ɻ ͜ͷࠒΑ͋͘ΔΑ͏ʹɺՈఉͷ͋Δஉͷਓͱ࿀ѪΊ͍͍͖͕ͨͭ͞ ͸͡·ͬͨΑ͏ͳͱ͖ɺ͋Δ͍͸ɺͦ͏͍͏͍͖͕ͭࣗ͞෼ͷਓੜʹى͜Γ͔ ͔͍ͬͯΔͷΛ֮ࣗͨ͠ͱ͖ɺͦͷͻͱ͸ɺݱ࣮ͷਓੜ໰୊ΛΏ͔ͨͳจֶ తڭཆͱΉ͢ͼ͋ΘͤͯɺͲͷΑ͏ʹ਎Λॲ͍ͯͩ͘͠Ζ͏͔ɻτϧετΠͷ খઆͷதʹ͸ɾɾɾ
  17. 25 ֤઀ଓؔ܎ʹ͓͚Δਓؒͷग़ྗͱਖ਼ղ 899 88 42 131 116 280 242 ߹ܭ

    96 62 5 9 5 1 14 ྫࣔ 42 2 17 4 5 8 6 స׵ 78 11 0 37 4 5 21 ฒྻ 90 5 0 15 40 9 21 ҼՌ 372 4 18 22 34 236 58 ٯ઀ 221 4 2 44 28 21 122 ྦྷՃ ਖ਼ ղ ྫࣔ స׵ ฒྻ ҼՌ ٯ઀ ྦྷՃ ߹ܭ ਓؒͷग़ྗ
  18. 26 ਓؒͷޡΓ΍͍͢઀ଓؔ܎ ʙؔ܎ͷۙ͞ʙ 899 88 42 131 116 280 242

    ߹ܭ 96 62 5 9 5 1 14 ྫࣔ 42 2 17 4 5 8 6 స׵ 78 11 0 37 4 5 21 ฒྻ 90 5 0 15 40 9 21 ҼՌ 372 4 18 22 34 236 58 ٯ઀ 221 4 2 44 28 21 122 ྦྷՃ ਖ਼ ղ ྫࣔ స׵ ฒྻ ҼՌ ٯ઀ ྦྷՃ ߹ܭ ਓؒͷग़ྗ
  19. 27 Д஋ͷٻΊํ z Po = (122+236) / 437 z Pe

    = (143ʷ180 / 437 + 294ʷ257 / 437) / 437 ྦྷՃ-ྦྷՃͷظ଴஋ ٯ઀-ٯ઀ͷظ଴஋ z Д = (Po-Pe) / (1-Pe) = 0.615 437 257 180 ߹ܭ 294 236 58 ٯ઀ 143 21 122 ྦྷՃ ਖ਼ղ ߹ܭ ٯ઀ ྦྷՃ ਓؒͷग़ྗ
  20. 28 ֤઀ଓؔ܎ؒͷۙ͞ 0.776 స׵ 0.648 0.844 ฒྻ 0.814 0.814 0.609

    ҼՌ 0.951 0.516 0.680 0.571 ٯ઀ 0.805 0.778 0.330 0.454 0.615 ྦྷՃ ྫࣔ స׵ ฒྻ ҼՌ ٯ઀ z Д஋͕௿͍ʹਓ͕ؒ͏·۠͘ผͰ͖ͳ͍ʹؔ܎͕͍ۙ z Д஋͕ߴ͍ʹਓؒ͸۠ผͰ͖͍ͯΔʹؔ܎͕ԕ͍ ֤઀ଓؔ܎ؒͷД஋
  21. 30 SVMʹΑΔ༧උ࣮ݧ z શͯͷ઀ଓؔ܎ͷ૊Έ߹Θͤʢ6 C2 =15௨Γʣʹର͠ ͯSVMΛ༻ҙ z ܇࿅σʔλɿͦΕͧΕͷ෼ྨثʹ͓͍ͯਖ਼ྫෛྫ 500ηοτͣͭͷ߹ܭ1000ηοτ

    z ςετηοτɿ100ηοτͣͭͷ߹ܭ200ηοτ z ܇࿅σʔλɺςετηοτڞʹ৽ฉهࣄΛ࢖༻ z SVMͷૉੑ {ݻ༗໊ࢺҎ֎ͷ໊ࢺɺಈࢺɺܗ༰ࢺʢ͢΂ͯද૚ܗ) {ಉ͡୯ޠͰ΋Ұจ໨ͱೋจ໨Ͱ͸۠ผ
  22. 31 SVMʹΑΔ࣮ݧ݁Ռ 0.690 స׵ 0.655 0.610 ฒྻ 0.715 0.660 0.575

    ҼՌ 0.750 0.695 0.710 0.625 ٯ઀ 0.640 0.670 0.595 0.630 0.550 ྦྷՃ ྫࣔ స׵ ฒྻ ҼՌ ٯ઀ 0.776 స׵ 0.648 0.844 ฒྻ 0.814 0.814 0.609 ҼՌ 0.951 0.516 0.680 0.571 ٯ઀ 0.805 0.778 0.330 0.454 0.615 ྦྷՃ ྫࣔ స׵ ฒྻ ҼՌ ٯ઀ ֤઀ଓؔ܎ؒͷД஋ SVMʹΑΔ֤઀ଓؔ܎ؒͷ෼ྨਫ਼౓
  23. 32 ֤઀ଓؔ܎ؒͷਓؒͷೝࣝͱSVMͷ૬ؔ ਤ ɽД ஋ ͱ47.ͷ ਫ਼ ౓ ͷ ૬

    ؔ ਤ             Д ஋ 47.ͷਫ਼౓ɹ z ૬ؔ܎਺͸0.51 z ਖ਼ͷ૬͕ؔ͋Δ͜ͱ͔Βɺ؆୯ͳSVMͰ΋ਓؒͱಉ͡܏ ޲ΛಘΔ͜ͱ͸Մೳ
  24. 36 ·ͱΊ z ਓؒʹΑΔ઀ଓؔ܎ͷಉఆ෼ੳ z ෳ਺બ୒ͷӨڹͳ͠ Ұͭͷબ୒Ͱຬ଍ʁ z ؔ܎ͷ͍͋·͍͞ɿ઀ଓࢺΛ΋ͱʹؔ܎Λઃఆʢ઀ ଓࢺͷҙຯతᐆດੑʣ

    ਓؒͷޡΓʹͭͳ͕Δ z ςΩετશମΛݟͯ൑அͨ͠ํ͕Α͍΋ͷͱ̎จʹ ݶఆͨ͠ํ͕Α͍΋ͷ͕ଘࡏ͢Δ {୯७ʹ৘ใ͕ଟ͚Ε͹Α͍ͱ͍͏΋ͷͰ͸ͳ͍ {܏޲͸͋Δ΋ͷͷ઀ଓؔ܎͔Β۠ผ͢Δͷ͸೉͍͠ z ֤઀ଓؔ܎ͷۙ͞ͷҧ͍ SVMʹΑΔ֬ೝ