Upgrade to Pro — share decks privately, control downloads, hide ads and more …

類似用例による文間接続関係の推定

 類似用例による文間接続関係の推定

齋藤 真実, 山本 和英. 類似用例による文間接続関係の推定. 言語処理学会第13回年次大会, pp.328-331 (2007.3)

More Decks by 自然言語処理研究室

Other Decks in Research

Transcript

  1. 2 ݚڀͷഎܠ(1/2) { খֶ2೥ੜͷࠃޠ໰୊Λղ͘ [ᜊ౻Βʢ05ʣ] z ݴޠॲཧͷ໰୊఺ͷݟ௚͠ { จؒ઀ଓؔ܎ͷਪఆ z

    υΩϡϝϯτཁ໿ɿ2จˠ1จͷཁ໿౳ z ࣭໰Ԡ౴γεςϜɿݪҼΛਘͶΔ࣭໰౳ Ӎ͕߱ͬͨɻ ࢼ߹͸தࢭʹͳͬͨɻ ̒छྨͷ઀ଓؔ܎ɿ ྦྷՃɺٯ઀ɺҼՌɺฒྻɺస׵ɺྫࣔ
  2. 3 ݚڀͷഎܠ(2/2) { ؔ࿈ݚڀ z ୯ޠ৘ใʹΑΔػցֶशख๏ [Marcu(02)] z ඼ࢺɺ੍࣌ɺจͷҐஔ৘ใ౳Λ༻͍ͨখن໛σʔλʹΑΔػ ցֶशख๏

    [Sporleder(05)] { େن໛ςΩετσʔλΛ༻͍ͨ౷ܭతख๏ z ߏจ৘ใΛ௥Ճ [ᜊ౻Βʢ06ʣ] z MarcuΒͷઌߦݚڀʹൺ΂ɺ໿12ϙΠϯτͷਖ਼ղ཰޲্ z ςΩετͷछྨʹґଘ ද૚త৘ใͷগͳ͍ɺ୹͍จʹରͯ͠͸౷ܭతख๏͸༗ޮͰͳ͍
  3. 7 ୯ޠͷΫϥελϦϯά(1/3) ຊΛಡΜͩɻ͔͠͠ɺͭ·Βͳ͔ͬͨɻ өըΛ؍ͨɻ͔͠͠ɺ్தͰ຾͘ͳͬͨɻ lຊz lөըz lಡΉz l؍Δz • ௚ײతʹҰจ໨ͱೋจ໨ͷؔ܎͸ಉ͡ɻ

    • ྨٛޠࣙॻ౳ͷ஌͔ࣝΒ͸ಘΒΕͳ͍ɻ ςΩετσʔλͷத͔Βೖྗจʹ͍ۙ΋ͷΛ୳͢ɻ ୯ޠͷҰக͚ͩͰ͸εύʔε • จͷத৺ͱͳΔ࿩୊ؒͷ઀ଓͷΈΛ൑அɻʢम০෦ͷ ୯ޠͷྨࣅੑ͸ΰϛͱͳΔ৔߹͕ଟ͍ʣ நग़Օॴͷݶఆ
  4. 8 ୯ޠͷΫϥελϦϯά(2/3) ड़ޠɿจ຤จઅதͷʮಈࢺʯʢʮ͢Δʯʮ͋Δʯ౳͸আ͘ʣɺʮαม໊ࢺʯɺ ʮܗ༰ࢺʯͰจ຤ʹ࠷΋͍ۙ΋ͷ ֨ཁૉɿड़ޠʹ܎Δ֨ཁૉʢݻ༗දݱ͸আ͘ʣ ଠ࿠͸ ͓΋͠Ζ͍ ຊΛ ಡΜͩɻ ࣍࿠͸

    ਺ֶͷ ษڧΛ ͨ͠ɻ ड़ޠɿʮಡΉʯ ֨ཁૉɿʮຊΛʯ ड़ޠɿʮษڧʯ ֨ཁૉɿͳ͠ ςΩετσʔλ 1จ໨ͷड़ޠ 2จ໨ͷड़ޠ 2จ໨ͷ֨ཁૉ 1จ໨ͷ֨ཁૉ Ϋϥελੜ੒
  5. 10 ྨࣅ౓ͷܭࢉ(2/3) Sw(i,c):୯ޠwʹΑͬͯ෇༩͞ΕΔ୯ޠείΞ W={V1ʢҰจ໨ͷड़ޠʣ,V2ʢೋจ໨ͷड़ޠʣ, N1ʢҰจ໨ͷ֨ཁૉʣ, N2ʢೋจ໨ͷ֨ཁૉʣ} ೖྗจ i ɿຊΛಡΜͩɻͭ·Βͳ͔ͬͨɻ ީิจc1

    ɿՈͰࡶࢽΛಡΜͩɻ్தͰ৸ͯ͠·ͬͨɻʢٯ઀ʣ lಡΉz l؍Δz ީิจc2 ɿөըΛ؍ͨɻ్தͰ຾͘ͳͬͨɻʢٯ઀ʣ SV1(i,c1)=1 lಡΉz l؍Δz lಡΉz l৯΂Δz lฉ͘z SV1(i,c2)=1/({i,c}ͷΫϥελ਺) =1/2
  6. 11 ྨࣅ౓ͷܭࢉ(3/3) Sim(i,c):ೖྗจi ͱީิจc ͷྨࣅ౓ Sim(i,c)= SPT (i,c)ʷ{SN1 (i,c)ʷSV1 (i,c)}

    ʷ{SV1 (i,c)ʷSV2 (i,c)} ʷ{SN2 (i,c)ʷSV2 (i,c)} ୯ޠؒͷͭͳ͕ΓΛߟྀ ྨࣅ౓ͷ࠷΋ߴ͍ީิจͷ࣋ͭ઀ଓؔ܎Λग़ྗ ೖྗจi ͔Βੜ੒͞Εͨ ߏจύλϯʹΑΔείΞ
  7. 12 ධՁ݁Ռ 0.321ʢҼՌʣ 0.430ʢྦྷՃʣ ϕʔεϥΠϯ 0.628 0.754 ਓखʹΑΔධՁ 0.476 0.508

    ຊख๏ 0.295 (0.640) ౷ܭతख๏ খֶ2೥ੜ (78ηοτ) WEBจॻ (281ηοτ) ʻਓखʹΑΔධՁʼ ຊख๏ʹΑΔγεςϜͷग़ྗ݁ՌΛ3ਓͷඃݧऀ͕ධՁɻ ͏ͪ2ਓҎ্͕ਖ਼ղͱ൑அͨ͠໰୊ͷׂ߹ɻ
  8. 14 ߟ࡯ { খֶ2೥ੜͷೖྗจͰਖ਼ղ཰͕޲্ͨ͠ɻ z ΫϥελϦϯάʹΑΔ൚ԽͷޮՌ z நग़͢Δ୯ޠΛݶఆ͢Δ͜ͱͰෆཁ෦෼ʹΑΔӨڹΛܰݮ { จதͷॏཁޠͷબผ͕ඞཁ

    z ೖྗจ͕୹͍৔߹ʹ͸༗ޮʢબผॲཧෆཁʣ z ज़ޠ΍֨ཁૉҎ֎Ͱ΋म০෦ʹ΋ॏཁޠ͕ଘࡏ͢Δ { ΰϛͷ࡟আͱεύʔεωε͕՝୊ z ೖྗจ͔Β1จ໨ͷड़ޠɺ֨ཁૉɺ2จ໨ͷड़ޠɺ֨ཁૉ͕ શͯநग़͞ΕΔ΋ͷ͸Θ͔ͣҰׂఔ౓ z μจʢʮA͸Bͩɻʯʣ΁ͷରԠ ௕͍จ΁ͷରԠ
  9. 15 ݁࿦ WEBจॻͰͷਖ਼ղ཰͸௿Լ { ྨࣅ༻ྫʹΑΔਪఆख๏ͷఏҊ z WEBจॻͰ50.8%ɺখֶੜͰ47.6% z ୯ޠͷ൚ԽʹΑͬͯΑΓ൚༻ͳγεςϜʹ z

    நग़͢Δ୯ޠΛݶఆ͢Δ͜ͱͰߏจతಛ௃ͷͳ͍γ ϯϓϧͳจʹ΋ରԠ (খֶੜͰ໿18ϙΠϯτ޲্) { ՝୊ z म০෦Λશͯ࡟আ͍ͯ͠ΔͨΊඞཁͳ৘ใ΋ࣺͯͯ ͍Δ z ॏཁޠͷબผ͕՝୊
  10. 17 ౷ܭతख๏ʹΑΔจؒ઀ଓؔ܎ͷਪఆ ೖྗจʢ2จʣ ୯ޠཁૉʹΑΔ൑ఆ ߏจύλϯʹΑΔ൑ఆ ೖྗจ͔Β୯ޠϖΞΛநग़ lཧ૝z ʢ1จ໨ʣɿlݱ࣮zʢ2จ໨ʣͱͳΔೋจΛݕࡧ ςΩετσʔλ ೖྗจ͔ΒߏจύλϯΛ࡞੒

    ύλϯʹϚον͢ΔςΩετσʔλதͷೋจͷ઀ଓؔ܎͔Βਪఆ WEB:130ສηοτ ৽ฉɿ15ສηοτ ʮʙ͸ʙͩͬͨɻʙͱ͍͏Θ͚ Ͱ͸ͳ͍ɻʯʢٯ઀ʣ ʮʙʹ͸ʙͰ͋ΔɻʙͳͲͳͲɻʯʢྫࣔʣ
  11. 18 ධՁ݁Ռ 0.321ʢҼՌʣ 0.430ʢྦྷՃʣ ϕʔεϥΠϯ 0.295 0.648 0.533 ਖ਼ղ཰ +ߏจ৘ใ

    ୯ޠϖΞͷΈ খֶ2೥ੜ ࠃޠ໰୊ ʢ78ηοτʣ ̬̗̚จॻʢ300ηοτʣ ͔֬ʹ͜Ε͸͍͢͝จֶͳΜͩͱࢥ͏ɻ Ͱ΋ɺ ΋͏ಡΈฦ͢ؾ΋ͳ͍ɻ ʻೖྗจʼ Ұจ໨ ೋจ໨ ʻਖ਼ղʼ ઀ଓؔ܎ɿʮٯ઀ʯ ϕʔεϥΠϯɿ࠷΋ग़ݱස౓ͷߴ͍઀ଓؔ܎ΛҰҙʹग़ྗ
  12. 20 ઀ଓؔ܎ͷ෼ྨ 1.4% ྫ͑͹ɺͨͱ͑͹ʢ2ݸͷΈʣ ྫࣔ 5.6% ͯ͞ɺͱ͜ΖͰɺͰ͸ స׵ 5.9% Ұํɺ΋͘͠͸ɺͭ·Γ

    ฒྻ 12.6% ͔ͩΒɺ͢ΔͱɺΏ͑ʹ ҼՌ 32.0% ͔͠͠ɺͰ΋ɺͱ͜Ζ͕ɺ͕ͩ ٯ઀ 42.5% ·ͨɺͦͯ͠ɺ͔͠΋ ྦྷՃ ग़ݱස౓ ઀ଓࢺͷྫ ઀ଓؔ܎
  13. 24 ΫϥελϦϯάʹ༻͍ͨૉੑͱॏΈ2 { Ұจ໨ͷड़ޠʹ܎Δ֨ཁૉͷΫϥελϦϯά ઀ଓࢺʢʮ͔͠͠ʯʣ 10 ߏจύλϯʢʮˎΛˎͨɻˎͰˎͨɻʯʣ 1 ೋจ໨ͷड़ޠʹ܎Δશͯͷܗଶૉ ʢň్தʯɺʮͰʯʣ

    2 ೋจ໨ͷड़ޠʹ܎Δ֨ཁૉʢʮ్தͰʯʣ 5 ೋจ໨ͷड़ޠʢʮ຾͍ʯʣ 5 Ұจ໨ͷड़ޠʹ܎Δ֨ཁૉʢʮөըΛʯʣ 2 ૉੑ ॏΈ ྫʣөըΛ؍ͨɻ͔͠͠ɺ్தͰ຾͘ͳͬͨɻ
  14. 25 ୯ޠͷΫϥελϦϯά(2/3) { Τϯτϩϐʔͷܭࢉ ( ) i i i P

    P D H 2 log ∑ − = ઀ଓؔ܎ Pi ɿ σʔλD தͰͷ઀ଓؔ܎i ͷׂ߹ { ෼ׂޙͷΤϯτϩϐʔʢ෼ׂ਺2ͷ৔߹ʣ |Di | ɿ σʔλDi ͷσʔλͷݸ਺ H(D 0 ) H(D1 ) H(D2 ) D0ɿ ෼ׂલͷσʔλ ( ) ( ) ( ) 2 0 2 1 0 1 2 1 D H D D D H D D D D H + = +
  15. 26 ΤϯτϩϐʔͱΫϥελ਺ͷؔ܎        

               Ϋϥελ਺ Τϯτϩϐʔ 7 7 / /
  16. 27 ྨࣅ౓ͷܭࢉ(1/3) SPT (i,c):ೖྗจi ͔Βੜ੒͞ΕͨߏจύλϯʹΑΔ είΞʢύλϯείΞʣ ީิจc1 ೖྗจi ͔Βੜ੒͞Εͨߏจύλϯ“A” ςΩετσʔλ

    ީิจc2 ީิจcn ύλϯAʹΑͬͯಘΒΕͨީิจ ɾ ɾ ɾ SPT (i,c1 )= SPT (i,c2 )= ɾɾɾ SPT (i,cn )= 1/n
  17. 28 ྨࣅ౓ͷܭࢉ(2/3) ೖྗจ ީิจA Ұจ໨ͷड़ޠ Ұจ໨ͷड़ޠ ಉҰ ಉ͡Ϋϥελ಺ʹଘࡏ ީิจAʹର͠ɺείΞΛϓϥε Ϋϥελ਺ʹԠͨ͡είΞΛ

    ϓϥε 3.640 ީิจA 0.356 ީิจB 0.057 ީิจC ɾ ɾ ɾ ʮʙɻ͔͠͠ɺʙɻʯ γεςϜͷग़ྗɿʮٯ઀ʯ
  18. 29 ྨࣅ౓ͷܭࢉ(3/3) Sim(i,c):ೖྗจi ͱީิจc ͷྨࣅ౓ SPT (i,c):ೖྗจi ͔Βੜ੒͞ΕͨߏจύλϯʹΑΔείΞ Sw(i,c):ೖྗจi ͱީิจc

    ͷൺֱͰɺ୯ޠwʹΑͬͯ෇༩ ͞ΕΔ୯ޠείΞ W={V1ʢҰจ໨ͷड़ޠʣ,V2ʢೋจ໨ͷड़ޠʣ, N1ʢҰจ ໨ͷ֨ཁૉʣ, N2ʢೋจ໨ͷ֨ཁૉʣ} Sim(i,c)= SPT (i,c)ʷ{SN1 (i,c)ʷSV1 (i,c)} ʷ{SV1 (i,c)ʷSV2 (i,c)} ʷ{SN2 (i,c)ʷSV2 (i,c)}
  19. 31 ධՁ࣮ݧ͓Αͼߟ࡯(2/4) H(D 1 )=2.0 H(D 2 )=0.6 H(D 3

    )=1.1 H(D 4 )=0.9 H(D 0 )=1.9 D 1 D 2 D 3 D 4 D0 Ex. ᮢ஋ɿ1.0 ੜ੒ͨ͠ΫϥελͰΤϯτϩϐʔ͕ᮢ஋ҎԼͷ΋ͷͷΈ Λ࢖༻
  20. 32 ධՁ࣮ݧ͓Αͼߟ࡯(3/4) 0.41 0.61 188 32 73 13 12 Th0.0

    0.41 0.60 193 47 75 30 18 Th0.5 0.40 0.46 246 117 116 121 119 ઀ଓࢺ 0.42 0.49 240 935 1252 830 711 Thແ 0.41 0.53 217 241 370 181 116 Th1.0 ਖ਼ղ཰ʢશମʣ ਖ਼ղ཰ ग़ྗ໰୊਺ Ϋϥελ਺ʢN2ʣ Ϋϥελ਺ʢN1ʣ Ϋϥελ਺ʢV2ʣ Ϋϥελ਺ʢV1ʣ WEBจॻɿ281ηοτ ઀ଓࢺɿ઀ଓࢺ͕ಉ͡΋ͷͰΫϥελੜ੒ʢΤϯτϩϐʔ͸0ʣ
  21. 33 ධՁ࣮ݧ͓Αͼߟ࡯(4/4) { WEBจॻɿ281ηοτ { ୯ޠͷछྨ਺4ɿV1ɺV2ɺN1ɺN2͕શͯநग़ { ୯ޠͷछྨ਺0ɿ 27 4

    90 3 88 2 53 1 23 0 ໰୊਺ நग़͞Εͨ୯ޠͷछྨ਺ ྫʣ͍·ͩʹࢥߟࡨޡதͳΜͰ͢ɻ ʢ͔ͩΒʣࠓճ͸ͦΕͧΕͷ͓ళͷ۩ΛϝϞ͢Δͷʹେ๩͠Ͱͨ͠ɻ
  22. 34 ධՁํ๏ 3.640 ީิจA ྦྷՃ 3.640 ީิจB ҼՌ 3.640 ީิจC

    ྦྷՃ 3.640 ީิจD ٯ઀ 0.356 ީิจE స׵ 0.057 ީิจF స׵ ɾ ɾ ɾ ਖ਼ղɿʮྦྷՃʯ ೖྗจ i ਖ਼ղϙΠϯτ ਖ਼ղ཰ ʹྦྷܭϙΠϯτ / ໰୊਺(M) 3 1 = i P M P M i i ∑ = = 1 γεςϜͷग़ྗ ʮྦྷՃʯɺʮҼՌʯɺʮٯ઀ʯ
  23. 35 ਓखʹΑΔධՁํ๏ 3.640 ީิจA ྦྷՃ 3.640 ީิจB ҼՌ 3.640 ީิจC

    ྦྷՃ 3.640 ީิจD ٯ઀ 0.356 ީิจE స׵ 0.057 ީิจF స׵ ɾ ɾ ɾ ೖྗจ i ਖ਼ղϙΠϯτ ਖ਼ղ཰ ʹྦྷܭϙΠϯτ / ໰୊਺(M) 3 2 = i P M P M i i ∑ = = 1 γεςϜͷग़ྗ ʮྦྷՃʯ(3)ɺʮҼՌʯ(2)ɺ ʮٯ઀ʯ(1)