Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up
for free
類似用例による文間接続関係の推定
自然言語処理研究室
March 31, 2007
Research
0
30
類似用例による文間接続関係の推定
齋藤 真実, 山本 和英. 類似用例による文間接続関係の推定. 言語処理学会第13回年次大会, pp.328-331 (2007.3)
自然言語処理研究室
March 31, 2007
Tweet
Share
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
jnlp
0
250
jnlp
0
240
jnlp
0
230
jnlp
0
280
jnlp
0
63
jnlp
0
57
jnlp
0
43
jnlp
0
30
jnlp
0
33
Other Decks in Research
See All in Research
corgies
0
210
noteinc
1
51k
matsumoto_r
PRO
7
1.9k
tomo_otamot
0
250
victorhsantiago
1
130
yoshipon
0
130
hirotohonda
1
440
nzw0301
2
310
jnishimu
1
130
mot_ai_tech
1
1k
jayagonoy
0
120
yuukit
0
1.2k
Featured
See All Featured
sferik
610
54k
cassininazir
347
20k
kneath
219
15k
wjessup
339
16k
nonsquared
81
3.4k
danielanewman
200
20k
malarkey
192
8.6k
shlominoach
176
7.5k
mojombo
358
62k
addyosmani
1346
190k
jonrohan
1021
380k
danielanewman
1
520
Transcript
1 ྨࣅ༻ྫʹΑΔจؒଓؔͷਪఆ ˓ᜊ౻ ਅ࣮ ࢁຊ ӳ Ԭٕज़Պֶେֶ
2 ݚڀͷഎܠ(1/2) { খֶ2ੜͷࠃޠΛղ͘ [ᜊ౻Βʢ05ʣ] z ݴޠॲཧͷͷݟ͠ { จؒଓؔͷਪఆ z
υΩϡϝϯτཁɿ2จˠ1จͷཁ z ࣭ԠγεςϜɿݪҼΛਘͶΔ࣭ Ӎ͕߱ͬͨɻ ࢼ߹தࢭʹͳͬͨɻ ̒छྨͷଓؔɿ ྦྷՃɺٯɺҼՌɺฒྻɺసɺྫࣔ
3 ݚڀͷഎܠ(2/2) { ؔ࿈ݚڀ z ୯ޠใʹΑΔػցֶशख๏ [Marcu(02)] z ࢺɺ੍࣌ɺจͷҐஔใΛ༻͍ͨখنσʔλʹΑΔػ ցֶशख๏
[Sporleder(05)] { େنςΩετσʔλΛ༻͍ͨ౷ܭతख๏ z ߏจใΛՃ [ᜊ౻Βʢ06ʣ] z MarcuΒͷઌߦݚڀʹൺɺ12ϙΠϯτͷਖ਼ղ্ z ςΩετͷछྨʹґଘ දతใͷগͳ͍ɺ͍จʹରͯ͠౷ܭతख๏༗ޮͰͳ͍
4 จؒଓؔͷਪఆख๏ { େنςΩετσʔλΛ༻͍ͨ౷ܭతख๏ z ୯ޠରߏจύλϯΛ༻͍ͯʮ̖݅ͷͱ͖ʹଓؔ ̗ͱͳΔʯͱ͍͏̖݅ΛςΩετத͔Β౷ܭతʹ୳͢ɻ z 6छྨͷଓؔͷ͏ͪͲΕ͕Β͍͔͠ {
ྨࣅ༻ྫʹΑΔਪఆख๏ z ೖྗͷ2จʹ࠷ྨࣅͨ͠2จΛςΩετத͔Β୳͠ɺͦ ͷͱ͖ͷଓؔΛೖྗͷଓؔͱ͢Δɻ
5 ྨࣅ༻ྫʹΑΔจؒଓؔͷਪఆ ΫϥελϦϯάπʔϧl̜̩̖̚z ୯ޠͷΫϥελ ೖྗจ ύλϯੜ ީิจ ΫϥελϦϯά༻ ςΩετσʔλ ީิจநग़
ྨࣅจ ଓؔग़ྗ ςΩετσʔλ ʢԼݶ100ʣ ީิจʹର͠ɺ୯ޠ ʹΑΔྨࣅܭࢉ
6 ީิจͷநग़ { 120ສηοτʹରͯ͠ྨࣅͷܭࢉίετେ { ೖྗจ͔ΒߏจύλϯΛੜ͠ɺύλϯʹϚον͢Δ ͷ͚ͩΛରͱ͢Δ ্ւͷੜ׆৺Α͍ͷͱͳΔͣͩͬͨɻ ʢ͔͠͠ʣͷࢮ൴ঁʹܭΓΕͳ͍ଧܸΛ༩͑ͨɻ LOCATIONͷˎˎͷͱˎͣͩͬͨɻˎʹˎͳ͍ˎΛˎͨɻ
LOCATIONͷˎˎͷͱˎͣͩͬͨɻˎͳ͍ˎΛˎͨɻ LOCATIONͷˎˎͷͱˎͩͬͨɻˎͳ͍ˎΛˎͨɻ ɾ ɾ ɾ ˎˎͷͱˎͩͬͨɻˎͳ͍ˎΛˎͨɻ 120ສηοτ ඦηοτ ʢԼݶ100ʣ
7 ୯ޠͷΫϥελϦϯά(1/3) ຊΛಡΜͩɻ͔͠͠ɺͭ·Βͳ͔ͬͨɻ өըΛ؍ͨɻ͔͠͠ɺ్தͰ͘ͳͬͨɻ lຊz lөըz lಡΉz l؍Δz • ײతʹҰจͱೋจͷؔಉ͡ɻ
• ྨٛޠࣙॻͷ͔ࣝΒಘΒΕͳ͍ɻ ςΩετσʔλͷத͔Βೖྗจʹ͍ۙͷΛ୳͢ɻ ୯ޠͷҰக͚ͩͰεύʔε • จͷத৺ͱͳΔؒͷଓͷΈΛஅɻʢम০෦ͷ ୯ޠͷྨࣅੑΰϛͱͳΔ߹͕ଟ͍ʣ நग़Օॴͷݶఆ
8 ୯ޠͷΫϥελϦϯά(2/3) ड़ޠɿจจઅதͷʮಈࢺʯʢʮ͢Δʯʮ͋Δʯআ͘ʣɺʮαม໊ࢺʯɺ ʮܗ༰ࢺʯͰจʹ࠷͍ۙͷ ֨ཁૉɿड़ޠʹΔ֨ཁૉʢݻ༗දݱআ͘ʣ ଠ ͓͠Ζ͍ ຊΛ ಡΜͩɻ ࣍
ֶͷ ษڧΛ ͨ͠ɻ ड़ޠɿʮಡΉʯ ֨ཁૉɿʮຊΛʯ ड़ޠɿʮษڧʯ ֨ཁૉɿͳ͠ ςΩετσʔλ 1จͷड़ޠ 2จͷड़ޠ 2จͷ֨ཁૉ 1จͷ֨ཁૉ Ϋϥελੜ
9 ୯ޠͷΫϥελϦϯά(3/3) { ඞཁ݅ z ҰͭͷΫϥελʹೋछྨҎ্ͷ୯ޠ͕ଘࡏ͢Δ 935 ೋจͷ֨ཁૉ(N2) 1252 Ұจͷ֨ཁૉ(N1)
830 ೋจͷड़ޠ(V2) 711 Ұจͷड़ޠ(V1) Ϋϥελ Ϋϥελͷछྨ
10 ྨࣅͷܭࢉ(2/3) Sw(i,c):୯ޠwʹΑͬͯ༩͞ΕΔ୯ޠείΞ W={V1ʢҰจͷड़ޠʣ,V2ʢೋจͷड़ޠʣ, N1ʢҰจͷ֨ཁૉʣ, N2ʢೋจͷ֨ཁૉʣ} ೖྗจ i ɿຊΛಡΜͩɻͭ·Βͳ͔ͬͨɻ ީิจc1
ɿՈͰࡶࢽΛಡΜͩɻ్தͰ৸ͯ͠·ͬͨɻʢٯʣ lಡΉz l؍Δz ީิจc2 ɿөըΛ؍ͨɻ్தͰ͘ͳͬͨɻʢٯʣ SV1(i,c1)=1 lಡΉz l؍Δz lಡΉz l৯Δz lฉ͘z SV1(i,c2)=1/({i,c}ͷΫϥελ) =1/2
11 ྨࣅͷܭࢉ(3/3) Sim(i,c):ೖྗจi ͱީิจc ͷྨࣅ Sim(i,c)= SPT (i,c)ʷ{SN1 (i,c)ʷSV1 (i,c)}
ʷ{SV1 (i,c)ʷSV2 (i,c)} ʷ{SN2 (i,c)ʷSV2 (i,c)} ୯ޠؒͷͭͳ͕ΓΛߟྀ ྨࣅͷ࠷ߴ͍ީิจͷ࣋ͭଓؔΛग़ྗ ೖྗจi ͔Βੜ͞Εͨ ߏจύλϯʹΑΔείΞ
12 ධՁ݁Ռ 0.321ʢҼՌʣ 0.430ʢྦྷՃʣ ϕʔεϥΠϯ 0.628 0.754 ਓखʹΑΔධՁ 0.476 0.508
ຊख๏ 0.295 (0.640) ౷ܭతख๏ খֶ2ੜ (78ηοτ) WEBจॻ (281ηοτ) ʻਓखʹΑΔධՁʼ ຊख๏ʹΑΔγεςϜͷग़ྗ݁ՌΛ3ਓͷඃݧऀ͕ධՁɻ ͏ͪ2ਓҎ্͕ਖ਼ղͱஅͨ͠ͷׂ߹ɻ
13 ୯ޠநग़݁Ռ { WEBจॻɿ281ηοτ { ୯ޠͷछྨ4ɿV1ɺV2ɺN1ɺN2͕શͯநग़ { ୯ޠͷछྨ0ɿμจʢABͩɻʣ 27 4
90 3 88 2 53 1 23 0 நग़͞Εͨ୯ޠͷछྨ
14 ߟ { খֶ2ੜͷೖྗจͰਖ਼ղ্͕ͨ͠ɻ z ΫϥελϦϯάʹΑΔ൚ԽͷޮՌ z நग़͢Δ୯ޠΛݶఆ͢Δ͜ͱͰෆཁ෦ʹΑΔӨڹΛܰݮ { จதͷॏཁޠͷબผ͕ඞཁ
z ೖྗจ͕͍߹ʹ༗ޮʢબผॲཧෆཁʣ z ज़ޠ֨ཁૉҎ֎Ͱम০෦ʹॏཁޠ͕ଘࡏ͢Δ { ΰϛͷআͱεύʔεωε͕՝ z ೖྗจ͔Β1จͷड़ޠɺ֨ཁૉɺ2จͷड़ޠɺ֨ཁૉ͕ શͯநग़͞ΕΔͷΘ͔ͣҰׂఔ z μจʢʮABͩɻʯʣͷରԠ ͍จͷରԠ
15 ݁ WEBจॻͰͷਖ਼ղԼ { ྨࣅ༻ྫʹΑΔਪఆख๏ͷఏҊ z WEBจॻͰ50.8%ɺখֶੜͰ47.6% z ୯ޠͷ൚ԽʹΑͬͯΑΓ൚༻ͳγεςϜʹ z
நग़͢Δ୯ޠΛݶఆ͢Δ͜ͱͰߏจతಛͷͳ͍γ ϯϓϧͳจʹରԠ (খֶੜͰ18ϙΠϯτ্) { ՝ z म০෦Λશͯআ͍ͯ͠ΔͨΊඞཁͳใࣺͯͯ ͍Δ z ॏཁޠͷબผ͕՝
16 ͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ
17 ౷ܭతख๏ʹΑΔจؒଓؔͷਪఆ ೖྗจʢ2จʣ ୯ޠཁૉʹΑΔఆ ߏจύλϯʹΑΔఆ ೖྗจ͔Β୯ޠϖΞΛநग़ lཧz ʢ1จʣɿlݱ࣮zʢ2จʣͱͳΔೋจΛݕࡧ ςΩετσʔλ ೖྗจ͔ΒߏจύλϯΛ࡞
ύλϯʹϚον͢ΔςΩετσʔλதͷೋจͷଓ͔ؔΒਪఆ WEB:130ສηοτ ৽ฉɿ15ສηοτ ʮʙʙͩͬͨɻʙͱ͍͏Θ͚ Ͱͳ͍ɻʯʢٯʣ ʮʙʹʙͰ͋ΔɻʙͳͲͳͲɻʯʢྫࣔʣ
18 ධՁ݁Ռ 0.321ʢҼՌʣ 0.430ʢྦྷՃʣ ϕʔεϥΠϯ 0.295 0.648 0.533 ਖ਼ղ +ߏจใ
୯ޠϖΞͷΈ খֶ2ੜ ࠃޠ ʢ78ηοτʣ ̬̗̚จॻʢ300ηοτʣ ͔֬ʹ͜Ε͍͢͝จֶͳΜͩͱࢥ͏ɻ Ͱɺ ͏ಡΈฦ͢ؾͳ͍ɻ ʻೖྗจʼ Ұจ ೋจ ʻਖ਼ղʼ ଓؔɿʮٯʯ ϕʔεϥΠϯɿ࠷ग़ݱසͷߴ͍ଓؔΛҰҙʹग़ྗ
19 Ұൠͷࠃޠͱখֶ2ੜͷ { খֶੜͷจ͘ɺҰൠతʹग़ݱසͷߴ ͍ޠ͕΄ͱΜͲ { Ұൠతͳจ͘ɺग़ݱස͕தʙఔ ͷޠසग़ γϯϓϧͳจ ਓ͕ؒؔΛਪఆ͍͢͠
ߏจతͳ͠͞ ਓ͕͍ؒ͠ͱײ͡Δͷ ػցతͳॲཧͰ͋Δఔ͏·͍͘͘
20 ଓؔͷྨ 1.4% ྫ͑ɺͨͱ͑ʢ2ݸͷΈʣ ྫࣔ 5.6% ͯ͞ɺͱ͜ΖͰɺͰ స 5.9% Ұํɺ͘͠ɺͭ·Γ
ฒྻ 12.6% ͔ͩΒɺ͢ΔͱɺΏ͑ʹ ҼՌ 32.0% ͔͠͠ɺͰɺͱ͜Ζ͕ɺ͕ͩ ٯ 42.5% ·ͨɺͦͯ͠ɺ͔͠ ྦྷՃ ग़ݱස ଓࢺͷྫ ଓؔ
21 ଓ෦Ґͷಉఆ ʢͦͷͨΊʣެԂͰ༡ΜͰ͍ͨଠՈʹؼͬͯษڧΛͨ͠ɻ ଠ॓Λࢥ͍ग़ͨ͠ɻ ଠ॓Λࢥ͍ग़ͨ͠ɻ ଠՈʹؼͬͨɻ ଠ॓Λࢥ͍ग़ͨ͠ɻ ଠ॓Λࢥ͍ग़ͨ͠ɻ ྫʣ ଠษڧΛͨ͠ɻ
ଠެԂͰ༡ΜͰ͍ͨɻ ʷ ʷ ˓
22 ୯ޠͷΫϥελϦϯά { ΫϥελϦϯάπʔϧlGETAz z ֊తϕΠζΫϥελϦϯάʢHBCʣ { จॻྨ୯ޠγιʔϥεͷࣗಈߏஙʹ༻͍ΒΕΔ { ྨͷରͱͳΔΞΠςϜʢड़ޠɺ֨ཁૉʣΛϘτϜΞοϓʹೋͭ
ͣͭ·ͱΊͳ͕Β֊Λੜ
23 ΫϥελϦϯάʹ༻͍ͨૉੑͱॏΈ1 { Ұจͷड़ޠͷΫϥελϦϯά ߏจύλϯʢʮˎΛˎͨɻˎͰˎͨɻʯʣ 1 ଓࢺʢʮ͔͠͠ʯʣ 10 ೋจͷड़ޠʹΔશͯͷܗଶૉ ʢň్தʯɺʮͰʯʣ
2 ೋจͷड़ޠʢʮ͍ʯʣ 5 Ұจͷड़ޠʢʮ؍Δʯʣ 2 ૉੑ ॏΈ ྫʣөըΛ؍ͨɻ͔͠͠ɺ్தͰ͘ͳͬͨɻ
24 ΫϥελϦϯάʹ༻͍ͨૉੑͱॏΈ2 { Ұจͷड़ޠʹΔ֨ཁૉͷΫϥελϦϯά ଓࢺʢʮ͔͠͠ʯʣ 10 ߏจύλϯʢʮˎΛˎͨɻˎͰˎͨɻʯʣ 1 ೋจͷड़ޠʹΔશͯͷܗଶૉ ʢň్தʯɺʮͰʯʣ
2 ೋจͷड़ޠʹΔ֨ཁૉʢʮ్தͰʯʣ 5 ೋจͷड़ޠʢʮ͍ʯʣ 5 Ұจͷड़ޠʹΔ֨ཁૉʢʮөըΛʯʣ 2 ૉੑ ॏΈ ྫʣөըΛ؍ͨɻ͔͠͠ɺ్தͰ͘ͳͬͨɻ
25 ୯ޠͷΫϥελϦϯά(2/3) { Τϯτϩϐʔͷܭࢉ ( ) i i i P
P D H 2 log ∑ − = ଓؔ Pi ɿ σʔλD தͰͷଓؔi ͷׂ߹ { ׂޙͷΤϯτϩϐʔʢׂ2ͷ߹ʣ |Di | ɿ σʔλDi ͷσʔλͷݸ H(D 0 ) H(D1 ) H(D2 ) D0ɿ ׂલͷσʔλ ( ) ( ) ( ) 2 0 2 1 0 1 2 1 D H D D D H D D D D H + = +
26 ΤϯτϩϐʔͱΫϥελͷؔ
Ϋϥελ Τϯτϩϐʔ 7 7 / /
27 ྨࣅͷܭࢉ(1/3) SPT (i,c):ೖྗจi ͔Βੜ͞ΕͨߏจύλϯʹΑΔ είΞʢύλϯείΞʣ ީิจc1 ೖྗจi ͔Βੜ͞Εͨߏจύλϯ“A” ςΩετσʔλ
ީิจc2 ީิจcn ύλϯAʹΑͬͯಘΒΕͨީิจ ɾ ɾ ɾ SPT (i,c1 )= SPT (i,c2 )= ɾɾɾ SPT (i,cn )= 1/n
28 ྨࣅͷܭࢉ(2/3) ೖྗจ ީิจA Ұจͷड़ޠ Ұจͷड़ޠ ಉҰ ಉ͡Ϋϥελʹଘࡏ ީิจAʹର͠ɺείΞΛϓϥε ΫϥελʹԠͨ͡είΞΛ
ϓϥε 3.640 ީิจA 0.356 ީิจB 0.057 ީิจC ɾ ɾ ɾ ʮʙɻ͔͠͠ɺʙɻʯ γεςϜͷग़ྗɿʮٯʯ
29 ྨࣅͷܭࢉ(3/3) Sim(i,c):ೖྗจi ͱީิจc ͷྨࣅ SPT (i,c):ೖྗจi ͔Βੜ͞ΕͨߏจύλϯʹΑΔείΞ Sw(i,c):ೖྗจi ͱީิจc
ͷൺֱͰɺ୯ޠwʹΑͬͯ༩ ͞ΕΔ୯ޠείΞ W={V1ʢҰจͷड़ޠʣ,V2ʢೋจͷड़ޠʣ, N1ʢҰจ ͷ֨ཁૉʣ, N2ʢೋจͷ֨ཁૉʣ} Sim(i,c)= SPT (i,c)ʷ{SN1 (i,c)ʷSV1 (i,c)} ʷ{SV1 (i,c)ʷSV2 (i,c)} ʷ{SN2 (i,c)ʷSV2 (i,c)}
30 ධՁ࣮ݧ͓Αͼߟ(1/4) { WEBจॻ z ֤ଓؔʹରͯ͠50ηοτͣͭɺܭ300ηοτநग़ z ܗଶૉղੳϛεͷΤϥʔจॻΛআ͍ͨ281ηοτ { খֶ2ੜ
z খֶ2ੜͷࠃޠͷूΑΓ78ηοτ
31 ධՁ࣮ݧ͓Αͼߟ(2/4) H(D 1 )=2.0 H(D 2 )=0.6 H(D 3
)=1.1 H(D 4 )=0.9 H(D 0 )=1.9 D 1 D 2 D 3 D 4 D0 Ex. ᮢɿ1.0 ੜͨ͠ΫϥελͰΤϯτϩϐʔ͕ᮢҎԼͷͷͷΈ Λ༻
32 ධՁ࣮ݧ͓Αͼߟ(3/4) 0.41 0.61 188 32 73 13 12 Th0.0
0.41 0.60 193 47 75 30 18 Th0.5 0.40 0.46 246 117 116 121 119 ଓࢺ 0.42 0.49 240 935 1252 830 711 Thແ 0.41 0.53 217 241 370 181 116 Th1.0 ਖ਼ղʢશମʣ ਖ਼ղ ग़ྗ ΫϥελʢN2ʣ ΫϥελʢN1ʣ ΫϥελʢV2ʣ ΫϥελʢV1ʣ WEBจॻɿ281ηοτ ଓࢺɿଓࢺ͕ಉ͡ͷͰΫϥελੜʢΤϯτϩϐʔ0ʣ
33 ධՁ࣮ݧ͓Αͼߟ(4/4) { WEBจॻɿ281ηοτ { ୯ޠͷछྨ4ɿV1ɺV2ɺN1ɺN2͕શͯநग़ { ୯ޠͷछྨ0ɿ 27 4
90 3 88 2 53 1 23 0 நग़͞Εͨ୯ޠͷछྨ ྫʣ͍·ͩʹࢥߟࡨޡதͳΜͰ͢ɻ ʢ͔ͩΒʣࠓճͦΕͧΕͷ͓ళͷ۩ΛϝϞ͢Δͷʹେ͠Ͱͨ͠ɻ
34 ධՁํ๏ 3.640 ީิจA ྦྷՃ 3.640 ީิจB ҼՌ 3.640 ީิจC
ྦྷՃ 3.640 ީิจD ٯ 0.356 ީิจE స 0.057 ީิจF స ɾ ɾ ɾ ਖ਼ղɿʮྦྷՃʯ ೖྗจ i ਖ਼ղϙΠϯτ ਖ਼ղ ʹྦྷܭϙΠϯτ / (M) 3 1 = i P M P M i i ∑ = = 1 γεςϜͷग़ྗ ʮྦྷՃʯɺʮҼՌʯɺʮٯʯ
35 ਓखʹΑΔධՁํ๏ 3.640 ީิจA ྦྷՃ 3.640 ީิจB ҼՌ 3.640 ީิจC
ྦྷՃ 3.640 ީิจD ٯ 0.356 ީิจE స 0.057 ީิจF స ɾ ɾ ɾ ೖྗจ i ਖ਼ղϙΠϯτ ਖ਼ղ ʹྦྷܭϙΠϯτ / (M) 3 2 = i P M P M i i ∑ = = 1 γεςϜͷग़ྗ ʮྦྷՃʯ(3)ɺʮҼՌʯ(2)ɺ ʮٯʯ(1)