B3 勉強会 第8回目 ( 2015年2月20日(金) )

Transcript

1. ௕Ԭٕज़Պֶେֶ ࣗવݴޠॲཧݚڀࣨ B3 ழມ ܚथ 1 B3ษڧձ ୈ8ճ(2015/2/20)
2. ςΩετཁ໿ (ଓ͖)
3. લճͷ಺༰ • ςΩετཁ໿ (text summarization) • ݩͷςΩετͷ಺༰Λ, ΑΓ୹͍ςΩετͰ؆ܿʹ·ͱΊΔॲཧ. 3 ཁ໿ ೥ۚอݥྉͷҰ෦Λऩೲ୲౰ͷٞһ͕ԣྖ͍ͯ͠Δࣄྫ͕͋Δͱͯ͠, ࣾձอݥி͸શࠃͷ࣮ଶௐࠪ Λ࢝Ίͨ. อݥྉԣྖ͸ൃ͍֮ͯ͠Δ෼͚ͩͰ2002೥·Ͱʹ1ԯ1000ສԁΛ௒͢ͱ൑໌, ະൃ֮ͷέʔ ε΋͋ΔͱݟΒΕΔ. ࣾձி͸ࢢ۠ொଜٞһΛௐࠪ͢Δํ਑͕ͩ, ಉிͷ஍ํग़ઌػؔ΋ର৅ͱͳΔՄ ೳੑ͕͋Δ. อݥྉԣྖ͸, ෷ͬͨ͸ͣͷอݥྉೲ෇ه࿥͕ͳ͘ͳ͍ͬͯΔʮফ͑ͨ೥ۚʯͳͲͷҰһ ͱΈΒΕΔ. ௐࠪͱ৘ใެ։Λٸ͙ඞཁ͕͋Γͦ͏ͩ. ձܭݕࠪӃͷௐࠪʹΑΔͱ, 1983ɾ02೥·Ͱͷ ެతอݥྉͷԣྖֹ͸ൃ֮ͨ͠෼͚ͩͰ໿1ԯ1000ສԁ. 4೥ؒʹΘͨΓՃೖऀ͔Βड͚औͬͨอݥྉ Λࠃݿʹೲ෇ͤͣʹண෰͍ͯͨ͠έʔε(౦ژɾוా), Սۭͷඇอݥऀه࿥Λ࡞ΓࣗΒ։ઃͨۚ͠༥ػ ؔޱ࠲ʹৼΓࠐ·͍ͤͯͨέʔε(Ѫ஌ݝɾ൒ా)ͳͲܭ7݅ ೥ۚอݥྉΛԣྖͨ͠ࣄྫͰ, อݥྉͷԣྖֹ͸ൃ֮ͨ͠෼ ͚ͩͰ1ԯ1000ສԁΛ௒͢ͱ൑໌ͨ͠.
4. લճͷ಺༰ ೖྗจ ॏཁจ ॏཁՕॴ ग़ྗจ ෆཁՕॴ ɾ୯ҰςΩετ 4 ɾෳ਺ςΩετ ೖྗจ ॏཁจ ৑௕ੑ ग़ྗจ จͷॱং ॏཁՕॴ
5. લճͷଓ͖ • ୯ҰจষͰͷཁ໿ • ॏཁՕॴΛࣔ͢ख͕͔Γ͕ΫϦΞͰͳ͍. • ෳ਺จষͰͷཁ໿ • ॏཁՕॴ͸֤จষͷڞ௨෦෼ͱͯࣔ͠͞Ε͍ͯΔ. • ॏཁՕॴൃݟʹ͍ͭͯ͸ෳ਺จॻཁ໿ͷํ͕؆୯. 5
6. ࠷దԽ໰୊ʹΑΔఆࣜԽ • (ॏΈແ͠) ࠷େඃ෴Ϟσϧ • ୯ޠ͸ԿΒ͔ͷ֓೦Λۙࣅతʹද͢. จॻΫϥελʹهड़͞Ε͍ͯΔ֓೦Λग़དྷΔ͚ͩඃ ෴͢ΔͨΊʹ, ੍ݶ௕಺ͰͳΔ΂͘ଟ͘ͷछྨͷ୯ޠΛؚΉΑ͏ͳจू߹Λબ୒. 6 1:உ͸ຊΛങͬͯಡΜͩɻ 2:ຊ͸ਤॻؗʹ΋͋Δɻ 3:एऀ͸ࡶࢽΛಡΉɻ 4:ࡶࢽ͸ॻళͰങ͏ɻ ਤॻؗɹຊ உ ಡΉ ങ͏ एऀ ࡶࢽ ॻళ 4 2 1 3
7. ࠷దԽ໰୊ʹΑΔఆࣜԽ • (ॏΈແ͠) ࠷େඃ෴Ϟσϧ • ୯ޠ͸ԿΒ͔ͷ֓೦Λۙࣅతʹද͢. จॻΫϥελʹهड़͞Ε͍ͯΔ֓೦Λग़དྷΔ͚ͩඃ ෴͢ΔͨΊʹ, ੍ݶ௕಺ͰͳΔ΂͘ଟ͘ͷछྨͷ୯ޠΛؚΉΑ͏ͳจू߹Λબ୒. 7 1:உ͸ຊΛങͬͯಡΜͩɻ 2:ຊ͸ਤॻؗʹ΋͋Δɻ 3:एऀ͸ࡶࢽΛಡΉɻ 4:ࡶࢽ͸ॻళͰങ͏ɻ ਤॻؗɹຊ உ ಡΉ ങ͏ एऀ ࡶࢽ ॻళ 4 2 1 3
8. ࠷దԽ໰୊ʹΑΔఆࣜԽ • (ॏΈແ͠) ࠷େඃ෴Ϟσϧ • ͳΔ΂͘ଟ͘ͷछྨͷ୯ޠΛؚΉΑ͏ͳจू߹Λબ୒. 8 max. zj Σ j s.t. ci xi Σ i ≤ K, aij xi Σ i ≥ zj, ∀j, ∈{0,1}, ∀i, xi ∈{0,1}. ∀j, zj xi: จi͕બ୒͞Ε͔ͨ zj: ୯ޠj͕ඃ෴͞Ε͔ͨ K: ࠷େཁ໿௕ ci: จiͷ௕͞ aij: จi͕୯ޠjΛؚΉ͔
9. ࠷దԽ໰୊ʹΑΔఆࣜԽ • (ॏΈແ͠) ࠷େඃ෴Ϟσϧ • ͳΔ΂͘ଟ͘ͷछྨͷ୯ޠΛؚΉΑ͏ͳจू߹Λબ୒. 9 ਤॻؗɹຊ உ ಡΉ ങ͏ एऀ ࡶࢽ ॻళ 1 4 3 2 zj = 6. Σ j x1 = 1, x2 = 0, x3 = 1, x4 = 0, max. zj Σ j s.t. ci xi Σ i ≤ K, aij xi Σ i ≥ zj, ∀j, ∈{0,1}, ∀i, xi ∈{0,1}. ∀j, zj
10. ੔਺ܭը໰୊ʹΑΔఆࣜԽ • ࠷େඃ෴Ϟσϧ • ඃ෴͢΂͖୯ޠͱ, ͦ͏Ͱͳ͍୯ޠ͕͋Δ. ֤୯ޠ(֓೦)ʹॏཁ౓͕༩͑ΒΕ͍ͯΔͱ͠ ͯ, ੍ݶ௕಺Ͱ,ඃ෴ͨ͠୯ޠͷॏཁ౓ͷ࿨͕࠷େʹͳΔΑ͏ʹจू߹Λબ୒. 10 1:உ͸ຊΛങͬͯಡΜͩɻ 2:ຊ͸ਤॻؗʹ΋͋Δɻ 3:एऀ͸ࡶࢽΛಡΉɻ 4:ࡶࢽ͸ॻళͰങ͏ɻ ਤॻؗɹ ຊ உ ಡΉ ങ͏ एऀ ࡶࢽ ॻళ 4 2 0.1 0.2 0.1 0.3 0.3 0.4 0.5 0.6 1 3
11. ੔਺ܭը໰୊ʹΑΔఆࣜԽ • ࠷େඃ෴Ϟσϧ • ͳΔ΂͘ଟ͘ͷछྨͷ୯ޠΛؚΉΑ͏ͳจू߹Λબ୒. 11 max. bj zj Σ j s.t. ci xi Σ i ≤ K, aij xi Σ i ≥ zj, ∀j, ∈{0,1}, ∀i, xi ∈{0,1}. ∀j, zj bjzj = 2.2. Σ j x1 = 1, x2 = 0, x3 = 1, x4 = 0, ਤॻؗɹ ຊ உ ಡΉ ങ͏ एऀ ࡶࢽ ॻళ 4 2 0.1 0.2 0.1 0.3 0.3 0.4 0.5 0.6 1 3
12. ࠷େඃ෴Ϟσϧͱ৑௕ੑ • ࠷େඃ෴ϞσϧͰ͸, ৑௕ੑ͸௚઀දݱ͞Ε͍ͯͳ͍. • ͔͠͠, ੍ݶ௕಺Ͱग़དྷΔݶΓଟ͘ͷ಺༰Λඃ෴͠Α͏ͱ͢Ε͹, ࣗવʹ৑௕ੑ ΛݮΒ͢͜ͱʹͳΔ. 12
13. ࠷େඃ෴Ϟσϧͷύϥϝʔλ • ୯ޠjͷॏཁ౓ bj • จॻΫϥελʹ͓͚Δ୯ޠjͷස౓Λ༻͍Δ. • ܇࿅σʔλΛ༻͍ͯ, ֤୯ޠ͕ਖ਼ղཁ໿਺ʹग़ݱ͢Δ͔൱͔Λ༧ଌ͢Δ෼ྨثΛֶश͠, ͦ ͷग़ྗείΞΛ༻͍Δ. 13
14. ࠷େඃ෴ϞσϧͷσίʔσΟϯά • σίʔσΟϯά : • ࣮ࡍʹ࠷େ஋Λ༩͑Δม਺஋Λݟ͚ͭΔ͜ͱ. 14 ɾᩦཉ๏ͳͲͷۙࣅղ๏Λ༻͍ͯ ɹۙࣅղΛಘΔ. max. bj zj Σ j s.t. ci xi Σ i ≤ K, aij xi Σ i ≥ zj, ∀j, ∈{0,1}, ∀i, xi ∈{0,1}. ∀j, zj
15. ࠷େඃ෴ϞσϧͷͨΊͷᩦཉ๏ 15 U ← D, S ← ø while U ≠ ø i ← argmax __________________________ l∈U (จiͰ৽ͨʹඃ෴͞ΕΔ୯ޠͷॏཁ౓ͷ࿨) Cl if ci + cl Σ ≤ K then S ← S {i} ∩ U ← U - {i} end t ← argmax l∈D l∈S ({l}ͷ໨తؔ਺஋) if (Sͷ໨తؔ਺஋) ≥ ({t}ͷ໨తؔ਺஋) then return S else return {t} (U:ީิจू߹, S: ཁ໿)
16. ྼϞδϡϥ(submodular) • ఆٛ : ू߹ؔ਺f͕࣍ͷੑ࣭Λ࣋ͭͱ͖, ྼϞδϡϥͰ͋Δͱ͍͏. 16 ू߹X, Y͕X YͰ͋Γ, ͔ͭa Yͷͱ͖, f (X {a}) - f (X) ≥ f (Y {a}) - f (Y) ∪ ∪ ∉ ⊆ a Y X
17. จষཁ໿ͱྼϞδϡϥੑ • จষཁ໿Ͱ͸, طʹཁ໿ʹؚ·Ε͍ͯΔ৘ใΛ͞Βʹ௥Ճͯ͠΋خ͘͠ͳ͍. 㱺 ͜Ε͸·͞ʹྼϞδϡϥੑͷ֓೦ • ͭ·Γ, ཁ໿͸, ྼϞδϡϥؔ਺Λ໨తؔ਺ͱͯ͠ϞσϧԽ͠΍͍͢. 17
18. ྼϞδϡϥ࠷దԽͷͨΊͷᩦཉ๏ 18 U ← D, S ← ø while U ≠ ø i ← argmax ___________ l∈U Cl if ci + cl Σ ≤ K then S ← S {i} ∩ U ← U - {i} end t ← argmax l∈D l∈S f ({l}) if f (S) ≥ f ({t}) then return S else return {t} (U:ީิจू߹, S: ཁ໿) f (S {l}) - f (S) ∩
19. ෳ਺จॻཁ໿ख๏ʹ͓͚Δ஌ݟ • ৑௕ੑ͸࠷దԽ໰୊ͰϞσϧԽͰ͖ΔΑ͏ʹͳͬͨ. • ύϥϝʔλਪఆ, σίʔσΟϯά͕Ͱ͖ΔΑ͏ʹͳͬͨ. 19
20. ࢀߟจݙ • ʮࣗಈཁ໿ʯ, Natural Language Processing, (ࢀর:2015/2/19) , www.jnlp.org/introduction/ automatic_summarization • ߴଜ େ໵. (2014). ”จॻཁ໿΁ͷ਺ཧతΞϓϩʔν.” NLP2014 tutorial, pp.1-56 20