B3 勉強会 第2回目 ( 2015年1月20日(火) )

Transcript

1. ৘ ใ ݕ ࡧ ͱ ݴ ޠ ॲ ཧ B 3 ษ ڧ ձ ୈ 2 ճ ( 2 0 1 5 / 1 / 2 0 ) ௕ Ԭ ٕ ज़ Պ ֶ େ ֶ ࣗ વ ݴ ޠ ॲ ཧ ݚ ڀ ࣨ B 3 ழ ມ ܚ थ
2. ৘ ใ ݕ ࡧ ৘ ใ ݕ ࡧ ͱ ݴ ޠ ॲ ཧ
3. • ৘ใݕࡧ(information retrieval)ͱ͸ʁ • େྔͷ৘ใͷத͔Β, Ϣʔβʔͷඞཁͳ৘ใΛ୳ٕ͢ज़. + 0 ( 1 4 / # 6 + 1 0  4 ' 6 4 + ' 8 # .
4. • ৘ใݕࡧͷॲཧͷྲྀΕ + 0 ( 1 4 / # 6 + 1 0  4 ' 6 4 + ' 8 # . ςΩετू߹ ςΩετू߹ͷ಺෦දݱ ݕࡧཁٻ ݕࡧཁٻͷ಺෦දݱ র߹ ݕࡧ݁Ռ
5. • ςΩετݕࡧγεςϜ • ςΩετݕࡧͰ͸, • ֤ςΩετ, ϢʔβͷݕࡧཁٻΛ಺෦දݱʹม׵͢Δ. • ಺෦දݱͷঢ়ଶͰ֤ςΩετͱݕࡧཁٻͷর߹Λߦ͍, ݕࡧ݁ ՌΛग़ྗ͢Δ. • ͱ͍͏̎ͭͷεςοϓΛܦͯॲཧΛ࣮ߦ͢Δ. + 0 ( 1 4 / # 6 + 1 0  4 ' 6 4 + ' 8 # .
6. • ಺෦දݱ • ςΩετ, ݕࡧཁٻͷ಺༰Λ൓ө͍ͯ͠Δͱߟ͑ΒΕΔॏཁͳ୯ޠ Λ, ݗҾޠ(index term)ͱͯ͠, ςΩετ, ݕࡧཁٻ͔Βநग़͠, ͦͷ ू߹Λ༻͍ͯ಺෦දݱͱ͍ͯ͠Δ. + 0 ( 1 4 / # 6 + 1 0  4 ' 6 4 + ' 8 # .
7. • ࣗಈࡧҾ͚ͮ(automatic indexing) • ࣗಈࡧҾ͚ͮͰ͸ҎԼͷ3ͭͷॲཧ͕ඞཁʹͳΔ. • 1) ςΩετதͷ୯ޠͷೝఆ • 2) ݗҾޠͷબ୒ • 3) ݗҾޠͷॏΈ͚ͮ # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
8. • 1) ςΩετதͷ୯ޠͷೝఆ • ೔ຊޠͷͳͲͷ, ςΩετ͕୯ޠʹ෼ׂ͞Ε͍ͯͳ͍ݴޠͰ͸, ܗ ଶૉղੳʹΑΓ୯ޠ΁ͷࣗಈ෼ׂΛߦ͏ͳͲͯ͠, ςΩετΛ୯ޠ ʹ෼ׂ͢Δඞཁ͕͋Δ. # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
9. • 2) ݗҾޠͷબ୒ • ςΩετதͷ୯ޠू߸͔Β, ॏཁͱߟ͑ΒΕΔ୯ޠΛݗҾޙͱͯ͠ બ୒ࢶ͠, ֤ݗҾޠʹॏΈ͚ͮΛߦ͏. • ௨ৗ, ݗҾޠͷબ୒Ͱ͸, ෆཁޠϦετ(stop word list)Λ͋Β͔͡Ί ༻ҙ͠, ͦΕΒΛෆཁޠͱͯ͠আڈ͠, ࢒ͬͨ୯ޠΛݗҾޙͱͯ͠ બ୒͢Δ. # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
10. • ෆཁޠϦετ • ෆཁޠͱͯ͠ߟ͑ΒΕΔ୯ޠ͸ҎԼͷ༷ͳ΋ͷ͕͋Δ. • ػೳޠ • ಺༰ޠͷ͏ͪ, ߴස౓Ͱग़ݱ͢ΔҰൠతͳ୯ޠ • ಺༰ޠͷ͏ͪ, ग़ݱස౓ͷ௿͍୯ޠ # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
11. • 3) ݗҾޠͷॏΈ͚ͮ • ҎԼͷΑ͏ʹݗҾޠ ti ͷςΩετ dj ʹ͓͚Δग़ݱස౓͕༩͑ΒΕͯ ͍Δͱ͢Δ. d1 d2 d3 d4 d5 t1 1 0 5 2 3 t2 0 3 3 2 0 t3 3 2 0 4 0 t4 6 6 8 7 5 t5 4 1 4 0 0 t6 0 5 0 3 2 # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
12. • TF(term frequency)๏ • ʮςΩετதʹߴස౓Ͱग़ݱ͢Δ಺༰ޠ͸ͦͷςΩετͷओ୊Λ ද͢܏޲͕͋Δʯͱ͍͏Ծఆʹج͖ͮ, ݗҾޠͷॏΈͱͯ͠ςΩε τ಺Ͱͷग़ݱස౓ʹൺྫ͢Δ΋ͷΛߟ͑Δ. ͜͜Ͱ, tf ͸ςΩετd ʹ͓͚Δग़ݱස౓Ͱ͋Δ. wtd = tf(t,d) # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
13. • IDF(inverse document frequency)๏ • ग़ݱ͢Δจࣈස౓͕গͳ͍ݕࡧޙ͸, ͦͷࡧҾޠʹΑΓ֘౰ςΩετ Λখ͘͞ߜΓࠐΊΔ͜ͱΛҙຯ͢ΔͨΊ, ग़ݱ͢ΔςΩετΛΑ͘ಛ ௃෇͚͍ͯΔͱ͍͑, ݗҾޠͷ๬·͠͞Λද͍ͯ͠Δͱ͍͑Δ. idf(t)=log —— +1 N df(t) # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
14. • 3) ݗҾޠͷॏΈ͚ͮ • ҎԼͷΑ͏ʹݗҾޠ ti ͷςΩετ dj ʹ͓͚Δग़ݱස౓͕༩͑ΒΕͯ ͍Δͱ͢Δ. d1 d2 d3 d4 d5 t1 1 0 5 2 3 t2 0 3 3 2 0 t3 3 2 0 4 0 t4 6 6 8 7 5 t5 4 1 4 0 0 t6 0 5 0 3 2 t7 3 0 0 0 0 # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
15. • TF-IDF๏ • TF๏ͱIDF๏Λಉ࣌ʹߟྀ͢ΔॏΈ͚ͮ. wtd = tf(t,d) ☓ idf(t) # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
16. • TF-IDF๏ d1 d2 d3 d4 d5 idf t1 1 0 5 2 3 1 . 1 0 t2 0 3 3 2 0 1 . 2 2 t3 3 2 0 4 0 1 . 2 2 t4 6 6 8 7 5 1 . 0 0 t5 4 1 4 0 0 1 . 2 2 t6 0 5 0 3 2 1 . 2 2 d1 d2 d3 d4 d5 t1 1 . 1 0 0 5 . 5 0 2 . 2 0 3 . 3 0 t2 0 3 . 6 6 3 . 6 6 2 . 4 4 0 t3 3 . 6 6 2 . 4 4 0 4 . 8 8 0 t4 6 6 8 7 5 t5 4 . 8 8 1 . 2 2 4 . 8 8 0 0 t6 0 6 . 1 0 0 3 . 6 6 2 . 4 4 # 7 6 1 / # 6 + %  + 0 & ' : + 0 )
17. • ࢀߟจݙ • ʰࣗવݴޠॲཧͷجૅʱ, ஶ Ԟଜ ֶ, ग़൛ ίϩφࣾ, 2010೥10݄28೔ + 0 ( 1 4 / # 6 + 1 0  4 ' 6 4 + ' 8 # .