文字列正規化パタンの獲得と崩れ表記正規化に基づく日本語形態素解析

2018年4月26日 文献紹介

Transcript

1. จࣈྻਖ਼نԽύλϯͷ֫ಘͱ่Εද هਖ਼نԽʹجͮ͘೔ຊޠܗଶૉղੳ ௕Ԭٕज़Պֶେֶ
   ࣗવݴޠॲཧݚڀࣨ
   ੁ
   ३ࢤ จݙ঺հ
   ೥݄೔ ࣗવݴޠॲཧ
   7PM
   
   /P
   QQ
 ੪౻
   ͍ͭΈ
   ఃޫ
   ۝݄
   ઙ໺
   ٱࢠ
   দඌ
   ٛത
2. ֓ཁ w ่Εͨ೔ຊޠͷղੳʹ͓͍ͯɺܗଶૉղੳࣙॻʹଘࡏ͠ͳ ͍ޠ͕ଟ͘ग़ݱ͢ΔͨΊղੳޡΓ͕૿Ճ͢Δ
   w Ξϊςʔγϣϯσʔλ͔Β౷ܭతʹநग़ͨ͠จࣈྻਖ਼نԽ ύλϯͱɺจࣈछਖ਼نԽΛ༻͍ͯࣙॻΛ֦ு͢Δ
   w ࠶ݱ཰ɺਫ਼౓ͱ΋ʹߴ͍ղੳ݁ՌΛಘΔ͜ͱ͕Ͱ͖ͨ !2
3. ର৅ൣғ w ޱޠௐͷ่Εදه
   w ྫ ʮͬ͢͝ʔ͍ʯ
   w ҟදه
 খจࣈԽ
   ಉԻҟදه
   ͻΒ͕ͳԽ
   ΧλΧφԽ
   w ྫ
   ʮϠϰΝΠʯ
4. ఏҊख๏ͷશମ૾ !4
5. ่Εදهͱਖ਼نදهͷ
   จࣈྻΞϥΠϝϯτ w ่Εදهʹର͠ਓखͰਖ਼نදهΛ
 ෇༩
   w ϖΞσʔλ͔ΒจࣈྻϨϕϧͷ
 ਖ਼نԽύλϯΛ౷ܭతʹநग़
   w จࣈྻΞϥΠϝϯτΛ
 &.ΞϧΰϦζϜΛ༻͍ͯٻΊΔ
 #JTBOJ
   BOE
   /FZ
   
   
 ,VCP
   ,BXBOBNJ
   4BSVXBUBSJ
   BOE
   4IJLBOP
   
   !5
6. จࣈྻਖ਼نԽύλϯͱจࣈछม׵Λ ༻͍ͨجຊࣙॻͷ֦ு w จࣈྻਖ਼نԽύλϯ
   w ਖ਼نจࣈྻͷ࡟আɾஔ׵ύλϯ
 ɹਖ਼نԽࣙॻΛ࡞੒
   w ૠೖύλϯ

   
   ਖ਼ن୯ޠͷ͋ΒΏΔՕॴʹૠೖ͞ΕΔ

   
   ࣄલʹల։͢Δ͜ͱ͸ඇޮ཰ !6
7. 
 ܗଶૉϥςΟεੜ੒ w จࣈྻਖ਼نԽͷಈతর߹ͱਖ਼نԽࣙॻɺجຊࣙॻͰܗଶ ૉϥςΟεΛੜ੒͢Δ
   w ʮͬʯʮʔʯͷ࿈ଓ

   
   จࣈ·Ͱॖ໿
   w ฼Իͷ࿈ଓ

   
   จࣈ·Ͱॖ໿ !7
8. ࣝผϞσϧʹΑΔ
 දهਖ਼نԽͱܗଶૉղੳͷఆࣜԽ w ܗଶૉϥςΟεΛੜ੒͢Δࡍɺطଘͷܗଶૉίετ΍඼ࢺ ࿈઀ίετΛͦͷ··༻͍Δͱෆཁͳީิ͕ଟ͘ੜ੒͞Ε Δ
   w ੜ੒ͨ͠ܗଶૉϥςΟεʹର͠ద੾ͳॏΈ෇͚͕ඞཁ
   w ଟ༷ͳ૊੒Λॊೈʹߟྀ͢Δ͜ͱ͕Ͱ͖Δߏ଄Խύʔηϓ τϩϯΛ༻͍ͯදݱ͢Δ $PMMJOT
   
   w ֶशͰ͸ฏۉԽύʔηϓτϩϯֶशʹج͍ͮͯύϥϝʔλ ਪఆΛߦ͏ !8
9. ࣝผϞσϧʹΑΔ
 දهਖ਼نԽͱܗଶૉղੳͷఆࣜԽ !9 J൪໨ͷ୯ޠ ஫໨ϊʔυJ͕จࣈྻਖ਼نԽΛ༻͍ͯੜ ੒͞ΕͨϊʔυͰ͋Ε͹ͱͳΔ J൪໨ͷ඼ࢺ ஫໨ϊʔυJ͕ͻΒ͕ͳม׵Λ༻͍ͯੜ ੒͞ΕͨϊʔυͰ͋Ε͹ͱͳΔ จࣈྻਖ਼نԽޙͷจࣈྻ ஫໨ϊʔυJ͕ΧλΧφม׵Λ༻͍ͯੜ ੒͞ΕͨϊʔυͰ͋Ε͹ͱͳΔ จࣈྻਖ਼نԽલͷจࣈྻ ର৅ͱͳΔจࣈྻͷKจࣈ໨
10. ࣮ݧσʔλͱจࣈΞϥΠϝϯτ w จࣈྻਖ਼نԽύλϯਪఆʹ࢖༻ͨ͠σʔλ
    w ೥ͷϒϩά
  จ
     ϖΞ
    w ʙ೥ͷ5XJUUFS
  จ
    
     ϖΞ
    w ಘΒΕͨจࣈྻਖ਼نԽύλϯ਺

    
     छྨ !10
11. ࣮ݧσʔλ wਖ਼نޠCJHSBNϞσϧͷߏங
    wϒϩάͱ৽ฉͷܗଶૉਖ਼ղϥϕϧͳ͠σʔλ
 .F$BCΛ༻͍ͯࣗಈղੳͨ݁͠Ռ
    wܗଶૉɺਖ਼نޠਖ਼ղσʔλ
    wϥϯμϜநग़ͨ͠ʙ೥ͷ5XJUUFS
     จ
    wςετσʔλ
     จ
    wֶशσʔλ
    
    
    
     จ !11
12. ൺֱख๏  .F$BC*1"ࣙॻ
     จࣈྻਖ਼نԽͷैདྷख๏
 ࡫໺ɼࠇڮɼԞଜ
    
    
     ఏҊख๏ !12
13. ࣮ݧ݁Ռ !13
14. ࣮ݧ݁Ռ w ద߹཰ શମ ɿදه ඼ࢺ ਖ਼نදه͕͢΂ͯҰகׂͨ͠߹
    w ѱԽ ͦͷଞͷ෼ྨɿ࡫໺Β ࡫໺
    ଞ
     Λࢀߟ !14
15. ࣮ݧ݁Ռ 
    
    ۠੾Γ͕վળ͕ͨ͠ਖ਼نදه͕ޡ͍ͬͯΔ
    
    
    ਖ਼ղͷީิల։͕Ͱ͖͍ͯͳ͍ ਖ਼نԽύλϯෆ଍
    
    
    ਖ਼ղͷܥྻ͸ྻڍͰ͖͍͕ͯͨਖ਼͘͠બ୒Ͱ͖͍ͯͳ͍
    
    σάϨʔυͯ͠͠·ͬͨ !15
16. ·ͱΊ w 8FC
    ্͔Βऩू่ͨ͠Εਖ਼نදهͷϖΞ͔ΒจࣈྻϨϕ ϧͷਖ਼نԽύλϯΛֶशͨ͠
    w நग़ͨ͠ύλϯΛܗଶૉղੳʹಋೖ͢Δ͜ͱʹΑΓ่Εͨ ೔ຊޠͷղੳਫ਼౓͕޲্ͨ͠
    w ࣮ݧ݁Ռ͔Βղੳਫ਼౓ͷ޲্ͱ࠶ݱ཰ͷ޲্ʹ༗ޮͰ͋Δ ͜ͱ͕֬ೝͰ͖ͨ
    w จࣈछਖ਼نԽΛ૊Έ߹ΘͤΔ͜ͱʹΑΔ࠶ݱ཰޲্ͷޮՌ ͕େ͖͍͜ͱΛ֬ೝͰ͖ͨ !16