Perlとテキストデータクリーニング＠吉祥寺.pm18

Transcript

1. 1FSMͱ ςΩετσʔλΫϦʔχϯά # 2 978 1 0 . 5 
2. ࣗݾ঺հ N G G , , . , !,PSFOBSJ@% 
3. ΅͘ʹͱͬͯͷ1FSM •ࣗવݴޠॲཧʢ/-1ʣͷΞϨίϨͰ࢖༻  Perl    – 1998/11   
4. ࣗવݴޠॲཧͷେ൒͸σʔλΫϦʔχϯά ྫ
   5XJUUFSͰΑ͘ݟΔϊΠζσʔλ • URL • <0@mentionhashtag52 etc. • &/=ãäé • *6-,.8 • ?Unicode0: • /= #"& -  - - ⁃ ˗ − ‒ –  ~ ∼ ˜ ˷ ∽ ∾ ∿  @
    (>% 1);.84+ FIT2016!#$ https://www.slideshare.net/yukiarase/fit2016-66043779
   7'39
5. จࣈྻʹ͓͚Δ๬·͍͠ਖ਼نԽॲཧͷྫ •6OJDPEFਖ਼نԽ •ϋΠϑϯϚΠφεͬΆ͍จࣈΛஔ׵ •௕Իه߸ͬΆ͍จࣈΛஔ׵ •ճҎ্࿈ଓ͢Δ௕Իه߸͸ճʹஔ׵ •༨෼ͳεϖʔεΛ࡟আ ʜ      https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja
6. 6OJDPEFਖ਼نԽ   Unicode http://nomenclator.la.coocan.jp/unicode/normalization.htm
7. ʢ༨ஊʣ.BD
   04
   9
   ʹ͓͚Δ ϑΝΠϧ໊ʹؔ͢ΔϝϞ /'$
   /'%౳  http://www.sakito.com/2010/05/mac-os-x-normalization.html
8. ʢ༨ஊʣʮࠤʑ໦ʯ͞Μ͕ Ώ͏ͪΐ1BZʹొ࿥Ͱ͖ͳ͔ͬͨ࿩  https://togetter.com/li/1353302 https://twitter.com/straywalker/status/1126111132689682434
9. ʢ༨ஊʣʮࠤʑ໦ʯ͞Μ͕ Ώ͏ͪΐ1BZʹొ࿥Ͱ͖ͳ͔ͬͨ࿩  http://b.hatena.ne.jp/entry/s/www.itmedia.co.jp/news/articles/1905/09/news090.html
10. ςΩετσʔλͷલॲཧ ʢσʔλΫϦʔχϯάʣʹ͸ จࣈίʔυͷ஌ࣝɾٕज़Λ शಘ͍ͯ͠Δͱྑͦ͞͏  [ ]  
      2018/12/28 https://www.amazon.co.jp/dp/4297102919/
11. 1FSM
    74
    1ZUIPO
    ೥ʙ 
12. ೥ʙ೥Ͱ͸ѹ౗త1FSM 
13. จࣈίʔυपΓͷྑهࣄ͸೥୅ʹଟ͍ • ࢖͍͜ͳͦ͏Ϣχίʔυʢఃኍ஌ߦࢯʣ • http://nomenclator.la.coocan.jp/unicode/ •  : 2008-01-14 • QFSMͷ6OJDPEFαϙʔτʢѨล઒෢ࢯʣ • http://www.lr.pi.titech.ac.jp/~abekawa/perl/perl_unicode.html •  : 2006-03-16 • จࣈίʔυɺඪ४Խʹ͍ͭͯ • http://ash.jp/code/ •  : 2002
    
     
    
14. 1FSMͷςΩετॲཧ͸ଞݴޠΑΓ΋ྑهࣄ͕ଟ͍ • ۄੴࠞަͰݴ͏ͱ͜Ζͷੴ͕গͳ͍ • ೥୅ॳΊͷڧ͍ΤϯδχΞͷղઆهࣄ͕ଟ͍ • Perl   • 
    i • 1ZUIPO
    ͸৭ʑ͋ͬͨ 
     
15. ͱ͍͏Θ͚Ͱࠓ೔ͷҰ۟ จࣈίʔυ 1FSMͰֶ΂͹ ྑ͍͔΋Ͷ 
        
    
16. ʢ༨ஊʣ1FSMϓϩ͔Βདྷͦ͏ͳ࣭໰ 2
    FODPEJOHϓϥάϚͱ͔ͦͬͪܥͷ࿩Λ ͢Δ΋ͷͩͱࢥͬͯͨΜ͚ͩͲʁ "
    Ή͠Ζ୭͔ڭ͍͑ͯͩ͘͞ɻɻɻ 2
    όΠτҎ্ͷֆจࣈͱ͔ͦ͏͍͏ͷ͸ʁ "
    Ή͠Ζ୭͔ڭ͍͑ͯͩ͘͞ɻɻɻ