PythonによるSNSクローリングと自然言語処理を用いたデータ分析・可視化

Transcript

1. 1ZUIPOʹΑΔ4/4ΫϩʔϦϯάͱ ࣗવݴޠॲཧΛ༻͍ͨσʔλ෼ੳɾՄࢹԽ ,FOTVLF
   0IUB
2.  ܦྺ঺հ     
3. എܠ • FiNCTI -;>500,LB )%!+
   • [PS] ')#42?<Q1: R8(") 
   • SNS=H.9KENO/F 0A 5 M3 
   • CJG*#G$+ 6@ 7+&D
   ໺ࡊιϜϦΤ  ਓ 'J/$ఏܞܖ໿ ΠϯϑϧΤϯαʔ ʢ'J/$Ξϯόαμʔʣ ਓ Ϟσϧ ௕୩઒ ཧܙ ϓϩαοΧʔબख ߳઒ ਅ࢘ ޒྠۚϝμϦετ ๺ౡ ߁հ λϨϯτ ৿Լ ༔ཬ ʛ #FBVUZˍ)FBMUIͷઐ໳Ո  ਓ ΞεϦʔτϑʔυ ϚΠελʔ  ਓ 'J/$ఏܞܖ໿ ϔϧεέΞઐ໳Ո ʢӫཆ࢜ɾ؅ཧӫཆ࢜ɾ τϨʔφʔ౳ʣ ' J / $ Φ ϑ Ο γ ϟ ϧ α ϙ ʔ λ ʔ ঁ༏ ಺ࢁ ཧ໊ ϤΨΠϯετϥΫλʔ .":6,0 ,ϑΝΠλʔ খᖒւే  ສਓ ֤छ4/4ϑΥϩϫʔ ϑΟοτωε ϤΨ౳ʹؔ৺ߴ
4. ࠓ೔ͷ͓࿩ •    • SNS   • 
   
5. ࠓ೔ͷ͓࿩ •    • SNS   • 
   
6. γεςϜͷ֓ཁ ࣗવݴޠॲཧ 42-Ͱूܭ σʔλऩू σʔλऩू σʔλऩू σʔλ෼ੳ
7. ࠓ೔ͷ͓࿩ •    • SNS   • 
   
8. 4/4σʔλͷࣗવݴޠॲཧ  • $* &!+,$ ( (")$ ) ' FiNC #% MeCab#
   mecab-python3# 
   NFDBC ͢΋΋΋΋΋΋΋΋ͷ͏ͪ ͢΋΋ ໊ࢺ Ұൠ ͢΋΋ εϞϞ εϞϞ ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ͏ͪ ໊ࢺ ඇཱࣗ ෭ࢺՄೳ ͏ͪ ΢ν ΢ν &04
9. •   •  *+'$) ,
   ,
   , "- ! • stop words %&-  #-   (! • word_cloud: https://github.com/amueller/word_cloud 4/4σʔλͷࣗવݴޠॲཧ  ΰϧϑΞϯόαμʔͷ"͞Μ ϤΨΞϯόαμʔͷ#͞Μ
10. 4/4σʔλͷࣗવݴޠॲཧ  • 10 • %!' 0 & 0  • "*.$#( 10+/)
    • 2, nodeedge3-
    ΰϧϑ ϑΟοτωε ঁࢠ உࢠ ΢ΣΞ Πϯελ ΰϧϑ෦ τϨʔχϯά΢ΣΞ τϨʔχϯά HPMG εϙʔπ ίʔσ ΰϧϑ             ϑΟοτωε             ঁࢠ             உࢠ             ΢ΣΞ             Πϯελ             ΰϧϑ෦             τϨʔχϯά΢ΣΞ             τϨʔχϯά             HPMG             εϙʔπ             ίʔσ             ڞىޠߦྻ ڞىޠωοτϫʔΫ
11. ࣗવݴޠॲཧɾՄࢹԽʹ࢖༻ͨ͠ϥΠϒϥϦ •  • mecab-python3: https://github.com/SamuraiT/mecab-python3 •   • word_cloud: https://github.com/amueller/word_cloud • 
     • scikit-learn: http://scikit-learn.org • 
     • NetworkX: https://networkx.github.io • matplotlib: https://matplotlib.org
12. ࠓ೔ͷ͓࿩ •    • SNS   • 
    
13. ·ͱΊ • Python ;6=>07< SNS38/15@ *& +'"*29      • Python-A:4)+$($
    .?>%!#)+,    B ΰϧϑΞϯόαμʔͷ"͞Μ ϤΨΞϯόαμʔͷ#͞Μ
14. / / . /     αʔόʔαΠυΤϯδχΞ ػցֶशɾ"*ΤϯδχΞ ΫϥΠΞϯτΤϯδχΞ 4XJGU,PUMJOͰେن໛ͳΫϥΠΞϯτ։ൃΛ ࢼ͍ͨ͠ํ σδλϧϔϧεྖҬͰ%FFQ
    MFBSOJOHΛۦ࢖͠ɺ "*ٕज़Λ࣮ફͰߴΊ͍ͨํʂ 3VCZ
    PO
    3BJMTΛϝΠϯʹϚΠΫϩαʔϏεͷ ઃܭ͔Β࣮૷·Ͱߦ͍͖͍ͬͯͨํ