Python+Selenium+Beautiful Soupでスクレイピング / Scraping with Python Selenium Beautiful Soup

PythonとSeleniumとBeautiful Soupを使って
ログインが必要なサイトのログイン後のページ
情報を取得した方法を説明

Transcript

1. 2018年08月18日 kanazawa.rb meetup#72 1ZUIPO
   
   4FMFOJVN
   
   #FBVUJGVM
   4PVQ
   ͰεΫϨΠϐϯά
2. !DPUUPO@EFTV
   ΏΔͬͱ;ΘͬͱอकΤϯδχΞ ׂ
   ৽ن։ൃ
   ׂ
   อक ػೳ௥Ճɺػೳमਖ਼ɺόάमਖ਼ FUD
3. ΞδΣϯμ  εΫϨΠϐϯάͱ͸ʁ
    શମͷߏ੒ਤ
    ιʔεͷத਎
    σϞ
4. εΫϨΠϐϯάͱ͸ʁ
5. εΫϨΠϐϯά w ΢ΣϒαΠτ͔Β৘ใΛநग़͢Δ
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ίϯϐϡʔλιϑτ΢ΣΞٕज़
   w ݴޠ͸1FSMɺ1ZUIPOɺ3VCZɺ+BWB4DSJQUͰ
   
   
   
   
   
   
   
   
   ϥΠϒϥϦ͋Γ
6. શମͷߏ੒ਤ
7. શମͷߏ੒ਤ ϑΥϧμ EJSFOW
   
   WFOW QZϑΝΠϧ 4FMFOJVN XFC
   ESJWFS ϩάΠϯϖʔδ $ISPNF
8. ͬ͘͞ͱ؀ڥ࡞Γ
9. WFOW ϑΥϧμ͝ͱʹ1ZUIPOͷ
   Ծ૝؀ڥ 7JSUVBM
   &OWJSPONFOUT Λ࡞੒
   QZUIPO
   N
   WFOW
   FOW WFOW؀ڥͷ༗ޮԽ TPVSDF
   FOWCJOBDUJWBUF
10. XFCESJWFS DISPNF ҎԼͷαΠτ͔Βμ΢ϯϩʔυ͢Δ IUUQDISPNFESJWFSDISPNJVNPSHEPXOMPBET
11. EJSFOW ϑΥϧμ͝ͱʹ؀ڥม਺Λઃఆ CSFX
    JOTUBMM
    EJSFOW EJSFOWͷΠϯετʔϧ EJSFOW
    FEJU
     ؀ڥม਺ͷઃఆ
12. EJSFOW FYQPSU
    63-ʲϩάΠϯαΠτͷ63-ʳ
    FYQPSU
    $)30.&%3*7&3ʲDISPNFESJWFSͷύεʳ
    FYQPSU
    -0(*/@64&3@*%ʲϢʔβ*%ʳ
    FYQPSU
    -0(*/@64&3@1"44ʲύεϫʔυʳ
    TPVSDF
    FOWCJOBDUJWBUF த਎ͷྫ
13. 1ZUIPOͷύοέʔδ؅ཧγεςϜʮQJQʯΛ
    ར༻ͯ͠Πϯετʔϧ 4FMFOJVN QJQ
    JOTUBMM
    TFMFOJVN 8FCΞϓϦέʔγϣϯͷςετπʔϧ
14. #FBVUJGVM
    4PVQ
     QJQ
    JOTUBMM
    CFBVUJGVMTPVQ )5.-΍9.-ͷத਎Λղੳͯ͠ɺ೚ҙͷ৘ใΛ औಘ͢ΔͨΊͷϥΠϒϥϦ 1ZUIPOͷύοέʔδ؅ཧγεςϜʮQJQʯΛ
    ར༻ͯ͠Πϯετʔϧ
15. ੔͍·ͨ͠
16. ιʔεͷத਎
17. ιʔείʔυ
18. ιʔείʔυ JNQPSU
19. ιʔείʔυ JNQPSU ϩάΠϯॲཧ
    ͔ΒIUNMऔಘ
20. ιʔείʔυ ର৅ͷྫʣ US
    CHDPMPSCFBF
    
    
    
    
    UE
    DMBTTNCPEZ
    DPMTQBO
    
    
    
    
    
    
    
    
    B
    ISFGFYTBNQMF݉࿡ԂB
    
    
    
    
    UE
    US
21. ιʔείʔυ
22. ιʔείʔυ ໊শऔಘ
23. ιʔείʔυ ஋ͷऔಘ
    ͱදࣔ ໊শऔಘ
24. ιʔείʔυ ର৅ͷྫʣ US
    CHDPMPSFBGF
    BMJHOSJHIU
    
    
    
    
    UE
    DMBTTlNUFYUUE
    
    
    
    
    
    
    
    
    
    ˡUEUFYU
    
    
    
    
    UE
    DMBTTNUFYUUE
    
    
    
    
    UE
    DMBTTlNUFYUUE
    
    
    
    
    
    
    
    ˡUEpOE@OFYU@TJCMJOHT lUEz
    
    
    
    
    UE
    DMBTTNUFYUUE
    US
25. EFNP