Pythonで始めるスクレイピング / Starting scraping in Python

■イベント 

「技育祭（開催延期）」

https://talent.supporterz.jp/geeksai/2020/

■登壇概要

タイトル：Pythonで始めるスクレイピング

発表者： 
DSOC 研究開発部 Data Analysis Group 高橋 寛治

▼Sansan R&D Twitter
https://twitter.com/SansanRandD

1. 1ZUIPOͰ࢝ΊΔ εΫϨΠϐϯά 1 ߴڮ ׮࣏ !LBOKJUS
2. 1 ※掲載されている内容等は発表時点の情報です。 ※公開に当たり、 資料の一部を変更・削除している場合があります。
3. 2 ࠓ೔ͷ͓͸ͳ͠ 8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ ֓೦ͷ೺Ѳ 1ZUIPOͰͷ؆୯ͳྫ ࣮ફͰͷٕज़ɾϚφʔ 4DSBQZϑϨʔϜϫʔΫ ͷ঺հ ϔουϨεϒϥ΢β Ϛφʔ εΫϨΠϐϯά ϋϯζΦϯ (PPHMF
   $PMBCPSBUPSZ Λ࢖ͬͯɺεΫϨΠϐ ϯάΛମݧ͢Δ 自由自在にHTMLから情報抽出する 10分 20分 40分 【こんな方にオススメ】 ・スクレイピングを始めたい、始めたばかり ・機械学習やWebサイト構築のために自分でデ ータを集めたい
4. 8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ 3
5. 8FCΫϩʔϦϯάͱεΫϨΠϐϯά ΫϩʔϦϯά 8FCαΠτ͔Β)5.-ͳͲΛऔಘ 4 εΫϨΠϐϯά )5.-͔Β৘ใநग़ サイト サイト サイト サイト HTML HTML <head> <title>Hoge</title> </head> <body> <h1>Fuga</h1> </body> タイトル：Hoge 見出し1：Fuga クローラ
6. )5.- )ZQFS5FYU
   .BSLVQ
   -BOHVBHF ˓ ॻମɾαΠζɾߏ଄ͳͲΛهड़͢Δݴޠ ˔ ྫɿ5F9
   9.-
   47( ˓)5.-ͷྫ 5 <body> <h1>見出し1</h1> <p>これが本文です</p> <h2>見出し1.1</h2> <a href="url/to/hoge">リンク</a> </body>
7. )5.-ͷऔಘ Ϋϩʔϧ ਓؒͷͨΊͷ)551ϥΠϒϥϦ SFRVFTUTϥΠϒϥϦΛར༻ ͜Ε͚ͩͰ)5.-औಘՄೳ 6 >>> import requests >>> r = requests.get("https://supporterzcolab.com/event/555/") >>> r.text '<!DOCTYPE html>¥n<html lang="ja" xmlns...
8. ৘ใநग़ʢεΫϨΠϐϯάʣ ਖ਼نදݱͰ·ͣ͸औಘ ࣮ࡍ͸όάͷԹচͳͷͰϑϨʔϜϫʔΫΛ࢖͏ ྫ QSFUJUMF΄͛UJUMFQSF 7 >>> import re >>> re.search(r"<title>(.*?)</title>", r.text).group(1) '【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab'
9. #FBVUJGVM4PVQ )5.-΍9.-͔Β৘ใநग़͢ΔͨΊͷϥΠϒϥϦ ͓खܰʹཁૉΛநग़Ͱ͖Δ 8 >>> import requests >>> from bs4 import BeautifulSoup >>> r = requests.get("https://supporterzcolab.com/event/555/") >>> soup = BeautifulSoup(r.content, "lxml") >>> soup.find("title") <title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>
10. #FBVUJGVM4PVQ $44ηϨΫλ ͓खܰʹཁૉΛநग़Ͱ͖Δ 9 >>> soup.select("title") [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>]
11. ྫɿษڧձϖʔδ͔Β։࠵೔Λநग़  σϕϩούʔπʔϧͰཁૉΛΫϦοΫ  )5.-ΛݟͯɺಛఆʹඞཁͳཁૉΛ֬ೝ  ίʔυΛॻ͘ 10 >>> soup.find("span", class_="dtstart").find("p", class_="ymd").text  ਫ 
12. #FBVUJGVM4PVQͷࢦఆํ๏ ެࣜϚχϡΞϧΛҰಡ͢Δͱྑ͍ ˓ϑΟϧλʔʹ౉ͤΔ΋ͷ 11 >>> soup.find_all("title") # 文字列 [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>] >>> soup.find_all(re.compile(r”tle$”)) # 正規表現 [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>] >>> soup.find_all(["title", "a"]) # リスト [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>, <a ...] >>> soup.find_all(True) # すべて ... >>> soup.find_all(lambda tag: "ymd" in tag.get("class", "")) # 関数 [<p class="ymd">2018/10/10(水)</p>]
13. ද͸QBOEBT ϖʔδ಺ͷ5BCMF܈Λ%BUB'SBNFͷϦετͰ ฦ͢ 12 >>> import pandas as pd >>> dfs = pd.read_html("http://www.htmq.com/html/table.shtml") >>> dfs[0]
14. ࣮ફͰͷٕज़ɾϚφʔ 13
15. ࣮ફͰͷٕज़ͷॳาͷॳาΛ঺հ େن໛ʹؤ݈ʹ৘ใΛऔಘ ˠ4DSBQZΛ࢖͏ KBWBTDSJQUʹΑΔಈతϨϯμϦϯάʹରԠ ˠϔουϨεϒϥ΢βΛ࢖͏ ຊจͷཁૉࢦఆΛࣗಈԽ͢Δ 14
16. 4DSBQZ ˓ΫϩʔϧˍεΫϨΠϐϯάͷॲཧΛखܰʹ ॻ͚ΔϑϨʔϜϫʔΫ ˔ 63-ͱऔಘ͍߲ͨ͠໨ JUFN Λهड़͢Δ ˔ "84
    4΍.POHP%#΁ͷอଘͳͲɺεΫϨΠϐ ϯάޙͷॲཧ͕؆୯ ˓࣮ӡ༻͸͍Ζ͍Ζߟ͑Δ͜ͱΞϦ ˔ ΫϩʔϧͱεΫϨΠϐϯά͕ಉ࣌ਐߦ 15
17. 4DSBQZͷ%BUB
    GMPX֓؍ େࣄͳͷ͸&OHJOF͕ԿΛ͍ͯ͠Δ͔Λ஌Δ͜ͱ 16 図は公式サイトより 1. EngineがSpiderから1発目の Requestsを受け取る 2. EngineがRequestsをSchedulerに 送る 3. Schedulerは次のRequestsを受け 取る 4. EngineはRequestsをDownloader に送る 5. ResponseをDownloaderが生成 6. EngineがResponseを受け取り Spiderに渡す 7. Spiderはスクレイプしたアイテム と新しいリクエスト先を送る 8. Engineは受け取ったアイテムを ITEM Pipelinesに送ると同時に、 次のリクエストをSchedulerに送る 9. ステップ1に戻る
18. 4DSBQZͷ࢝Ίํ ˓ϓϩδΣΫτΛ࡞੒ ˔ Ұͭͷ໨తͷͨΊͷΫϩʔϥˍεΫϨΠύʔ܈ ˓4DSBQZ
    TIFMMͰࢼ࡞ ˔ εΫϨΠϐϯά෦෼Λࢼ࡞ ˓4QJEFSΛ࡞੒ ˔ ϦϯΫղੳ͓Αͼϖʔδ৘ใͷεΫϨΠϐϯάํ ๏ QBSTFϝιου Λهड़ ˓4QJEFSͷ࣮ߦ 17 $ scrapy startproject hoge_project $ scrapy shell “URL” $ scrapy crawl hoge_spider
19. ྫɿ4DSBQZͰ$PMBCΛऔಘ  ৽ணΠϕϯτϖʔδΛ଍͕͔Γʹ͢Δ  ษڧձҰཡΛऔಘ  औಘͨ͠ษڧձͷ಺༰ΛεΫϨΠϓ εϥΠυͰίʔυྫΛઆ໌Ͱ͖ΔྔͰ͸ ͳ͍ͷͰׂѪ 18
20. ಈతʹੜ੒͞ΕΔϖʔδ΁ͷରॲ (&5ϦΫΤετ͚ͩͩͱϖʔδ͕ੜ੒͞Εͳ ͍ͨΊɺϔουϨεϒϥ΢β IFBEMFTT
    DISPNFͳͲ ʹΑΓϨϯμϦϯά 3FRVFTUT)5.-Λར༻ ʼϔουϨεϒϥ΢βΛϥοϐϯά 19
21. 3FRVFTUT)5.- ਓؒͷͨΊͷ)5.-ύʔε 20 >>> from requests_html import HTMLSession >>> session = HTMLSession() >>> r = session.get("https://supporterzcolab.com/event/555/") >>> r.html.render() # 初回時は自動でヘッドレスブラウザをダウンロード >>> r.html.find("title", first=True).text # CSSセレクタが利用可能 '【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab'
22. ຊจࢦఆΛࣗಈԽ ˓ຊจநग़ΞϧΰϦζϜΛ࢖͏ ˔ SFBEBCJMJUZMYNM ˔ FYUSBDUDPOUFOU ͲͷαΠτ΋͏·͍͘͘Θ͚Ͱ͸ͳ͍͕ ϝϯςφϯείετΛݮΒͤΔ 21 >>> from extractcontent3 import ExtractContent >>> extractor = ExtractContent() >>> html = open("target.html").read() >>> extractor.analyse(html) >>> text, title = extractor.as_text()
23. ͦͷଞ ˓ܧଓతͳΫϩʔϦϯά ˔ DSPO΍όονδϣϒͱͯ͠ఆظ࣮ߦ ˔ ϦΫΤετࡁΈ63-ʹ͸ΞΫηε͠ͳ͍ ˓ೝূ SFRVFTUT ˔ CBTJDೝূ͸ɺ*%ͱ18ΛҾ਺ʹ౉͚ͩ͢ ˔ 0"VUIೝূ͸एׯखॱ͕૿͑Δ͕ɺ౉͚ͩ͢ ˓SFRVFTUTͷจࣈίʔυ ˔ SFTQPOTFFODPEJOH
    
    SFTQPOTFBQQBSFOU@FODPEJOH ˓ྫ֎ॲཧ ˔ ύʔεΤϥʔɺೝূΤϥʔɺλΠϜΞ΢τŋŋŋ ˔ ཁ݅ʹ߹Θͤͯઃܭ͕ඞཁ 22
24. “ ๏ྩ९क͸΋ͪΖΜ Ϛφʔ͕େࣄ 23
25. SPCPUTUYUͱαΠτϚοϓΛ֬ೝ͢Δ ϧʔτ௚ԼͷSPCPUTUYUʹΫϩʔϧͷՄ൱΍ αΠτϚοϓͷYNM΁ͷύε͕هࡌ ྫɿ͸ͯͳϒϩάIUUQTLBOKJIBUFOBCMPHKQSPCPUTUYU 24 6TFSBHFOU
    4JUFNBQ
    IUUQTLBOKJIBUFOBCMPHKQTJUFNBQ@JOEFYYNM %JTBMMPX
    BQJ %JTBMMPX
    ESBGU
26. 6TFS"HFOUʹ࿈བྷઌΛ໌ه Կ͔͋ͬͨࡍʹɺαʔό؅ཧऀ͕ϩάΛݟͯ ࿈བྷͰ͖Δ SFRVFTUTͷྫ 25 >>> headers = {'User-Agent': 'Hoge Crawler/0.1 (http://hoge.com)'} >>> response = requests.get(url, headers=headers)
27. ୹࣌ؒͷେྔͷΞΫηε͸ආ͚Δ ૬खαʔόʹෛՙΛ͔͚ͳ͍ 26 >>> import time >>> for url in urls: r = requests.get(url) time.sleep(3)
28. εΫϨΠϐϯάϋϯζΦϯ 復習することで理解する https://colab.research.google.com/drive/18akzlJ_poblm9T_rsMDAhrT YOZse4IEK 27
29. ͓ΘΓʹ ·ͱΊ ˓ 8FCΫϩʔϦϯάͱεΫϨΠϐϯάͷ֓ཁ঺հ ˓ 1ZUIPOͰͷ࣮ફɾϚφʔ ˓ ϋϯζΦϯͰೖ໳ ࣭໰͸ؾܰʹͲ͏ͧ !LBOKJUS 28