Pythonで始めるスクレイピング / Starting scraping in Python

1ZUIPOͰ࢝ΊΔ εΫϨΠϐϯά 1 ߴڮ ׮࣏ !LBOKJUS

1 ※掲載されている内容等は発表時点の情報です。 ※公開に当たり、資料の一部を変更・削除している場合があります。

2 ࠓ೔ͷ͓͸ͳ͠ 8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ ֓೦ͷ೺Ѳ 1ZUIPOͰͷ؆୯ͳྫ ࣮ફͰͷٕज़ɾϚφʔ 4DSBQZϑϨʔϜϫʔΫ ͷ঺հ ϔουϨεϒϥ΢β
Ϛφʔ εΫϨΠϐϯά ϋϯζΦϯ (PPHMF$PMBCPSBUPSZ Λ࢖ͬͯɺεΫϨΠϐ ϯάΛମݧ͢Δ 自由自在にHTMLから情報抽出する 10分 20分 40分【こんな方にオススメ】・スクレイピングを始めたい、始めたばかり・機械学習やWebサイト構築のために自分でデータを集めたい

8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ 3

8FCΫϩʔϦϯάͱεΫϨΠϐϯά ΫϩʔϦϯά 8FCαΠτ͔Β)5.-ͳͲΛऔಘ 4 εΫϨΠϐϯά )5.-͔Β৘ใநग़ サイトサイトサイトサイト
HTML HTML <head> <title>Hoge</title> </head> <body> <h1>Fuga</h1> </body> タイトル：Hoge 見出し1：Fuga クローラ

)5.- )ZQFS5FYU.BSLVQ-BOHVBHF ˓ ॻମɾαΠζɾߏ଄ͳͲΛهड़͢Δݴޠ ˔ ྫɿ5F9 9.- 47( ˓)5.-ͷྫ 5
<body> <h1>見出し1</h1> <p>これが本文です</p> <h2>見出し1.1</h2> <a href="url/to/hoge">リンク</a> </body>

)5.-ͷऔಘ Ϋϩʔϧ ਓؒͷͨΊͷ)551ϥΠϒϥϦ SFRVFTUTϥΠϒϥϦΛར༻ ͜Ε͚ͩͰ)5.-औಘՄೳ 6 >>> import requests >>>
r = requests.get("https://supporterzcolab.com/event/555/") >>> r.text '<!DOCTYPE html>¥n<html lang="ja" xmlns...

৘ใநग़ʢεΫϨΠϐϯάʣ ਖ਼نදݱͰ·ͣ͸औಘ ࣮ࡍ͸όάͷԹচͳͷͰϑϨʔϜϫʔΫΛ࢖͏ ྫ QSFUJUMF΄͛UJUMFQSF 7 >>> import re >>>
re.search(r"<title>(.*?)</title>", r.text).group(1) '【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab'

#FBVUJGVM4PVQ )5.-΍9.-͔Β৘ใநग़͢ΔͨΊͷϥΠϒϥϦ ͓खܰʹཁૉΛநग़Ͱ͖Δ 8 >>> import requests >>> from bs4
import BeautifulSoup >>> r = requests.get("https://supporterzcolab.com/event/555/") >>> soup = BeautifulSoup(r.content, "lxml") >>> soup.find("title") <title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>

#FBVUJGVM4PVQ $44ηϨΫλ ͓खܰʹཁૉΛநग़Ͱ͖Δ 9 >>> soup.select("title") [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>]

ྫɿษڧձϖʔδ͔Β։࠵೔Λநग़ σϕϩούʔπʔϧͰཁૉΛΫϦοΫ )5.-ΛݟͯɺಛఆʹඞཁͳཁૉΛ֬ೝ ίʔυΛॻ͘ 10 >>> soup.find("span",
class_="dtstart").find("p", class_="ymd").text ਫ

#FBVUJGVM4PVQͷࢦఆํ๏ ެࣜϚχϡΞϧΛҰಡ͢Δͱྑ͍ ˓ϑΟϧλʔʹ౉ͤΔ΋ͷ 11 >>> soup.find_all("title") # 文字列 [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング -
サポーターズCoLab</title>] >>> soup.find_all(re.compile(r”tle$”)) # 正規表現 [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>] >>> soup.find_all(["title", "a"]) # リスト [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>, <a ...] >>> soup.find_all(True) # すべて ... >>> soup.find_all(lambda tag: "ymd" in tag.get("class", "")) # 関数 [<p class="ymd">2018/10/10(水)</p>]

ද͸QBOEBT ϖʔδ಺ͷ5BCMF܈Λ%BUB'SBNFͷϦετͰ ฦ͢ 12 >>> import pandas as pd >>>
dfs = pd.read_html("http://www.htmq.com/html/table.shtml") >>> dfs[0]

࣮ફͰͷٕज़ɾϚφʔ 13

࣮ફͰͷٕज़ͷॳาͷॳาΛ঺հ େن໛ʹؤ݈ʹ৘ใΛऔಘ ˠ4DSBQZΛ࢖͏ KBWBTDSJQUʹΑΔಈతϨϯμϦϯάʹରԠ ˠϔουϨεϒϥ΢βΛ࢖͏ ຊจͷཁૉࢦఆΛࣗಈԽ͢Δ 14

4DSBQZ ˓ΫϩʔϧˍεΫϨΠϐϯάͷॲཧΛखܰʹ ॻ͚ΔϑϨʔϜϫʔΫ ˔ 63-ͱऔಘ͍߲ͨ͠໨ JUFN Λهड़͢Δ ˔ "844΍.POHP%#΁ͷอଘͳͲɺεΫϨΠϐ ϯάޙͷॲཧ͕؆୯
˓࣮ӡ༻͸͍Ζ͍Ζߟ͑Δ͜ͱΞϦ ˔ ΫϩʔϧͱεΫϨΠϐϯά͕ಉ࣌ਐߦ 15

4DSBQZͷ%BUBGMPX֓؍ େࣄͳͷ͸&OHJOF͕ԿΛ͍ͯ͠Δ͔Λ஌Δ͜ͱ 16 図は公式サイトより 1. EngineがSpiderから1発目の Requestsを受け取る 2. EngineがRequestsをSchedulerに送る
3. Schedulerは次のRequestsを受け取る 4. EngineはRequestsをDownloader に送る 5. ResponseをDownloaderが生成 6. EngineがResponseを受け取り Spiderに渡す 7. Spiderはスクレイプしたアイテムと新しいリクエスト先を送る 8. Engineは受け取ったアイテムを ITEM Pipelinesに送ると同時に、次のリクエストをSchedulerに送る 9. ステップ1に戻る

4DSBQZͷ࢝Ίํ ˓ϓϩδΣΫτΛ࡞੒ ˔ Ұͭͷ໨తͷͨΊͷΫϩʔϥˍεΫϨΠύʔ܈ ˓4DSBQZTIFMMͰࢼ࡞ ˔ εΫϨΠϐϯά෦෼Λࢼ࡞ ˓4QJEFSΛ࡞੒ ˔ ϦϯΫղੳ͓Αͼϖʔδ৘ใͷεΫϨΠϐϯάํ
๏ QBSTFϝιου Λهड़ ˓4QJEFSͷ࣮ߦ 17 $ scrapy startproject hoge_project $ scrapy shell “URL” $ scrapy crawl hoge_spider

ྫɿ4DSBQZͰ$PMBCΛऔಘ ৽ணΠϕϯτϖʔδΛ଍͕͔Γʹ͢Δ ษڧձҰཡΛऔಘ औಘͨ͠ษڧձͷ಺༰ΛεΫϨΠϓ εϥΠυͰίʔυྫΛઆ໌Ͱ͖ΔྔͰ͸ ͳ͍ͷͰׂѪ 18

ಈతʹੜ੒͞ΕΔϖʔδ΁ͷରॲ (&5ϦΫΤετ͚ͩͩͱϖʔδ͕ੜ੒͞Εͳ ͍ͨΊɺϔουϨεϒϥ΢β IFBEMFTT DISPNFͳͲ ʹΑΓϨϯμϦϯά 3FRVFTUT)5.-Λར༻ ʼϔουϨεϒϥ΢βΛϥοϐϯά 19

3FRVFTUT)5.- ਓؒͷͨΊͷ)5.-ύʔε 20 >>> from requests_html import HTMLSession >>> session
= HTMLSession() >>> r = session.get("https://supporterzcolab.com/event/555/") >>> r.html.render() # 初回時は自動でヘッドレスブラウザをダウンロード >>> r.html.find("title", first=True).text # CSSセレクタが利用可能 '【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab'

ຊจࢦఆΛࣗಈԽ ˓ຊจநग़ΞϧΰϦζϜΛ࢖͏ ˔ SFBEBCJMJUZMYNM ˔ FYUSBDUDPOUFOU ͲͷαΠτ΋͏·͍͘͘Θ͚Ͱ͸ͳ͍͕ ϝϯςφϯείετΛݮΒͤΔ 21 >>>
from extractcontent3 import ExtractContent >>> extractor = ExtractContent() >>> html = open("target.html").read() >>> extractor.analyse(html) >>> text, title = extractor.as_text()

ͦͷଞ ˓ܧଓతͳΫϩʔϦϯά ˔ DSPO΍όονδϣϒͱͯ͠ఆظ࣮ߦ ˔ ϦΫΤετࡁΈ63-ʹ͸ΞΫηε͠ͳ͍ ˓ೝূ SFRVFTUT ˔ CBTJDೝূ͸ɺ*%ͱ18ΛҾ਺ʹ౉͚ͩ͢
˔ 0"VUIೝূ͸एׯखॱ͕૿͑Δ͕ɺ౉͚ͩ͢ ˓SFRVFTUTͷจࣈίʔυ ˔ SFTQPOTFFODPEJOHSFTQPOTFBQQBSFOU@FODPEJOH ˓ྫ֎ॲཧ ˔ ύʔεΤϥʔɺೝূΤϥʔɺλΠϜΞ΢τŋŋŋ ˔ ཁ݅ʹ߹Θͤͯઃܭ͕ඞཁ 22

“ ๏ྩ९क͸΋ͪΖΜ Ϛφʔ͕େࣄ 23

SPCPUTUYUͱαΠτϚοϓΛ֬ೝ͢Δ ϧʔτ௚ԼͷSPCPUTUYUʹΫϩʔϧͷՄ൱΍ αΠτϚοϓͷYNM΁ͷύε͕هࡌ ྫɿ͸ͯͳϒϩάIUUQTLBOKJIBUFOBCMPHKQSPCPUTUYU 24 6TFSBHFOU 4JUFNBQIUUQTLBOKJIBUFOBCMPHKQTJUFNBQ@JOEFYYNM %JTBMMPXBQJ %JTBMMPXESBGU

6TFS"HFOUʹ࿈བྷઌΛ໌ه Կ͔͋ͬͨࡍʹɺαʔό؅ཧऀ͕ϩάΛݟͯ ࿈བྷͰ͖Δ SFRVFTUTͷྫ 25 >>> headers = {'User-Agent': 'Hoge
Crawler/0.1 (http://hoge.com)'} >>> response = requests.get(url, headers=headers)

୹࣌ؒͷେྔͷΞΫηε͸ආ͚Δ ૬खαʔόʹෛՙΛ͔͚ͳ͍ 26 >>> import time >>> for url in
urls: r = requests.get(url) time.sleep(3)

εΫϨΠϐϯάϋϯζΦϯ 復習することで理解する https://colab.research.google.com/drive/18akzlJ_poblm9T_rsMDAhrT YOZse4IEK 27

͓ΘΓʹ ·ͱΊ ˓ 8FCΫϩʔϦϯάͱεΫϨΠϐϯάͷ֓ཁ঺հ ˓ 1ZUIPOͰͷ࣮ફɾϚφʔ ˓ ϋϯζΦϯͰೖ໳ ࣭໰͸ؾܰʹͲ͏ͧ !LBOKJUS
28

Pythonで始めるスクレイピング / Starting scraping in Python

Pythonで始めるスクレイピング / Starting scraping in Python

Sansan DSOC

More Decks by Sansan DSOC

Other Decks in Technology

Featured

Transcript

1ZUIPOͰ࢝ΊΔ εΫϨΠϐϯά 1 ߴڮ ׮࣏ !LBOKJUS

1 ※掲載されている内容等は発表時点の情報です。 ※公開に当たり、資料の一部を変更・削除している場合があります。

2 ࠓ೔ͷ͓͸ͳ͠ 8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ ֓೦ͷ೺Ѳ 1ZUIPOͰͷ؆୯ͳྫ ࣮ફͰͷٕज़ɾϚφʔ 4DSBQZϑϨʔϜϫʔΫ ͷ঺հ ϔουϨεϒϥ΢β

8FCΫϩʔϦϯάˍ εΫϨΠϐϯάͷ֓ཁ 3

8FCΫϩʔϦϯάͱεΫϨΠϐϯά ΫϩʔϦϯά 8FCαΠτ͔Β)5.-ͳͲΛऔಘ 4 εΫϨΠϐϯά )5.-͔Β৘ใநग़ サイトサイトサイトサイト

)5.- )ZQFS5FYU.BSLVQ-BOHVBHF ˓ ॻମɾαΠζɾߏ଄ͳͲΛهड़͢Δݴޠ ˔ ྫɿ5F9 9.- 47( ˓)5.-ͷྫ 5

)5.-ͷऔಘ Ϋϩʔϧ ਓؒͷͨΊͷ)551ϥΠϒϥϦ SFRVFTUTϥΠϒϥϦΛར༻ ͜Ε͚ͩͰ)5.-औಘՄೳ 6 >>> import requests >>>

৘ใநग़ʢεΫϨΠϐϯάʣ ਖ਼نදݱͰ·ͣ͸औಘ ࣮ࡍ͸όάͷԹচͳͷͰϑϨʔϜϫʔΫΛ࢖͏ ྫ QSFUJUMF΄͛UJUMFQSF 7 >>> import re >>>

#FBVUJGVM4PVQ )5.-΍9.-͔Β৘ใநग़͢ΔͨΊͷϥΠϒϥϦ ͓खܰʹཁૉΛநग़Ͱ͖Δ 8 >>> import requests >>> from bs4

#FBVUJGVM4PVQ $44ηϨΫλ ͓खܰʹཁૉΛநग़Ͱ͖Δ 9 >>> soup.select("title") [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング - サポーターズCoLab</title>]

ྫɿษڧձϖʔδ͔Β։࠵೔Λநग़ σϕϩούʔπʔϧͰཁૉΛΫϦοΫ )5.-ΛݟͯɺಛఆʹඞཁͳཁૉΛ֬ೝ ίʔυΛॻ͘ 10 >>> soup.find("span",

#FBVUJGVM4PVQͷࢦఆํ๏ ެࣜϚχϡΞϧΛҰಡ͢Δͱྑ͍ ˓ϑΟϧλʔʹ౉ͤΔ΋ͷ 11 >>> soup.find_all("title") # 文字列 [<title>【サポーターズCoLab勉強会】Pythonで始めるスクレイピング -

ද͸QBOEBT ϖʔδ಺ͷ5BCMF܈Λ%BUB'SBNFͷϦετͰ ฦ͢ 12 >>> import pandas as pd >>>

࣮ફͰͷٕज़ɾϚφʔ 13

࣮ફͰͷٕज़ͷॳาͷॳาΛ঺հ େن໛ʹؤ݈ʹ৘ใΛऔಘ ˠ4DSBQZΛ࢖͏ KBWBTDSJQUʹΑΔಈతϨϯμϦϯάʹରԠ ˠϔουϨεϒϥ΢βΛ࢖͏ ຊจͷཁૉࢦఆΛࣗಈԽ͢Δ 14

4DSBQZ ˓ΫϩʔϧˍεΫϨΠϐϯάͷॲཧΛखܰʹ ॻ͚ΔϑϨʔϜϫʔΫ ˔ 63-ͱऔಘ͍߲ͨ͠໨ JUFN Λهड़͢Δ ˔ "844΍.POHP%#΁ͷอଘͳͲɺεΫϨΠϐ ϯάޙͷॲཧ͕؆୯

4DSBQZͷ%BUBGMPX֓؍ େࣄͳͷ͸&OHJOF͕ԿΛ͍ͯ͠Δ͔Λ஌Δ͜ͱ 16 図は公式サイトより 1. EngineがSpiderから1発目の Requestsを受け取る 2. EngineがRequestsをSchedulerに送る

4DSBQZͷ࢝Ίํ ˓ϓϩδΣΫτΛ࡞੒ ˔ Ұͭͷ໨తͷͨΊͷΫϩʔϥˍεΫϨΠύʔ܈ ˓4DSBQZTIFMMͰࢼ࡞ ˔ εΫϨΠϐϯά෦෼Λࢼ࡞ ˓4QJEFSΛ࡞੒ ˔ ϦϯΫղੳ͓Αͼϖʔδ৘ใͷεΫϨΠϐϯάํ

ྫɿ4DSBQZͰ$PMBCΛऔಘ ৽ணΠϕϯτϖʔδΛ଍͕͔Γʹ͢Δ ษڧձҰཡΛऔಘ औಘͨ͠ษڧձͷ಺༰ΛεΫϨΠϓ εϥΠυͰίʔυྫΛઆ໌Ͱ͖ΔྔͰ͸ ͳ͍ͷͰׂѪ 18

ಈతʹੜ੒͞ΕΔϖʔδ΁ͷରॲ (&5ϦΫΤετ͚ͩͩͱϖʔδ͕ੜ੒͞Εͳ ͍ͨΊɺϔουϨεϒϥ΢β IFBEMFTT DISPNFͳͲ ʹΑΓϨϯμϦϯά 3FRVFTUT)5.-Λར༻ ʼϔουϨεϒϥ΢βΛϥοϐϯά 19

3FRVFTUT)5.- ਓؒͷͨΊͷ)5.-ύʔε 20 >>> from requests_html import HTMLSession >>> session

ຊจࢦఆΛࣗಈԽ ˓ຊจநग़ΞϧΰϦζϜΛ࢖͏ ˔ SFBEBCJMJUZMYNM ˔ FYUSBDUDPOUFOU ͲͷαΠτ΋͏·͍͘͘Θ͚Ͱ͸ͳ͍͕ ϝϯςφϯείετΛݮΒͤΔ 21 >>>

ͦͷଞ ˓ܧଓతͳΫϩʔϦϯά ˔ DSPO΍όονδϣϒͱͯ͠ఆظ࣮ߦ ˔ ϦΫΤετࡁΈ63-ʹ͸ΞΫηε͠ͳ͍ ˓ೝূ SFRVFTUT ˔ CBTJDೝূ͸ɺ*%ͱ18ΛҾ਺ʹ౉͚ͩ͢

“ ๏ྩ९क͸΋ͪΖΜ Ϛφʔ͕େࣄ 23

SPCPUTUYUͱαΠτϚοϓΛ֬ೝ͢Δ ϧʔτ௚ԼͷSPCPUTUYUʹΫϩʔϧͷՄ൱΍ αΠτϚοϓͷYNM΁ͷύε͕هࡌ ྫɿ͸ͯͳϒϩάIUUQTLBOKJIBUFOBCMPHKQSPCPUTUYU 24 6TFSBHFOU 4JUFNBQIUUQTLBOKJIBUFOBCMPHKQTJUFNBQ@JOEFYYNM %JTBMMPXBQJ %JTBMMPXESBGU

6TFS"HFOUʹ࿈བྷઌΛ໌ه Կ͔͋ͬͨࡍʹɺαʔό؅ཧऀ͕ϩάΛݟͯ ࿈བྷͰ͖Δ SFRVFTUTͷྫ 25 >>> headers = {'User-Agent': 'Hoge

୹࣌ؒͷେྔͷΞΫηε͸ආ͚Δ ૬खαʔόʹෛՙΛ͔͚ͳ͍ 26 >>> import time >>> for url in

εΫϨΠϐϯάϋϯζΦϯ 復習することで理解する https://colab.research.google.com/drive/18akzlJ_poblm9T_rsMDAhrT YOZse4IEK 27

͓ΘΓʹ ·ͱΊ ˓ 8FCΫϩʔϦϯάͱεΫϨΠϐϯάͷ֓ཁ঺հ ˓ 1ZUIPOͰͷ࣮ફɾϚφʔ ˓ ϋϯζΦϯͰೖ໳ ࣭໰͸ؾܰʹͲ͏ͧ !LBOKJUS