DEV Čtvrtkon #137 - Web scraping (nejen) v Pythonu

Web scraping je dnes často na různých úrovních běžnou součástí práce vývojářů, analytiků i marketérů – ale kdy dává smysl a kdy si spíš koledujete o problém? Rád bych se podělil o svůj pohled na tuto problematiku, stručný přehled možností a pár tipů a triků z vlastní (několikaleté) praxe této zábavy na dlouhé zimní večery 🙂

Aneb Prozkoumejte základy webového scrapingu, HTTP požadavky, asynchronní scraping, automatizaci prohlížečů, výkonnostní benchmarky, používání proxy, strategie proti botům a etické aspekty s využitím Pythonu a moderních nástrojů, jako jsou Playwright a Selenium.

Info o akci na: https://ctvrtkon.cz/udalost/dev-ctvrtkon-137

Odkaz na repo se ukázkovými skripty: https://github.com/hlavacm/dev-ctvrtkon-137-web-scraping

Transcript

1. Web scraping (nejen) v Pythonu Martin Hlaváč @ DEV Čtvrtkon #137
2. Co je to (ten) web scraping???
3. “Web scraping je způsob získávání strukturovaných dat z webových stránek. Spočívá v extrahování dat umístěných na webových stránkách do užitečnějšího formátu, který je možné snadno dále strojově zpracovávat.” Zdroj: https://cs.wikipedia.org/wiki/Web_scraping
4. Zjednodušeně: Je to „stahování / vytahování dat z webů pomocí skriptů“.
5. Technicky ideálně Python, či node.js
7. Kdo tady scrapuje (weby)?
8. Jaké weby mám nejraději na web scraping?
9. “Ty, které nemusím scrapovat”*
11. Level 1
12. Level 1 – Jednoduché HTTP requesty • Základ web scrapingu: stáhnout HTML obsah / kód • Používáme typicky knihovny requests nebo httpx, Fetch nebo Axios, či Guzzle pro odeslání jednoduchého GET/POST dotazu • Výsledek = HTML, se kterým dál pracujeme
13. import requests response = requests.get("https://httpbin.org/html") if response.ok: html = response.text print(html) else: print(f"Chyba: server vrátil {response.status_code}")
14. <!DOCTYPE html> <html> <head> </head> <body> <h1>Herman Melville - Moby-Dick</h1> <div> <p> Availing himself of the mild... </p> </div> </body> </html>
15. Benchmark (DEMO)
16. Benchmark scrapingu (level 1) • Cíl: ◦ Porovnat výkon synchronních HTTP requestů • Porovnávané knihovny: ◦ requests ◦ httpx (sync client) • Metriky: ◦ ⏱ celkový čas N requestů • Metodika: ◦ Stejná URL, stejný počet requestů, bez paralelismu
18. ============================================= Benchmark: Level 1 scraping ============================================= requests : ??.?? s httpx : ??.?? s
19. ============================================= Benchmark: Level 1 scraping ============================================= requests : 63.77 s httpx : 26.42 s
21. (HTML) Parsing
22. Parsování HTML • Po stažení HTML je třeba ho rozparsovat a vytáhnout konkrétní data • Nejčastější knihovny: ◦ BeautifulSoup4 – jednoduchá, intuitivní ▪ HTML parser nebo LXML ◦ Selectolax – velmi rychlá, efektivní pro velké stránky ▪ LexborHTMLParser
23. from bs4 import BeautifulSoup soup = BeautifulSoup(html, "html.parser") titles = soup.select("h1") print([t.get_text() for t in titles])
24. from selectolax.parser import HTMLParser tree = HTMLParser(html) titles = tree.css("h1") print([t.text() for t in titles])
26. Benchmark (DEMO)
27. Benchmark parsingu • Cíl: ◦ • • • Porovnat rychlost a paměťovou náročnost HTML parsování Porovnávané knihovny: ◦ BeautifulSoup 4 (html.parser, lxml) ◦ Selectolax Metriky: ◦ ⏱ čas parsování ◦ 🧠 peak paměť Metodika: ◦ Stejné HTML, více běhů, čas a paměť měřeny odděleně
29. ============================================= Benchmark: HTML parsing (time) ============================================= BS4 html.parser : ?.???? s BS4 lxml : ?.???? s Selectolax : ?.???? s
30. ============================================= Benchmark: HTML parsing (time) ============================================= BS4 html.parser : 2.6257 s BS4 lxml : 2.0423 s Selectolax : 0.0677 s
31. ============================================= Benchmark: HTML parsing (memory – peak) ============================================= BS4 html.parser : ??.?? MB BS4 lxml : ??.?? MB Selectolax : ??.?? MB
32. ============================================= Benchmark: HTML parsing (memory – peak) ============================================= BS4 html.parser : 99.90 MB BS4 lxml : 93.90 MB Selectolax : 9.86 MB
35. Level 2
36. Level 2 – Asynchronní HTTP requesty • Umožňuje současné stahování více stránek, ideální pro větší výkon. • Asynchronní kód = efektivnější využití času při čekání na odpověď serveru. • V pythonu asyncio: ◦ AIOHTTP ◦ httpx (async client) • Složitější debugging, vyšší komplexita kódu
37. import aiohttp import asyncio async def fetch(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response: if response.status == 200: return await response.text() else: print(f"Chyba: {response.status}") async def main(): html = await fetch("https://httpbin.org/html") print(html) asyncio.run(main())
38. Benchmark (DEMO)
39. Benchmark scrapingu (level 2) • Cíl: ◦ Porovnat výkon asynchronních HTTP requestů • Porovnávané knihovny: ◦ aiohttp ◦ httpx (AsyncClient) • Metriky: ◦ ⏱ celkový čas N requestů • Metodika: ◦ Stejná URL, stejný počet requestů, paralelní zpracování pomocí asyncio
41. ============================================= Benchmark: Level 2 scraping ============================================= aiohttp : ?.?? s httpx : ?.?? s
42. ============================================= Benchmark: Level 2 scraping ============================================= aiohttp : 1.83 s httpx : 1.83 s
44. Vylepšení
45. Nutné vylepšení • • • • • Proxy Opakování Logování Monitoring Alerting
46. Vhodné vylepšení • • • • Fronta Cache Cookies Rate limiting
47. Level 3
49. Level 3 – Browser-based scraping • • • • Vykreslení pomocí JavaScriptu Automatizace prohlížeče Chování jako reálný uživatel Pomalejší, ale nejuniverzálnější řešení aneb když HTTP nestačí…
50. Level 3 – Browser-based scraping • • • • Selenium – univerzální, starší, stabilní, nejrozšířenější (Puppeteer – Chrome-first, JS-centric) Playwright – moderní, rychlý, multi-browser (DrissionPage)
51. Level 3 – Browser-based scraping • Selenium → kompatibilita & legacy • Playwright → moderní scraping
52. Level 3 – Selenium ukázka from selenium import webdriver driver = webdriver.Chrome() driver.get("https://httpbin.org/html") html = driver.page_source print(html) driver.quit()
53. Level 3 – Playwright ukázka from playwright.sync_api import sync_playwright with sync_playwright() as p: with p.chromium.launch() as browser: page = browser.new_page() page.goto("https://httpbin.org/html") html = page.content() print(html)
54. import asyncio from playwright.async_api import async_playwright async def main(): async with async_playwright() as p: async with await p.chromium.launch() as browser: page = await browser.new_page() await page.goto("https://httpbin.org/html") html = await page.content() print(html) asyncio.run(main())
55. Level 3 – Headless (mode) • Bez viditelného okna prohlížeče (GUI) • Vykresluje stejný DOM včetně JavaScriptu jako běžný browser • Vhodný pro JS-heavy weby • Lepší výkon, menší nároky na zdroje • Vyšší riziko detekce botů
56. Benchmark (DEMO)
57. Benchmark scrapingu (level 3) • Cíl: ◦ Porovnat režii browser-level přístupu oproti HTTP klientům. • Nástroj: • Playwright (Chromium) • Metriky: ◦ ⏱ celkový čas N requestů • Metodika: ◦ Playwright bez UI, jeden browser context, paralelní requesty.
59. ============================================= Benchmark: Level 3 scraping (headless) ============================================= playwright sync : ??.?? s playwright async : ??.?? s
60. ============================================= Benchmark: Level 3 scraping (headless) ============================================= playwright sync : 43.88 s playwright async : 22.69 s
61. ============================================= Benchmark: Level 3 scraping (headless) ============================================= playwright sync : 47.08 s playwright async : 26.43 s
63. Level 3 – Selenium/Playwright na steroidech • undetected-chromedriver • playwright-stealth
64. Level 3 – Běžné chyby • • • • • Používání sleep() místo čekání na DOM (wait_for_*) Zbytečné použití browseru místo přímého HTTP/API Nezavírání browseru / contextu → únik paměti Spoléhání na headless režim bez testování Příliš mnoho interakcí (klikání, scrollování)
65. Level 1-3 shrnutí • Level 1 (Sync HTTP) ◦ Nejjednodušší řešení s minimální režií • Level 2 (Async HTTP) ◦ Nejvyšší výkon při práci s velkým množstvím requestů • Level 3 (Browser-based) ◦ Nejnáročnější, ale funguje i na JS-heavy webech
66. Vylepšení2
67. Browser-based vylepšení2 • Virtuální displej ◦ Headless → monitor odpojíme ◦ Xvfb → monitor předstíráme • User/browser fingerprinting • Simulace uživatelského chování ◦ myš / klávesnice • (Re)Captcha (challange) solving • Proxy & IP reputation
68. Level 32 - Anti-bot & CAPTCHA Level 32 není jen o scrapingu, ale o tom nebýt rozpoznán…
70. AI 🤔
71. Proxy TIPy • Datacenter – levné, rychlé, často blokované • Residential (static) – stabilní IP, session-based scraping • Residential (rotating) – vysoká úspěšnost, krátké requesty • Mobile – minimální blokace, pomalé / drahé • Free proxies – pouze demo / testy ◦ TIP: webshare.io - free 10 proxies Pozn.: POZOR na (non-)unlimited bandwidth
72. Infrastruktura
73. Infrastruktura • AWS (spot) instance • Hetzner • ?
74. Platformy
75. Platformy • Scrapy(d) • Apify
77. Externí služby
78. Externí služby • • • • SerpApi Data For SEO Marketing Miner …
79. Etika 😇
80. API* 😎
81. Otázky? Děkuji za pozornost mrtn.hlvc.net linkedin.com/in/hlavacm
82. github.com/hlavacm /dev-ctvrtkon-137-web-scraping