GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python

GDG Campus SummerParty (2017)의 <쓸데많은 웹 크롤러 만들기 with Python> 세션 발표자료입니다.

Transcript

1. GDG Campus Summer Party 쓸데많은 웹 크롤러 만들기 with Python 이준범 ( jun@beomi.net ) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 1
2. 발표자 소개 이준범 ( jun@beomi.net ) DjangoGirls Seoul Organizer < 나만의 웹 크롤러> 블로그 연재 < 파이썬을 활용한 실전 웹크롤링 CAMP> 패스트캠퍼스 강의 Python + Django = <3 파이썬쓰세요 두번쓰세요 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 2
3. 웹 크롤링? GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 3
4. 인터넷 & 웹에 있는 유용한 정보를 가져오고 사용하기 쉬운 형태로 가공하자 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 4
5. 오늘 다루는 내용 가장 기초적인 것 X 크롤링하기 좀더 까다로운 사례 O 코드 나열 X , 사례 + 해결법 O CS101 아니라 CS201 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 5
6. 그래도 기본적인 내용은 알고갑시다 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 6
7. HTTP ? HTML ? JSON ? API ? GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 7
8. 사용하는 도구 python v3.6 (CPython 을 사용합니다.) requests v2.18 HTTP Request beautifulsoup v4.6 HTML to Python Object lxml v3.8 HTML(XML) Parser selenium v3.5 Browser Control pip 로 설치하면 됩니다 pip install requests bs4 lxml selenium # 한번에 전부 설치하기 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 8
9. 크롤링을 막는 사례들 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 9
10. 사례 1 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 10
11. User-Agent 체크를 하는 경우 ex) 온OO 믹스 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 11
12. User-Agent ? GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 12
13. HTTP 요청을 보낸 대상이 어떤 클라이언트( 브라우저) 인지 확인 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 13
14. requests 의 User-Agent 는 python-requests/2.18.3 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 14
15. 브라우저가 아니네? GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 15
16. 너 차단 # 망했어요 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 16
17. 해결법 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 17
18. HTTP Header 에 모던 브라우저의 User-Agent 값 넣기 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 18
19. 크롬을 넣으면 보통 잘 동작한다 import requests s = requests.Session() s.headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) '\ 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36' } 만약 내가 쓰는 브라우저의 속성을 알고싶다면: 구글에 My User Agent 검색 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 19
20. 사례 2 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 20
21. ( 로그인 등에서) hidden input eld 가 있는 경우 ex) 온OO 믹스 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 21
22. 어떤 값이 서버가 진짜 원하는 것인지 알아야함 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 22
23. 온OO 믹스 로그인 Form proc returnUrl email pw ... 어떤게 진짜? GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 23
24. 사례 3 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 24
25. CSRF 검증이 들어간 경우 ex) 클O 앙 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 25
26. 똑똑.. 쿠키에 있는 토큰이랑 input 에 있는 토큰 주세요 그런거 없는데요... GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 26
27. 응 너 차단 ^^ # 망했어요(2) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 27
28. GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 28
29. 해결법 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 29
30. 한 Requests Cycle 안이라면 세션을 유지하고 HTML 에서 토큰을 뽑아내면 되겠다 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 30
31. CSRF 토큰이 있는 페이지에서 토큰 추출 & 세션유지 with requests.Session() as s: first_page = s.get('https://www.clien.net/service') html = first_page.text soup = bs(html, 'lxml') csrf = soup.find('input', {'name': '_csrf'}) LOGIN_INFO = { 'userId': 'myidid', 'userPassword': 'mypassword123' '_csrf': csrf['value'] } login_req = s.post( 'https://www.clien.net/service/login', data=LOGIN_INFO ) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 31
32. 사례 4 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 32
33. 너무 빨리( 많이) 요청했더니... ex) 조O 라 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 33
34. 응 못 긁어가~ GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 34
35. 사실 사람이 1 초에 많이 넘겨봤자 두개~ 세개 페이지 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 35
36. 해결법 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 36
37. 조금 쉬어갑시다 time.sleep(3) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 37
38. 근데 들킬수도 있어요 ( 너무 똑같이 쉬어서) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 38
39. 랜덤하게 쉬어줍시다 time.sleep(3 + random.random() * 3) 3 ~ 6 초 안에서 랜덤하게 쉬어줍니다 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 39
40. 사례 5 이것이 혼모노다.. GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 40
41. 요즘 인기 많은 SPA ...까지는 아니더라도 JS 로 동적 DOM 변경이 일어나는 경우 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 41
42. requests 로 가져오면 딱 한줄 <script src="/dist/bundle.js"> GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 42
43. 서버가 말했읍니다. " 안알랴줌" GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 43
44. 결국은 클라이언트 렌더링이 필요 크롬은( 뚠뚠) 오늘도( 뚠뚠) 열심히 일을 하네( 뚠뚠) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 44
45. Selenium ! 브라우저를 코드로 조작할수 있어요 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 45
46. Selenium 써보기 from selenium import webdriver driver = webdriver.Chrome('/Users/ 사용자이름/Downloads/chromedriver') driver.implicitly_wait(3) driver.get('https://naver.com') # requests 의 .text( 소스보기) 와 다르게 브라우저의 Elements 탭과 동일한 DOM html = driver.text 브라우저에 렌더링된 DOM 구조와 동일 ( 화면에 나타나지 않는 것 ( 렌더링 되지 않은것) 은 가져올 수 없음) GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 46
47. 하지만 이걸로도 못하는게 있어요 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 47
48. Captcha GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 48
49. 캡챠 뚫는 API 를 사용하거나 캡챠가 뜨면 사람이 클릭하도록 돌리거나 Sikuli같은 이미지 인식을 돌리거나 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 49
50. 진짜 사람도 25% 나 걸린다는 Recaptcha 가게 표지판좀 그만좀 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 50
51. ㅠㅠ GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 51
52. 일정 수준 이상으로 빡세게 돌리거나 상업적 용도가 있다면 일단 서버 운영자나 개발자에게 물어봅시다 GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 52
53. 서버 개발자도 사람이니까요. GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 53
54. QnA GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 54
55. 들어주셔서 감사합니다. GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 55
56. 이미지 출처 18p, 23p 너 차단: http://blackhole-kun.tistory.com/2004 22p 탐험가맛 쿠키: http://bbs.ruliweb.com/best/board/300064/read/25114064 35p 랜덤게임: https://play.google.com/store/apps/details? id=com.rectworks.randomgame 39p 안알랴줌: 다음 Storyball GDG Campus SummerParty: 쓸데많은 웹 크롤러 만들기 with Python 56