Coleta Massiva de Dados

Palestra sobre como montar uma solução simples e escalável para coletar dados usando como exemplo coletores de preços de passagens aéreas.

Transcript

1. Coleta'Massiva'de'Dados Felipe&Cruz Domínio'Público,'2014 1
2. Contatos @felipejcruz github.com/felipecruz felipecruz@loogica.net Domínio'Público,'2014 2
3. Agradecimentos Funbio.org.br Parafernalia.net.br HotelUrbano.com.br Domínio'Público,'2014 3
4. Agenda • O#que#é? • Perguntas#iniciais# • Etapas • Técnicas • Solução#escalável Domínio'Público,'2014 4
5. Coleta/Crawling Domínio'Público,'2014 5
6. Definição Um#programa#de#computador#que#navega#pela#World#Wide#Web# extrai#informação#de#uma#forma#metódica#e#automa:zada !!"Wikipedia/Felipe"Cruz Domínio'Público,'2014 6
7. Detalhes(da(tarefa • De$onde$obter$a$informação? • Qual$o$5po$de$fonte$de$dados? • Como$obter$a$informação? • Como/Onde$gravar$a$informação? Domínio'Público,'2014 7
8. Mo#vação(Comercial • Ter%informações%é%estratégico • Pertmite%tomada%de%decisão%mais%precisa • Juntar%informação%tem%valor • Venda%de%informação • Venda%da%análise%de%informação Domínio'Público,'2014 8
9. Mo#vação(Social • Acompanhar+processos+governamentais • Pesquisa+com+dados+públicos Domínio'Público,'2014 9
10. Etapas • Fazer'alguma'requisição'pra'uma'fonte'de'informação • Usar'alguma'técnica'para'obter'a'informação'desejada • U<lizar'algum'mecanismo'para'persis<r'a'informação Domínio'Público,'2014 10
11. Requisitando,informações,de,uma,fonte • Usar&uma&ferramenta&que&faz&requisições • Python:&urllib{2},&requests • Gerais:&wget,&curl • Usar&um&navegador&controlado&por&um&driver • Python:&Selenium • Gerais:&PhantomJS Domínio'Público,'2014 11
12. Obtendo(informação(desejada • Xpath • Regex • Usando0contexto0Javascript • Executando0uma0função Domínio'Público,'2014 12
13. Escalando Domínio'Público,'2014 13
14. AVISO Domínio'Público,'2014 14
15. Design'de'soluções'é'algo'pessoal —"Anônimo Domínio'Público,'2014 15
16. Premissas • Escalar(em(tempo(de(execução • Escalar(de(forma(simples • Foco(na(lógica(e(não(na(infra Domínio'Público,'2014 16
17. Caso%real Obter&preço&de&passagens&aéreas Domínio'Público,'2014 17
18. Escalando)*)Minha)solução • Boto%+%Paramiko%para%provisionamento • Pyzmq%para%distribuição • Padrão%Ven$lator%modificado • Selenium%para%requisição%e%extração • Xpath%+%Javascript • Armazenamento%C%em%aberto Domínio'Público,'2014 18
19. Ven$lator Domínio'Público,'2014 19
20. Domínio'Público,'2014 20
21. Ven$lator • Define&tarefas • Distribui&tarefas Domínio'Público,'2014 21
22. Domínio'Público,'2014 22
23. Tarefas? Domínio'Público,'2014 23
24. >>> from voe import producer >>> producer.get_tasks() ['gol SDU CGH', 'gol SDU REC', 'gol SDU POA', 'gol SDU BSB', 'gol SDU CNF', 'gol CGH REC', 'gol CGH POA', 'gol CGH BSB', 'gol CGH CNF', 'gol GRU REC', 'gol GRU POA', 'gol GRU BSB', 'gol GRU CNF', 'gol REC POA', 'gol REC BSB', 'gol REC CNF', 'gol POA BSB', 'gol POA CNF', 'gol BSB CNF', 'azul SDU GRU', 'azul SDU POA', 'azul SDU REC', 'azul SDU CNF', 'azul SDU CWB', 'azul GRU POA', 'azul GRU REC', 'azul GRU CNF', 'azul GRU CWB', 'azul POA REC', 'azul POA CNF', 'azul POA CWB', 'azul REC CNF', 'azul REC CWB', 'azul CNF CWB'] Domínio'Público,'2014 24
25. Como$se$distribui$tarefas? Domínio'Público,'2014 25
26. import itertools import zmq from voe import producer Domínio'Público,'2014 26
27. context = zmq.Context() push = context.socket(zmq.PUSH) push.bind('tcp://127.0.0.1:1313') sync = context.socket(zmq.DEALER) sync.bind('tcp://127.0.0.1:13131') tasks = producer.get_tasks() Domínio'Público,'2014 27
28. def distribute_tasks(tasks): for task in itertools.cycle(tasks): ready = sync.recv() print("Sent {}".format(task)) push.send(task) time.sleep(1) distribute_tasks(tasks) Domínio'Público,'2014 28
29. Como$funciona? • Loop%circular%nas%tarefas • Worker%sinaliza%que%pode%receber%tarefa%e%master'recebe'sinal • ready = sync.recv() • Master'envia%tarefa%para%worker • push.send(task) Domínio'Público,'2014 29
30. Detalhes • Sem%worker • Processo%fica%parado • N%workers • Tarefas%igualmente%distribuidas%entre%eles Domínio'Público,'2014 30
31. Worker(s) Domínio'Público,'2014 31
32. Domínio'Público,'2014 32
33. Adicionar)um)nó)deve)ser)trivial Domínio'Público,'2014 33
34. Ferramentas • Paramiko)+)shell)scripts)2)provisionamento • Código)Python)2)lógica)de)negócio • Supervisor)2)controle)do)processo Domínio'Público,'2014 34
35. Como$Funciona • Sinaliza(que(está(pronto • Recebe(definição(da(tarefa • Realiza(trabalho(pesado Domínio'Público,'2014 35
36. import zmq context = zmq.Context() pull = context.socket(zmq.PULL) pull.connect('tcp://127.0.0.1:1313') sync = context.socket(zmq.DEALER) sync.connect('tcp://127.0.0.1:13131') Domínio'Público,'2014 36
37. while True: sync.send('ready') data = pull.recv() print("Client {} recived {}".format(s, data)) handle(data) # illustrative Domínio'Público,'2014 37
38. E"os"preços"de"passagens? Domínio'Público,'2014 38
39. Detalhes(da(tarefa • De$onde$obter$a$informação? • Páginas(Web • Qual$o$5po$de$fonte$de$dados?$ • HTML/Texto • Como$obter$a$informação?$ • Xpath(+(Javascript((Selenium) Domínio'Público,'2014 39
40. Selenium(sem(X Domínio'Público,'2014 40
41. Truques • Xv$%&%X%virtual%framebuffer • PyVirtualDisplay • h9ps:/ /github.com/ponty/PyVirtualDisplay Domínio'Público,'2014 41
42. Muito&fácil&com&Python from pyvirtualdisplay.smartdisplay import SmartDisplay with SmartDisplay(visible=0, bgcolor='black') as disp: browser = webdriver.Firefox() Domínio'Público,'2014 42
43. Selenium(+(Xpath xpath_exp = '//div[@class="sliderDates sliderGoing"]/ul[@class="listDates"]/li' els = browser.find_elements_by_xpath(xpath_exp) departure_result = [] for el in els: price = get_price(el.text) date = parse_date(get_date(el.text)) prices.append(dict(price=price, date=date)) Domínio'Público,'2014 43
44. Selenium(+(Javascript script = """ var prices = []; $('#GoingPrices ul.tabset li').each(function(i, el) { var date = $(el).find('span').text(); var price = $(el).find('div').text(); prices.push({'date': date, 'price': price}); }); return prices; """ prices = executer(script) Domínio'Público,'2014 44
45. Sink Domínio'Público,'2014 45
46. Domínio'Público,'2014 46
47. Implementações,de,Sink • Recebe&resultados& • sink.recv() • Persiste&resultados • SGBD&(Mysql,&PostgreSQL&and&others) • NoSQL&(Mongodb,&Redis,&HBase&and&others) Domínio'Público,'2014 47
48. Revisando Domínio'Público,'2014 48
49. Stack&Python • Paramiko • Boto • Supervisor • Pyzmq • Selenium6(específico) • PyVirtualDisplay6(específico) Domínio'Público,'2014 49
50. Revisão • Distribuir)tarefas • Aceitar)novos)nós)em)tempo)de)execução • Não)reinventar)a)roda)na)hora)de)persis;r)os)dados • Se)todas)as)máquinas)caírem,)recriar)tudo)deve)ser)trivial Domínio'Público,'2014 50
51. Fontes? h"ps:/ /github.com/loogica/voe Domínio'Público,'2014 51
52. Fim Perguntas? Obrigado! Domínio'Público,'2014 52