Soluções de arquitetura de dados utilizando Python

Nesta talk apresentada no The Developer's Conference (Florianópolis) de 2019, demonstrei como criar serviços utilizando Python para capturar, tratar e carregar dados, criando uma arquitetura simples, porém eficiente. Foram exploradas diversas biblioteca úteis, que tornam possível criar aplicações Python para realizar a conexão entre aplicações e o tratamento de dados.

Transcript

1. Globalcode – Open4education Soluções de arquitetura de dados utilizando Python Rafael Calixto
2. Globalcode – Open4education About me UFRJ Licenciatura em Música UEZO Análise e Desenvolvimento de Sistemas IGTI Ciência de Dados (Big Data) Wise&Trust Cientista de Dados PanoramaCrypto Redator
3. Globalcode – Open4education Cenário da arquitetura de dados Web Crawlers Analytics / Data Process API Data Ingestion
4. Globalcode – Open4education Linguagens mais usadas em projetos no Github https://www.benfrederickson.com/ranking-programming-languages-by-github-users/
5. Globalcode – Open4education Web Crawlers Diversos frameworks e bibliotecas disponíveis:
6. Globalcode – Open4education Analytics / Data Process Bibliotecas para processamento de dados:
7. Globalcode – Open4education APIs Frameworks para a construção de APIs com python:
8. Globalcode – Open4education Conexão com Bases de Dados
9. Globalcode – Open4education Case Datarisk.io Criando filas no Redis
10. Globalcode – Open4education Pipeline da Datarisk.io request status add to queue data process output input add to queue front end
11. Globalcode – Open4education Case Wise&Trust Trading data
12. Globalcode – Open4education Pipeline da Wise&Trust crawlers data process relational storage data analytics applications semi-structured storage psycopg2 pymongo
13. Globalcode – Open4education Perguntas?
14. Globalcode – Open4education Contatos Twitter @rafaelcalixtopy LinkedIn https://www.linkedin.com/in/rafael-calixto-9a11936b/ Github https://github.com/rafaelcalixto Telegram @rafaelcalixto