Manipulação e Tratamento de Dados com Pandas

Apresentação realizada no Python Day 2019 FSA em 30/03, sobre a utilização da biblioteca Pandas, com base em exemplos práticos sobre dados reais da ANAC, Prouni e DF.

Link do código e visualização constam no slide.

Transcript

1. Manipulação e Tratamento de Dados com Pandas Python Day 2019
2. hello.py 1. import json 2. 3. x = { 4. "name": "eduardo daltro", 5. "instagram": "@daltroedu", 6. "skill": "data analysis", 7. "job": "gerenciagram" 8. } 9. 10. y = json.dumps(x) 11. 12. print(y)
3. Sobre o Pandas Finalidade: coleta, preparação, análise e modelagem de dados; Benefícios: desempenho, produtividade e capacidade de colaboração; Plataforma: Jupyter Notebook; Leitura/gravação: CSV, TXT, Excel, SQL e HDF5; Ferramentas relacionadas: SciPy, NumPy, StatsModels, scikit-learn, matplotlib; Onde aprender: Pandas, TutorialsPoint, Python para Análise de Dados.
4. Estruturas de Dados Series DataFrame Panel Python JavaScript Ruby C++ Go SO Licença Lançamento Linux GNU GPLv2 17/09/1991 Windows Microsoft EULA 20/11/1985
5. Overview Instalação: conda install pandas pip install pandas Importação: import pandas as pd DataFrame: data = [['João',32],['Marcos',25],['Luiz',34]] df = pd.DataFrame(data,columns=['Nome','Idade']) GitHub: daltroedu > https://github.com/daltroedu/pythonday/tree/master/2019
6. Case #1: Gastos com Publicidade do DF 2018 > Entrada: Fonte: http://dados.gov.br/dataset/gastos-com-publicidade
7. Case #1: Gastos com Publicidade do DF 2018 > Saída:
8. Case #2: PROUNI - Bolsas Concedidas 2018 > Entrada: Fonte: http://dados.gov.br/dataset/mec-prouni
9. Case #2: PROUNI - Bolsas Concedidas 2018 > Saída 1:
10. Case #2: PROUNI - Bolsas Concedidas 2018 > Saída 1:
11. Case #3: ANAC - Voos para SSA 2018 > Entrada: Fonte: http://www.anac.gov.br/assuntos/dados-e-estatisticas/historico-de-voos
12. Case #3: ANAC - Voos para SSA 2018 > Saída: