Construindo Data Lake no Google Cloud

Data Lake é um conceito, não uma ferramenta!

Transcript

1. CLOUD SUMMIT CERRADO Fernando Sedrez Senior Data Engineer at Globo Organizer at GDG Pelotas @fmsedrez Construindo Data Lake no Google Cloud
2. Nosso foco hoje, dados e GCP
3. Data Lake é um conceito, não uma ferramenta! • Repositório que armazena dados em qualquer escala; • Dados brutos, em formato nativo, em uma visão não refinada dos dados; • Dados refinados, agrupados (parquet, avro) e processados. • Dados estruturados, semi-estruturados (JSON, CSV), não-estruturados (vídeos, áudio)
4. Que opções temos para armazenar dados no GCP? GCS BQ
5. Cloud Storage
6. BigQuery Storage
7. Ingestão de Dados
8. Processamento de Dados
9. Análise
10. Análise avançada - Uso
11. Pipeline completo
12. Boas práticas • Evite muitos dados pequenos, tente usar dados em formatos serializados (parquet, avro); • ELT em vez de ETL; • Consultas federadas entre GCS e BQ para carregar e transformar os dados em um único passo; • Use particionamento e clusterização; • Crie passos intermediários (raw, stage) antes de entregar os dados;
13. Recursos https://cloud.google.com/products/calculator
14. Obrigado! email hello@fmsedrez.dev social @fmsedrez linkedin https://www.linkedin.com/in/fmsedrez/ slides https://speakerdeck.com/fmsedrez/