Big Data

Apresentação para os membros do projeto Data Impact.

Transcript

1. segunda-feira, 23 de setembro de 2019 PROJETO DE PESQUISA E EXTENSÃO 2019.2 BIG DATA
2. 2 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Introdução
3. 3 Data Impact – Extração e Análise de dados Prof. Glauber Galvão A Internet em 60 segundos
4. 4 Data Impact – Extração e Análise de dados Prof. Glauber Galvão A Internet das Coisas (IoT)
5. 5 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Os 4 Vs do Big Data Volume Tamanho dos dados Variedade Formato dos dados Veracidade Fiabilidade dos dados Velocidade Geração dos dados
6. 6 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Os Vs do Big Data
7. 7 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Tamanho do Big Data
8. 8 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Big Data É o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados, e sim o que as empresas fazem com os dados que realmente importam. (SAS)
9. 9 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Data & AI Landscape 2019
10. 10 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Big Data Isso é o que analisamos atualmente
11. 11 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Hadoop É uma coleção de subprojetos relacionados para computação distribuída, sendo todos eles hospedados pela Apache Software Foundation.
12. 12 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Hadoop • Sistema em processamento de dados distribuído. • Para processar grandes volumes de dados em batch. • Dois elementos principais: Map Reduce e HDFS. o Map Reduce: Processamento o HDFS (Hadoop Distributed File System): Sistemas de arquivos distribuídos
13. 13 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Hive • Criado pelo Facebook • Baseado na arquitetura Map Reduce / HDFS • Porém estruturados de forma semelhante a um banco de dados relacional. • Utiliza linguagem de programação SQL: popular e fácil.
14. 14 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Hive • Armazém de dados distribuído sobre o Map Reduce / HDFS. • Características de banco de dados relacionais: banco de dados / tabelas / views / funções / SQL • Não implementa funções não analíticas (ex: PK, FK) • Open Source • Mantido pela Fundação Apache • Analítica, não transacional
15. 15 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Apache Impala • Alternativa da Cloudera para “SQL em Hadoop” • Objetivo é ser mais rápido que o Hive padrão (com engine MR) • Impala não é baseado em MapReduce • Tem menor latência e melhor desempenho em consultas médias • SQL Baseado no Hive
16. 16 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Apache Spark • Engine rápido e de uso geral para processamento de dados em larga escala. • É mais veloz que o Hadoop MapReduce, significativamente (100x mais rápido). • Utiliza o Hadoop HDFS como base, mas pode ser usado com Cassandra, Hbase e MongoDB. • Suporta linguagens como Python, R, Scala e Java.
17. 17 Data Impact – Extração e Análise de dados Prof. Glauber Galvão Referências Apache Hadoop https://hadoop.apache.org Apache Spark https://spark.apache.org/ What is Apache Spark? https://databricks.com/spark/about Apache Spark e Data Science http://www.cienciaedados.com/apache-spark-e-data-science/ Apache Spark for Microsoft Azure HDInsight https://azure.microsoft.com/en-ca/services/hdinsight/apache-spark/