Big Data

Slides da apresentação sobre big data para disciplina de Modelagem de Processos do curso de Tecnologia em Gestão da TI da Fatec Guaratinguetá.

Transcript

1. a internet das coisas McKinsey Quarterly 2010 Number 2. “The Internet of Things”. http://www.mckinseyquarterly.com
2. um mar de dados 1010 0101 1010 0101 1010 0101 1010 0101 1010 0101 101 010 101 010 101 010 101 010 101 010 010101 0101010 1010101 0101010 1010101 0101010 1010101 0101010 1010101 0101010 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010
3. 010101010101010101010101 01010101010101010101010101 0101010101010101010101010101 1010 0101 1010 0101010101010101010101010101010 0101 1010 0101 101 010 101 010101010101010101010101010101010 010 101 010 010101 0101010 1010101 01010101010101010101010101010101010 0101010 1010101 0101010 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 bases de dados
4. 010101010101010101010101 01010101010101010101010101 0101010101010101010101010101 1010 0101 1010 0101010101010101010101010101010 0101 1010 0101 101 010 101 010101010101010101010101010101010 010 101 010 010101 0101010 1010101 01010101010101010101010101010101010 0101010 1010101 0101010 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010
5. BIG data McKinsey Global Institute. “Big data: The next frontier for innovation, competition, and productivity” (May 2011). http://www.mckinsey.com/mgi
6. volume velocidade variedade IBM Data Management Magazine 2011 Issue 2. “Taming big data” (May 2011). http://www.ibm.com/developerworks/data/library/dmmag
7. 190.000 analistas 1.500.000 gerentes McKinsey Global Institute. “Big data: The next frontier for innovation, competition, and productivity” (May 2011). http://www.mckinsey.com/mgi
9. aprenda a usar novas ferramentas analíticas IBM Data Management Magazine 2011 Issue 2. “Taming big data” (May 2011). http://www.ibm.com/developerworks/data/library/dmmag
10. import org.apache.hadoop.fs.Path; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; public class WordCount extends Configured implements Tool { public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { static enum Counters { INPUT_WORDS } private final static IntWritable one = new IntWritable(1); private Text word = new Text(); private boolean caseSensitive = true; private Set<String> patternsToSkip = new HashSet<String>(); private long numRecords = 0; private String inputFile; public void configure(JobConf job) { caseSensitive = job.getBoolean("wordcount.case.sensitive", true); inputFile = job.get("map.input.file"); if (job.getBoolean("wordcount.skip.patterns", false)) { Path[] patternsFiles = new Path[0]; try { patternsFiles = DistributedCache.getLocalCacheFiles(job); } catch (IOException ioe) { System.err.println("Caught exception while getting cached files: " + BufferedReader fis = new BufferedReader(new FileReader(patternsFile.toString())); String pattern = null; while ((pattern = fis.readLine()) != null) { patternsToSkip.add(pattern); } } catch (IOException ioe) { System.err.println("Caught exception while parsing the cached file '" + patternsFile + "' : " + StringUtils.stringifyException(ioe)); } } public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = (caseSensitive) ? value.toString() : value.toString().toLowerCase(); for (String pattern : patternsToSkip) { line = line.replaceAll(pattern, ""); } StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); output.collect(word, one); reporter.incrCounter(Counters.INPUT_WORDS, 1); } if ((++numRecords % 100) == 0) { reporter.setStatus("Finished processing " + numRecords + " records " + "from the input file: " + inputFile); } } } public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable(sum)); } } public int run(String[] args) throws Exception { JobConf conf = new JobConf(getConf(), WordCount.class); conf.setJobName("wordcount"); conf.setOutputKeyClass(Text.class); conf.setOutputValueClass(IntWritable.class); conf.setMapperClass(Map.class); conf.setCombinerClass(Reduce.class); conf.setReducerClass(Reduce.class); conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); List<String> other_args = new ArrayList<String>(); for (int i = 0; i < args.length; ++i) { if ("-skip".equals(args[i])) { DistributedCache.addCacheFile(new Path(args[++i]).toUri(), conf); conf.setBoolean("wordcount.skip.patterns", true); } else { other_args.add(args[i]); } } FileInputFormat.setInputPaths(conf, new Path(other_args.get(0))); FileOutputFormat.setOutputPath(conf, new Path(other_args.get(1))); JobClient.runJob(conf); return 0; } public static void main(String[] args) throws desenvolva fluência em Java IBM Data Management Magazine 2011 Issue 2. “Taming big data” (May 2011). http://www.ibm.com/developerworks/data/library/dmmag
11. aprenda fundamentos de marketing & negócios IBM Data Management Magazine 2011 Issue 2. “Taming big data” (May 2011). http://www.ibm.com/developerworks/data/library/dmmag Bloomberg. Documentário “Bloomberg Game Changers – Larry Ellison”. http://www.bloomberg.com | Foto: WhiteHouse.gov
12. desenvolva um entendimento básico de ∑∫tαtí∫ticα Randall Munroe. “My Hobby: Extrapolating”. http://xkcd.com/605/ IBM Data Management Magazine 2011 Issue 2. “Taming big data” (May 2011). http://www.ibm.com/developerworks/data/library/dmmag
13. mashups aprenda a combinar dados de fontes diferentes (especialmente as públicas)
15. 010101010101010101010101 01010101010101010101010101 0101010101010101010101010101 1010 0101 1010 0101010101010101010101010101010 0101 1010 0101 101 010 101 010101010101010101010101010101010 010 101 010 010101 0101010 1010101 01010101010101010101010101010101010 0101010 1010101 0101010 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010 0101010101010101010101010101010101010101010101010101010101010101010101010101010101010101 1010101010101010101010101010101010101010101010101010101010101010101010101010101010101010
16. 010101010101010101010101 01010101010101010101010101 0101010101010101010101010101 101010101010101010101010101010 10101010101010101010101010101010 1010101010101010101010101010101010 0101010101010101010101010101010101 1010101010101010101010101010101010 10101010101010101010101010101010 101010101010101010101010101010 1010101010101010101010101010 10101010101010101010101010 101010101010101010101010 1010101010101010101010 10101010101010101010 101010101010101010 1010101010101010 10101010101010 101010101010 1010101010 10101010 101010 1010 10
17. “você não consegue gerenciar aquilo que você não consegue medir.”
19. Abstruse Goose. “World View”. http://abstrusegoose.com/275
20. Will Rosa @wrosawill wrosa.will@gmail.com Faculdade de Tecnologia de Guaratinguetá Curso de Tecnologia em Gestão da TI Maio de 2011