Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introdução a Deep Learning

Introdução a Deep Learning

Esta apresentação visa mostrar uma visão geral sobre Deep Learning, focada em conceitos de computação, em detrimento de conceitos estatísticos mais aprofundados. São também apresentados exemplos de aplicações práticas do conceito discutido presentes no mercado.

Apresentação por Vinicius Terra, BehaveData meetup, 24/06/2015

BehaveData

June 24, 2015
Tweet

Other Decks in Programming

Transcript

  1. Datastorm confidential and proprietary. Do not distribute. Definições • Aprendizado

    supervisionado (tradicional) o Atributos fixos, predefinidos o Horas em engenharia de atributos / seleção de atributos / redução de dimensionalidade etc. Dados extração de atributos manual Classificador treinável
  2. Datastorm confidential and proprietary. Do not distribute. Definições • Representation/Feature

    learning o Tenta aprender automaticamente os melhores atributos ou representações Dados extração de atributos treinável Classificador treinável
  3. Datastorm confidential and proprietary. Do not distribute. Definições • Deep

    Learning o Deep: mais de um estágio de transformação não-linear de atributos Dados Atributos de nível mais baixo Classificador treinável Atributos de nível mais alto ... Representações aprendidas internamente
  4. Datastorm confidential and proprietary. Do not distribute. • Engenharia de

    atributos manual é um processo demorado • Muitas vezes overspecified e incompletos • Trabalho feito novamente para cada contexto Deep Learning (Motivação)
  5. Datastorm confidential and proprietary. Do not distribute. Deep Learning (Motivação)

    • Desenvolvemos (humanos) representações para aprendizado e raciocínio • Porque computadores não podem fazer o mesmo? • Podem (Deep Learning)
  6. Datastorm confidential and proprietary. Do not distribute. Deep Learning (Arquitetura)

    ... .. . ... ... ... ... ... Camada de entrada (input layer) Dados brutos Camadas ocultas (hidden layers) Hierarquia: aprende representações mais abstratas a cada camada superior Saída (output layer) Representação final aprendida
  7. Datastorm confidential and proprietary. Do not distribute. Deep Learning (Exemplo)

    Computador reconhece pixels por tonalidade Aprende a identificar arestas e formas mais simples Aprende a identificar partes de objetos Aprende a compor uma face com partes de objetos
  8. Datastorm confidential and proprietary. Do not distribute. Deep Learning =

    Redes Neurais? Sim [4,5] • caracterizada como um chavão (buzzword) • Rebranding de Redes Neurais
  9. Datastorm confidential and proprietary. Do not distribute. Deep Learning =

    Redes Neurais? Não [6,7] • Redes neurais "normais" têm geralmente 1-2 camadas ocultas • Usadas para a predição/classificação supervisionada • Deep Learning possui mais camadas internas • Treinável de maneira supervisionada e não supervisionada (mais comum) para ambos tipos de aprendizado
  10. Datastorm confidential and proprietary. Do not distribute. Deep Learning =

    Redes Neurais? • Redes Neurais: o utilização somente supervisionada o poucas camadas o = uso comum ≠ definição conceitual • Redes Neurais = conceito geral • Deep Learning = caso específico, sub- área
  11. Datastorm confidential and proprietary. Do not distribute. Deep Learning (Características)

    • Caro computacionalmente(Arquitetura) • Distribuída: dados observados gerados por interações de diferentes fatores, em múltiplos níveis hierárquicos • Pode ser eficiente: poucas unidades computacionais para mesma função/transformação/aprendizado
  12. Datastorm confidential and proprietary. Do not distribute. Deep Learning (Características)

    • Conceito antigo, mas esquecido • Renasceu recentemente • Aumento de poder computacional • Clusters • Computação em nuvem
  13. Datastorm confidential and proprietary. Do not distribute. Referências 1. Y.

    LeCun, MA Ranzato, “Deep Learning Tutorial”, ICML 2013 2. R. Socher, C. Manning, “Deep Learning for NLP (without Magic)”, NAACL HLT 2013 3. R.Pieters, “Deep Learning for NLP: An Introduction to Neural Word Embeddings”, 2014 4. R. Collobert, "Deep Learning for Efficient Discriminative Parsing". videolectures.net. Ca. 2011 5. L. Gomes, "Machine-Learning Maestro Michael Jordan on the Delusions of Big Data and Other Huge Engineering Efforts", EEE Spectrum 2014 6. G. E. Hinton, R. R. Salakhutdinov, “Reducing the Dimensionality of Data with Neural Networks”, Science Mag. 2006 7. D. Erhan et al., “Why Does Unsupervised Pre-training Help Deep Learning?”, JMLR 2010 8. IBM Watson Explorer Client Face Overview (Version 10) 9. K. Murphy, “Semantic Image Segmentation Using Deep Learning & Graphical Models”, Rework Deep Learning Summit 2015