Deep Learning

SCC-0570 - Introdução a Redes Neurais
ICMC - USP

Transcript

1. SCC-0570 Introdução a Redes Neurais Deep Learning Arthur Fortes da Costa
2. ▸ Redes Neurais (Revisão) ▸ Deep Learning ▸ Conhecendo Big Data ▸ Considerações Finais Seminário
3. 1. Redes Neurais
4. “ Redes Neurais: Exemplo
5. “ Redes Neurais: Neurônios
6. Representação dos dados: Feature 1, Feature 2, Feature 3, …, Feature N = LABEL Redes Neurais: Treinamento Y Camada de entrada Camada escondida Camada de saída Função de Erro e Derivada dE/dY
7. O que uma Rede Neural aprende?
8. Redes Neurais: Exemplo
9. Redes Neurais: Exemplo Fonte: “Intriguing properties of neural networks” http://arxiv.org/pdf/1312.6199v4.pdf
10. Fonte: Deep Dreams Generator 2. Deep Learning
11. O que é deep learning? É uma área de rápido crescimento na pesquisa de aprendizado de máquina, que tem alcançado avanços no reconhecimento de discurso, texto e imagem. ▸ Número elevado de camadas ocultas ▸ Permite que um computador aprenda tarefas, organize informações e encontre padrões sozinho
12. Interpretação de Imagens Fonte: “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification" Microsoft Research http://arxiv.org/pdf/1502.01852v1.pdf
13. Reconhecimento de Objetos em Tempo Real Fonte: “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification" Microsoft Research http://arxiv.org/pdf/1502.01852v1.pdf
14. Outros exemplos ▸ Descrição de Imagens ▸ Aprendizado dinâmico ▸ Intepretação de textos
15. Deep Learning: Histórico
16. Deep Learning: Unsupervised Learning Problema: Dificuldade na propragação do erro para os neurônios próximos a camada de entrada.
17. Deep Learning: Unsupervised Learning Passo a Passo Dados Pré-treinamento** Atualização dos pesos Treina normalmente o algoritmo ** Atualiza os pesos sem focar nos rótulos. Utiliza somente os dados.
18. Deep Learning: Introdução ▸ Métodos Deep Learning (DL) focam em aprender características de nível mais alto pela composição de características de nível mais baixo – Tendo o cérebro humano como inspiração ▸ Aprender características automaticamente em múltiplos níveis de abstração permite ao sistema mapear funções complexas sem depender de características intermediárias inteligíveis aos humanos – Essa habilidade é necessária porque o tamanho dos dados tende a crescer
19. Deep Learning: Introdução ▸ Algoritmos Deep Learning podem ser considerados como processos de aprendizagem que descobrem múltiplos níveis de abstração ▸ As representações mais abstratas podem ser mais úteis em extrair informações para classificadores ou preditores – características intermediárias aprendidas podem ser compartilhadas entre diferentes tarefas
20. Deep Learning: Pré-treinamento
21. Deep Learning: Treinamento Construir um espaço de características ▸ É o que é feito com camadas escondidas em uma MLP, mas em uma arquitetura rasa ▸ Treinamento não supervisionado entre camadas podem decompor o problema em sub-problemas (com níveis mais altos de abstração) a serem decompostos mais uma vez pelas camadas subsequentes
22. Deep Learning: Treinamento - Dificuldades do treinamento supervisionado em redes profundas – As camadas no MLP não aprendem bem ▸ Difusão do gradiente ▸ Treinamento muito lento ▸ Camadas mais baixas tendem a fazer um mapeamento aleatório - Frequentemente há mais dados não rotulados do que dados rotulados - Mínimo local
23. Deep Learning: Greedy Layer-Wise Training 1. Treinar primeira camada uJlizando dados sem rótulos (Já que não há targets nesse nível, rótulos não importam) 2. 2. Fixar os parâmetros da primeira camada e começar a treinar a segunda usando a saída da primeira camada como entrada não supervisionada da segunda camada 3. 3. Repetir 1 e 2 de acordo com o número de camadas desejada (construindo um mapeamento robusto) 4. 4. Usar a saída da camada final como entrada para uma camada/modelo supervisionada e treinar de modo supervisionado (deixando pesos anteriores fixos) 5. 5. Liberar todos os pesos e realizar ajuste fino da rede como um todo uJlizando uma abordagem supervisionada
24. Deep Learning: Greedy Layer-Wise Training Evita muitos dos problemas associados ao treinamento de uma rede profunda de modo totalmente supervisionado ▸ Cada camada toma foco total no processo de aprendizagem ▸ Pode tomar vantagem de dados não rotulados ▸ Quando a rede completa é treinada de modo supervisionado, os pesos já estão minimamente ajustados (evita mínimos locais) As duas abordagens mais comuns desse processo ▸ Stacked Auto-Encoders ▸ Deep Belief Nets
25. Deep Learning: Exemplo
26. Deep Learning: Exemplo
27. Deep Learning: Exemplo Demora aproximadamente 40 minutos para se conseguir essa representação.
28. Deep Learning ▸ Problemas: Custo computacional e overfitting. ▸ A investigação nesta área tenta fazer melhores representações e criar modelos para aprender essas representações a partir de dados não rotulados em larga escala. ▸ Algumas das representações são inspirados pelos avanços na neurociência: - Interpretação do processamento de informações e padrões de comunicação em um sistema nervoso: codificação neural que tenta definir uma relação entre vários estímulos e respostas neuronais associados no cérebro.
29. 3. Conhecendo Big Data
30. Big data Maldição da Dimensionalidade
31. Big data ▸ É um termo amplamente utilizado na atualidade para nomear conjuntos de dados muito grandes ou complexos, que os aplicativos de processamento de dados tradicionais ainda não conseguem lidar. ▸ Este termo muitas vezes se refere ao uso de análise preditiva e de alguns outros métodos avançados para extrair valor de dados, e raramente a um determinado tamanho do conjunto de dados. ▸ Maior precisão nos dados pode levar à tomada de decisões com mais confiança. Além disso, melhores decisões podem significar maior eficiência operacional, redução de risco e redução de custos.
32. Big data ▸ Uma das soluções encontradas para a maldição de dimensionalidade é pré-processamento de dados – Redução da dimensionalidade (às vezes por humanos) – Desafiante e altamente dependente da tarefa ▸ Se pensarmos no cérebro humano, não há indícios de que ele resolve esse problema dessa forma
33. Big data
34. Big data
35. Big data
36. Big data ▸ Treinar as muitas camadas de neurônios virtuais no experimento de Stanford e do Google levou a um computador de 16.000 processadores. ▸ A tecnologia de “Deep Learning” também beneficiou do método de divisão de tarefas de computação entre as muitas máquinas da empresa para que elas pudessem ser feitas muito mais rapidamente. ▸ Esse compartilhamento de processamento acelera muito o “treinamento” de redes neurais de DL, bem como, permite que o Google execute redes maiores e alimentem os dados para elas.
37. 4. Considerações Finais
38. Por onde começar? ▸ Deep Learning in Neural Networks - An Overview, Jurgen Schmidhuber ▸ Deep Learning of RepresentaJons - Looking Forward, Yoshua Bengio ▸ Learning Deep Architectures for AI, Yoshua Bengio Alguns exemplos podem ser encontrados em: ▸ Exemplos http://deeplearning.net/demos/ Considerações Finais
39. Problemas ▸ Apesar de todos os avanços, nem todo mundo pensa que Deep Learning pode mover a Inteligência Artificial (AI) na direção de rivalizar com a inteligência humana. ▸ Alguns críticos da tecnologia dizem que o Deep Learning e a AI em geral ignoram muito da biologia do cérebro humano em favor de uma força-bruta computacional Considerações Finais
40. ▸ “Em um campo que tenta algo tão profundo como a modelagem do cérebro humano, é inevitável que uma técnica não vai resolver todos os desafios. Mas, por agora, a tecnologia de Deep Learning está liderando o caminho da Inteligência Artificial. ▸ Deep Learning é uma metáfora muito poderosa para aprender sobre o mundo.” - Jeff Dean (Google Senior Fellow in the Systems and Infrastructure Group) O que vem a seguir? Considerações Finais
41. ▸O material apresentado consiste de adaptações e extensões da apresentação de Juliano Viana. Créditos Considerações Finais