Redes Neurais Artificiais Clássicas - Juliana Guamá

Quando os modelos clássicos de RNA são apresentados, pouco se fala sobre o processo de escolha dos parâmetros, sendo atribuídos ao "feeling" do cientista. Nesta apresentação, busco falar sobre as redes neurais, com enfoque na vantagem de cada uma sobre a outra de forma a auxiliar o processo decisivo e finalizo tratando de como selecionar os melhores parâmetros da rede.

Transcript

1. Como selecionar os melhores parâmetros Redes Neurais Artificiais Clássicas
2. Quem sou eu Mestranda na área de Inteligência Computacional na Engenharia Elétrica - UFMG. Git: https://github.com/JulianaGuama Linkedin: https://br.linkedin.com/in/juliana-guama
3. Ao iniciar um projeto de data science você... Seleciona os parâmetros por feeling Planeja o experimento Ciência de dados é CIÊNCIA!!!
4. Define problema a tratar Analisa Resultados Coleta dados Testa Hipótese Formaliza Hipótese Science, YEH!
5. Por que escolher as rede clássicas?
6. Redes class. Modelagem deve ser biológica Poucas Características Pouca à nenhuma extração de caract.
7. Forma Geral das RNAs
8. Algumas RNAs tipo FeedFoward Uma camada: • Perceptron • Adaline Multiplas Camadas: • Multi Layer Perceptron (MLP) • Extreme Learning Machine (ELM) • Redes de Base Radial (RBF) • Classificador Bayesiano • Rede Neural Probabilística (PNN) Entrada Camada Intermediária Camada Saída
10. Condições de Parada (100,) ,
12. FeedFoward -Teorema da Aproximação Universal [Geoge Cybenko 1989] Tendo quantidade suficiente de neurônios, uma rede tipo ”feedfoward” com apenas 1 camada escondida tem capacidade de aproximar qualquer função contínua.
13. FeedFoward Alpha:penalização tipo L2 0.0001 (100,) ,
14. FeedFoward -”Vanish Gradient” tanh (x) relu (x) tanh’ (x) relu’ (x)
15. FeedFoward (100,) ,
17. Estimação Erro Diferença Linear ŷ - y MSE (ŷ - y)² RMSE √(ŷ - y)² ŷ -> saída estimada y -> saída real
18. Escolhendo a equação certa de erro estimado real linear mse rmse ŷ y ŷ - y (ŷ - y)² √(ŷ - y)² -1 1 -2 4 2 0 1 -1 1 1 1 0 1 1 1
20. Superfície de Erro e algoritmos de otimização Min Global Min Local
21. Algoritmo de otimização / aprendizado Solvers e seus parâmetros de configuração: lbfgs -> -- sgd -> batch_size, learning_rate, learning_rate_init, power_t, max_iter, shuffle, momentum, nesterovs_momentum, early_stopping, n_iter_no_change adam -> batch_size, learning_rate_init, max_iter, shuffle, momentum, early_stopping, beta_1, beta_2, epsilon, n_iter_no_change (100,) ,
22. Exemplos CONCLUSÕES: • Ambos melhores com tanh e sgd ➔ De fato, ambos não são tão complexos • MLP para dataset wine não está adequado!
24. Links úteis: Palestra: Git: https://github.com/JulianaGuama/palestra_parametros_rna.git Colab: https://colab.research.google.com/drive/1N0CdTD9bYtbHtZbCTW-0mT9luQqIFK5 C Pessoais: Git: https://github.com/JulianaGuama Linkedin: https://br.linkedin.com/in/juliana-guama
25. Créditos: Neural Networks supervisionadas: https://scikit-learn.org/stable/modules/neural_networks_supervised.html Documentação do MLP scikit-learning: https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLP Classifier.html Crédito imagens: https://pixabay.com