Premiers pas en Deep Learning, avec Keras - Light

Premiers pas en Deep Learning, avec Keras - version courte
Technozaure Lille - Février 2017

Transcript

1. Premiers pas en DEEP LEARNING Avec Keras Manuel Verriez - Technozaure Lille - Février 2017
3. Alfred Homme Cheveux longs Yeux bleux Moustachu http://fallontonight.tumblr.com/
4. Bernard Homme Chapeau Cheveux brun http://fallontonight.tumblr.com/
5. Comment classifier avec Keras?
6. Classifions du vin avec Keras Alcool Acide malique Alcalinité des cendres Magnesium Phénols … OD280/OD315 Proline https://archive.ics.uci.edu/ml/datasets/Wine
7. Classifions du vin avec Keras Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte OD280/OD315 Proline Producteur Input Output https://archive.ics.uci.edu/ml/datasets/Wine
8. Classifions du vin avec Keras https://archive.ics.uci.edu/ml/datasets/Wine Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte Producteur Input Output ? Bouteille #1
9. Classifions du vin avec Keras https://archive.ics.uci.edu/ml/datasets/Wine Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte Producteur Input Output 14.23 1.71 2.43 15.6 Producteur numéro 3 ! ? 40 15 1 10 14.6 18 21 Bouteille #1
10. Classifions du vin avec Keras https://archive.ics.uci.edu/ml/datasets/Wine Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte Producteur Input Output 6 2 5 1,23 Producteur numéro 2 ! ? 14 7 9 1,2 14.6 18 21 Bouteille #2
11. Réseau de neurones (Multi Layer Perceptron) En 60 secondes ... Input layer Output layer Hidden layers
12. Réseau de neurones (MLP) ... 30 secondes ... a b c
13. Réseau de neurones (MLP) ... 20 secondes ... -2 7 1 3 a b c -2*a +7*b + c + 3
14. Réseau de neurones (MLP) ... 15 secondes ... -2 7 1 3 a b c -2*a +7*b + c + 3 Poids Biais
15. Réseau de neurones (MLP) ... 10 secondes ... -1 6 4 2 a b c -1*a +6*b + 4*c + 2 Poids Biais
16. Réseau de neurones (MLP) ... 5 secondes ... -1 4 5 2 a b c -1*a +4*b + 5*c + 2 Poids Biais Coût = Sortie générée - Réalité
17. Classifions du vin avec Keras MLP avec Keras. 1 “Input Layer” avec 13 noeuds en entrée + 1 (biais) 1 “Hidden Layer” avec 16 neurones 1 “Output Layer” avec 3 noeuds de sortie
18. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20)
19. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Model : Sequential ou Functional
20. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Layer : Dense, Activation, Dropout, Flatten, Reshape, Permute, Merge, convolutional, recurrent, etc.
21. Introduction à Keras model = Sequential() model.add(Dense(32, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Activation : softmax,softplus, softsign, relu, tanh, sigmoid, hard_sigmoid, linear
22. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Initialisation des poids : uniform, lecun, normal, zero, one, etc.
23. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Objectives : categorical_crossent ropy, mse, binary_crossentropy, custom function, etc..
24. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Optimizer : adam, SGD, RMSProp, Adagrad, etc.
25. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Metrics : accuracy, mse, categorical_accurac y, etc.
26. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) On entraîne le modèle avec X en entrée, y en sortie visée.
27. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Donne le nombre itérations
28. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Teste le modèle sur 20% des données
29. Démo #1 http://localhost:8890/notebooks/Vine.i pynb
30. Catégorisons des images https://upload.wikimedia.org/wikipedia/commons/7/72/Lille_theatre_du_nord.jpg
31. Convolution 7x7 images
32. Convolution (Petit) Réseau de neurones Input tile Output (Présence d'une horloge) Répété pour chaque image (7x7) 1 0
33. Convolution x49
34. Downsampling (Max Pooling) Max pooled Array
35. Prédiction x49 Max pooling Convolution Neural Network Prédiction Image
36. Deep Convolutional Network http://www.stat.ucla.edu/~xianjie.chen/projects/pose_estimation/pose_estimation.html Prédiction parmis 1000 catégories
38. Classifions les images avec Keras Utilisation d'un réseau existant
39. Classifions les images avec Keras Keras fournit des modèles pré-entrainés sur des catégories ImageNet: • VGG16 • VGG19 • Xception • Resnet50 • InceptionV3
40. Démo #2 http://localhost:8890/notebooks/ResNet50.ipynb
41. Classifions les images avec Keras Utilisation d'un réseau existant et ajout de nos catégories
42. Moustache - Pas moustache
43. Fine Tuning VGG16 https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html
44. Démo #3 http://localhost:8890/notebooks/Guess-who/Classifier.ipynb
45. Hide screen when your boss is approaching... http://ahogrammer.com/2016/11/15/deep-learning-enables-you-to-hide-screen-when-your- boss-is-approaching/
46. Les Réseaux de neurones récurrents (RNN)
47. RNN http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1- introduction-to-rnns/
48. Que peut-on faire avec un RNN? • Génération de texte • Traduction automatisée • Reconnaissance vocale • Auto-tag d’images • Combiné avec CNN • Analyse sémantique • ...
49. RNN avec Keras Compréhension de texte: Facebook bAbI dataset (https://research.fb.com/projects/babi/) John travelled to the hallway. Mary journeyed to the bathroom. Daniel went back to the bathroom. John moved to the bedroom. Where is Mary? → bathroom Sandra travelled to the kitchen. Sandra travelled to the hallway. Mary went to the bathroom. Sandra moved to the garden. Where is Sandra? →garden Daniel went to the bathroom. John went to the garden. John went back to the bedroom. Mary journeyed to the office. Where is John? → bedroom Startup.ML Deep Learning Conference: François Chollet on Keras https://www.youtube.com/watch?v=YimQOpSRULY
50. RNN avec Keras Compréhension de texte: MemNN network Startup.ML Deep Learning Conference: François Chollet on Keras https://www.youtube.com/watch?v=YimQOpSRULY
51. Démo #4
52. Reinforcement learning
53. Principe
54. Reinforcement Learning avec Keras https://github.com/yanpanlau/DDPG-Keras-Torcs
55. Pour aller plus loin • Import / export des modèles (avec ou sans poids) au format HDF5 • Import des modèles Keras vers Deeplearning4j • Distribution • GPU / Instances avec Tensorflow • Spark ( https://github.com/maxpumperla/elephas )
56. Pour conclure Keras: https://keras.io Créé par François Chollet Août 2016 - https://twitter.com/fchollet/status/765212287531495424
57. Références Liens et références: https://keras.io https://archive.ics.uci.edu/ml/datasets/Wine http://ahogrammer.com/2016/11/15/deep-learning-enables-you-to-hide-screen-when-your-boss-is-approaching/ http://www.image-net.org/ https://yanpanlau.github.io/2016/10/11/Torcs-Keras.html http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks- f40359318721#.qpo3wxhaq https://www.youtube.com/watch?v=YimQOpSRU https://transcranial.github.io/keras-js Crédits icônes: http://www.flaticon.com/packs/essential-collection http://www.flaticon.com/packs/celebrations