Premiers pas en deep learning, avec Keras

Présentation réalisée le 09/02/2017 lors de snowcamp.io , Grenoble.

https://snowcamp2017.sched.com/event/90YI/premiers-pas-en-deep-learning-avec-keras

Transcript

1. Premiers pas en DEEP LEARNING Avec Keras Manuel Verriez - Snowcamp 2017
3. Qui-est-ce?
4. Alfred Homme Cheveux longs Yeux bleux Moustachu http://fallontonight.tumblr.com/
5. Bernard Homme Chapeau Cheveux brun http://fallontonight.tumblr.com/
6. Comment classifier avec Keras?
7. Classifions du vin avec Keras Alcool Acide malique Alcalinité des cendres Magnesium Phénols … OD280/OD315 Proline https://archive.ics.uci.edu/ml/datasets/Wine
8. Classifions du vin avec Keras Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte OD280/OD315 Proline Producteur Input Output https://archive.ics.uci.edu/ml/datasets/Wine
9. Classifions du vin avec Keras https://archive.ics.uci.edu/ml/datasets/Wine Alcool Acide malique Cendres Alcalinité des cendres Magnesium Phénols Flavanoïdes Non-Flavanoïdes Proanthocyanidins Intensité de la couleur Teinte OD280/OD315 Proline Producteur Input Output 14.23 1.71 2.43 15.6 Producteur numéro 3 ! ? 40 15 1 10 14.6 18 21
10. Réseau de neurones (Multi Layer Perceptron) Input layer Output layer Hidden layers
11. Réseau de neurones (MLP) -2 7 1 3 a b c -2*a +7*b + c + 3
12. Réseau de neurones (MLP) Entrée Sortie (Générée) Coût = Sortie générée - Sortie réelle
13. Classifions du vin avec Keras • MLP avec Keras. • 1 “Input Layer” avec 13 noeuds en entrée + 1 (biais) • 1 “Hidden Layer” avec 16 neurones • 1 “Output Layer” avec 3 noeuds de sortie
14. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20)
15. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Model : Sequential ou Functional
16. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Layer : Dense, Activation, Dropout, Flatten, Reshape, Permute, Merge, convolutional, recurrent, etc.
17. Introduction à Keras model = Sequential() model.add(Dense(32, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Activation : softmax,softplus, softsign, relu, tanh, sigmoid, hard_sigmoid, linear
18. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Initialisation des poids : uniform, lecun, normal, zero, one, etc.
19. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Objectives : categorical_crossentrop y, mse, binary_crossentropy, custom function, etc..
20. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Optimizer : adam, SGD, RMSProp, Adagrad, etc.
21. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation('sigmoid')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Metrics : accuracy, mse, categorical_accuracy, etc.
22. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) On entraîne le modèle avec X en entrée, y en sortie visée.
23. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Donne le nombre itérations
24. Introduction à Keras model = Sequential() model.add(Dense(16, input_dim = 13, init='uniform', bias=True)) model.add(Activation('relu')) model.add(Dense(3, init='uniform')) model.add(Activation(‘softmax’)) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X, y, nb_epoch=200, validation_split=.20) Teste le modèle sur 20% des données
25. Démo #1 http://localhost:8889/notebooks/Vine.ipynb
26. MNIST, Le “Hello World” =[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,2,3,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,30,50,1,1,1, 1,12,21,2,1,1,1,1,1,1,1,1,1,1,1,116,140,1,1,1,1,45,121,8,1,1,1,1,1,1,1,1,1,1,15,186,117,1,1,1,1,43,195,20,1,1,1,1,1,1,1,1,1,6,106,195,42,1,1, 1,1,60,229,27,1,1,1,1,1,1,1,1,1,49,216,97,1,1,1,1,2,121,236,23,1,1,1,1,1,1,1,1,8,144,203,21,1,1,1,1,38,208,165,10,1,1,1,1,1,1,1,1,22,217,11 6,3,1,1,1,1,108,243,70,1,1,1,1,1,1,1,1,1,26,224,78,1,1,1,1,1,179,218,33,1,1,1,1,1,1,1,1,1,16,186,174,80,74,75,99,120,233,195,22,1,1,1,1,1, 1,1,1,1,4,78,169,170,169,167,145,190,253,166,5,1,1,1,1,1,1,1,1,1,1,6,36,64,65,64,33,105,244,164,3,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,74,240,1 61,2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,74,242,159,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,122,230,95,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,96,86,12,1,1,1,1, 1,1,1,1,1,1,1,1,1,1,1,1,1,6,5,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1] =
27. MLP pour la reconnaissance de chiffres C’est un 4 ! Tout sauf un 4 !
28. MLP pour la reconnaissance de chiffres C’est un 4 ! Tout sauf un 4 ! So 1980’s!
29. MLP (seul) et images, c’est non. Prédiction de notre modèle C’est un 4!! ?? un 4 ?
30. Convolution https://fr.wikipedia.org/wiki/Fichier:Chateau_d'eau,_place_Grenette_-_Grenoble.JPG
31. Convolution 7x7 images
32. Convolution (Petit) Réseau de neurones Input tile Output Répété pour chaque image (7x7)
33. Convolution x49
34. Downsampling (Max Pooling) Max pooled Array
35. Prédiction x49 Max pooling Convolution Neural Network Prédiction Image
36. Deep Convolutional Network http://www.stat.ucla.edu/~xianjie.chen/projects/pose_estimation/pose_estimation.html Prédiction parmis 1000 catégories
38. Classifions les images avec Keras Option #1 : “from scratch”
40. Classifions les images avec Keras Option #2 : Utiliser un réseau existant
41. Classifions les images avec Keras Keras fournit des modèles pré-entrainés sur des catégories ImageNet: • VGG16 • VGG19 • Xception • Resnet50 • InceptionV3
42. Démo #2 http://localhost:8889/notebooks/ResNet50.ipynb
43. Classifions les images avec Keras Option #3 : Utiliser un réseau existant et ajouter nos catégories
44. Moustache - Pas moustache
45. Fine Tuning VGG16
46. Démo #3 http://localhost:8889/notebooks/Guess-who/Classifier.ipynb
47. Keras.js https://transcranial.github.io/keras-js/#/resnet50
48. Hide screen when your boss is approaching... http://ahogrammer.com/2016/11/15/deep-learning-enables-you-to-hide-screen-when-your-boss-is-approac hing/
49. Les Réseaux de neurones récurrents (RNN)
50. RNN http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/
51. Que peut-on faire avec un RNN? • Génération de texte • Traduction automatisée • Reconnaissance vocale • Auto-tag d’images ◦ Combiné avec CNN • Analyse sémantique • ...
52. Que peut-on faire avec un RNN? • Génération de texte • Traduction automatisée • Reconnaissance vocale • Auto-tag d’images ◦ Combiné avec CNN • Analyse sémantique • ... https://twitter.com/_pandy/status/689209034143084547
53. RNN avec Keras (LSTM) Analyse de sentiments (critique de films) “I love this movie” -> positive “That was the worst movie that I’ve seen in my life!” -> negative http://localhost:8889/notebooks/Guess-who/imdb.ipynb https://github.com/fchollet/keras/blob/master/examples/imdb_lstm.py
54. RNN avec Keras (LSTM) Analyse de sentiments (critique de films) Run on GPU: 25000/25000 [==============================] - 121s - loss: 0.5194 - acc: 0.7396 - val_loss: 0.4093 - val_acc: 0.8224 Epoch 2/15 25000/25000 [==============================] - 114s - loss: 0.3720 - acc: 0.8405 - val_loss: 0.3715 - val_acc: 0.8341 Epoch 3/15 25000/25000 [==============================] - 113s - loss: 0.2962 - acc: 0.8778 - val_loss: 0.3964 - val_acc: 0.8306 Epoch 4/15 25000/25000 [==============================] - 112s - loss: 0.2374 - acc: 0.9060 - val_loss: 0.3832 - val_acc: 0.8426 Epoch 5/15 …. Epoch 13/15 25000/25000 [==============================] - 111s - loss: 0.0701 - acc: 0.9748 - val_loss: 0.6757 - val_acc: 0.8186 Epoch 14/15 25000/25000 [==============================] - 111s - loss: 0.0667 - acc: 0.9760 - val_loss: 0.6968 - val_acc: 0.8217 Epoch 15/15 25000/25000 [==============================] - 111s - loss: 0.0631 - acc: 0.9758 - val_loss: 0.6666 - val_acc: 0.8184 25000/25000 [==============================] - 20s Test score: 0.666597747941 Test accuracy: 0.81836
55. RNN avec Keras Compréhension de texte: Facebook bAbI dataset (https://research.fb.com/projects/babi/) John travelled to the hallway. Mary journeyed to the bathroom. Daniel went back to the bathroom. John moved to the bedroom. Where is Mary? → bathroom Sandra travelled to the kitchen. Sandra travelled to the hallway. Mary went to the bathroom. Sandra moved to the garden. Where is Sandra? →garden Daniel went to the bathroom. John went to the garden. John went back to the bedroom. Mary journeyed to the office. Where is John? → bedroom Startup.ML Deep Learning Conference: François Chollet on Keras https://www.youtube.com/watch?v=YimQOpSRULY
56. RNN avec Keras Compréhension de texte: Facebook bAbI dataset (https://research.fb.com/projects/babi/) Startup.ML Deep Learning Conference: François Chollet on Keras https://www.youtube.com/watch?v=YimQOpSRULY
57. RNN avec Keras input_encoder = Sequential() input_encoder.add(Embedding(input_dim=vocab_size, output_dim=64)) input_encoder.add(LSTM(64, return_sequences=False)) # output shape: (samples, 64) question_encoder = Sequential() question_encoder.add(Embedding(input_dim=vocab_size, output_dim=64)) question_encoder.add(LSTM(64, return_sequences=False)) # output shape: (samples, 64) model = Sequential() model.add(Merge([input_encoder, question_encoder], mode='concat',concat_axis=-1)) # output shape: (samples, 64*2) model.add(Dense(vocab_size)) model.add(Activation('softmax')) # output a probability distribution over all words model.compile(optimizer='adam', loss='categorical_crossentropy') print 'Training - reporting test accuracy after every iterations over the training data...' model.fit([inputs_train, queries_train], answers_train, batch_size=32, nb_epoch=50, show_accuracy=True, validation_data=([inputs_test, queries_test], answers_test)) Startup.ML Deep Learning Conference: François Chollet on Keras https://bitbucket.org/fchollet/keras_workshop
58. RNN avec Keras Compréhension de texte: MemNN network Startup.ML Deep Learning Conference: François Chollet on Keras https://www.youtube.com/watch?v=YimQOpSRULY
59. Reinforcement learning
60. Principe
61. Reinforcement Learning avec Keras https://github.com/yanpanlau/DDPG-Keras-Torcs
62. Pour aller plus loin • Import / export des modèles (avec ou sans poids) au format HDF5 • Import des modèles Keras vers Deeplearning4j • Distribution ◦ GPU / Instances avec Tensorflow ◦ Spark ( https://github.com/maxpumperla/elephas )
63. Pour conclure Keras: https://keras.io Créé par François Chollet Août 2016 - https://twitter.com/fchollet/status/765212287531495424
64. Références Liens et référénces: https://keras.io https://archive.ics.uci.edu/ml/datasets/Wine http://ahogrammer.com/2016/11/15/deep-learning-enables-you-to-hide-screen-when-your-boss-is-approaching/ http://www.image-net.org/ https://yanpanlau.github.io/2016/10/11/Torcs-Keras.html http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f4035931872 1#.qpo3wxhaq https://www.youtube.com/watch?v=YimQOpSRU https://transcranial.github.io/keras-js Crédits icônes: http://www.flaticon.com/packs/essential-collection http://www.flaticon.com/packs/celebrations