Introduction au machine learning avec Scitkit-learn

Atelier d'introduction au machine learning au Web à Québec édition 2015

Transcript

1. Introduction au machine learning avec scikit-learn Nicolas Garneau Université Laval - L’Agence
2. Les bases
3. Prédiction à la bourse Applications du ML Analyse de comportement Aide à la décision Classification de textes ...
4. S : {s1, s2, s3, ..., sn} Jeu de données un «exemple»
5. S : {s1, s2, s3, ..., sn} Jeu de données sn : {x, y} une liste de «features» un «label»
6. S : {s1, s2, s3, ..., sn} Jeu de données sn : {x, y} x : {x1, x2, x3, ..., xn} chacun de nos features...
7. Exemple iris dataset 4 features: • Longueur pétale • Largeur pétale • Longueur sépale • Largeur sépale
8. Exemple iris dataset 3 classes: Iris Setosa Iris Versicolor Iris Virginica crédit photo: http://mirlab.org/jang/books/dcpr/dataSetIris.asp?title=2-2%20Iris%20Dataset
9. s1 : {(larg. sépale, long. sépale), type} Exemple iris dataset si on sélectionne 2 features
10. s1 : {(larg. sépale, long. sépale), type} Exemple x1 : {(0: 2, 1: 5), 1} x2 : {(0: 1, 1: 6), 0} ... iris dataset
11. Exemple iris dataset
12. Comment y arriver Différentes façons
13. K Nearest Neighbors (KNN) K plus proches voisins Mesure de similarité
14. K Nearest Neighbors (KNN) Vote de majorité k = 3
15. K Nearest Neighbors (KNN) Vote de majorité ! k = 3
16. K Nearest Neighbors (KNN) Vote de majorité pondéré* !! 15 12 3 k = 3
17. K Nearest Neighbors
18. Notre problème Description du problème de classification qu’on a Classification 200 features 800 exemples 200 inconnus
19. Workflow 1. Pre-model 2. Model 3. Validation
20. 1. Pre-model «Scaling» Réduction de la dimensionnalité «Imputation»
21. 1. Pre-model Scaling Distribution normale Pour les distances...!
22. 2. Model clf = KNeighborsClassifier(n_neighbors=35) clf.fit(X, y) clf.predict(X_mystery)
23. 3. Validation Train/test sets Score «Cross-validation»
24. 3. Validation Score precision: TP / (TP + FP) recall: TP / (TP + FN) f1-score: 2TP / (2TP + FP + FN)
25. Bonus! Bagging