Image recognition of handwritten digits in MNIST and flower classification in IRIS dataset

Code available here https://github.com/sdimi/handwritten-digits-recognition

Transcript

1. Αναγνώριση χειρόγραφων χαρακτήρων στο MNIST dataset & φυτών στο IRIS dataset με μεθόδους μηχανικής μάθησης Δημήτρης Σπαθής Εξαμηνιαία εργασία – Ιαν 2016 Υπολογιστική Νοημοσύνη – Στατιστική Μάθηση Καθ.: Αναστάσιος Τέφας
2. MNIST dataset 70.000 εικόνες 28 x 28 pixel 784 διαστάσεις 60.000 train 10.000 test {0,1,2,..9} multi-class
3. Εργαλεία Python python.org Scikit – learn scikit-learn.org Matplotlib matplotlib.org Numpy numpy.org
4. Προεπεξεργασία δεδομένων Ανακάτεμα δειγμάτων X, y = shuffle(mnist.data, mnist.target) Κανονικοποίηση pixels [0,1] X_train, y_train = np.float32(X[:60000])/ 255., np.float32(y[:60000])
5. Κρατάμε 90 components 90,3% της αρχικής πληροφορίας PCA – Μείωση Διάστασης (784 → 90)
6. Εκπαίδευση SVM fitting classifier = svm.SVC(gamma=0.01, C=3, kernel='rbf') 5 Cross validation cross_validation.cross_val_score(classifier, X_train, y_train, cv=5)
7. Αποτελέσματα εκπαίδευσης
8. Παραδείγματα ταξινόμησης
9. Μείωση Διάστασης Kernel PCA (784 → 300) kpca = KernelPCA(kernel="rbf",n_components=300 , gamma=1) LDA (300 → 9) lda = LDA() #should keep [classes – 1] components
10. Nearest Classifier K Nearest Neighbor clf = neighbors.KNeighborsClassifier(n_neighbors=5) Nearest Centroid classifier = NearestCentroid(metric='euclidean', shrink_threshold=None)
11. Αποτελέσματα εκπαίδευσης
12. Embedding για Μείωση Διάστασης (784 → 2) Spectral Embedding manifold.SpectralEmbedding (n_components=2, affinity='nearest_neighbors', gamma=None, random_state=None, eigen_solver=None, n_neighbors=5) Isomap Embedding manifold.Isomap(n_neighbors=5, n_components=2)
13. Spectral Clustering Kρατάμε 5000 δείγματα για οπτικοποίηση Spectral Clustering cluster.SpectralClustering(n_clusters=10, eigen_solver='arpack', affinity="nearest_neighbors")
16. Αποτελέσματα clustering
17. IRIS dataset 150 λουλούδια 4 διαστάσεις sepal length sepal width petal length petal width 3 κλάσεις Iris Setosa Iris Versicolour Iris Virginica
18. Αποτελέσματα SVM εκπαίδευσης
19. SVM fine-tuning C
20. SVM fine-tuning Degree
21. SVM fine-tuning Gamma
22. Μείωση Διάστασης
24. Αποτελέσματα clustering & embedding
27. Further work Kernel PCA – Memory Errors Incremental PCA Grid Search Deep Architectures Distributed / Parallel MapReduce / Spark Κώδικας σύντομα στο github.com/sdimi