Apprentissage automatique appliqué à l’analyse des traces massives pour la prédiction des styles d’apprentissage dans les environnements MOOC

L'objectif de cette thèse est de proposer une approche automatique, basée sur l’analyse des traces et qui utilise les algorithmes d'apprentissage automatique, pour la prédiction des styles d'apprentissage des apprenants dans une perspective d'aider les enseignants à mobiliser des stratégies d'enseignement appropriées. Les données analysées sont issues du cours edX intitulé « Statistical Learning » dispensé à l'hiver 2015 et à l'hiver 2016 par la plateforme open source Lagunita de Stanford (fondée sur la plateforme Open edX). L’approche proposée est basée sur la théorie du style d'apprentissage, le modèle de style d'apprentissage Felder-Silverman (FSLSM) a été adopté en raison de ses dimensions distinctes et indépendantes, un indice qui peut servir à décrire plus en détail les styles d'apprentissage de chaque apprenant

Transcript

1. Apprentissage automatique appliqué à l’analyse des traces massives pour la prédiction des styles d’apprentissage dans les environnements MOOC Thèse de doctorat en informatique soutenue par Brahim HMEDNA Le 31 octobre 2020 1
2. 1 Introduction 2 Notion de styles d’apprentissage 3 4 5 Notre processus d’identification des styles d’apprentissage Conclusion & perspectives MOOCLS PLAN Approches d’identification des styles d’apprentissage 6
3. Introduction 1
4. 4 Contexte de recherche Science des données Thèse Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
5. Massive Open Online Course Grand nombre de participants Démocratisation Contenu Inscription et accès Organisation Intention pédagogique Temporalité Activités pédagogiques Évaluation Accès en ligne via internet Qu'est ce qu'un MOOC ? 5 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
6. Paysage des MOOC en 2019 110 M Apprenants 11.4 K Cours +900 Universités 6 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion By The Numbers: MOOCs in 2019 https://www.classcentral.com/report/mooc-stats-2019/
7. Diversité des apprenants dans les MOOC 7 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion (Chuang & Ho, 2016; Koller et al., 2013) Motivations Démographiques Styles d’apprentissage Age Genre Revenu Connaissances de base Compétences
8.  Chaque apprenant est unique, spécial et différent  Chaque apprenant dispose d’un style personnel pour traiter et organiser les informations Styles d’apprentissage Lire le manuel d'utilisation Apprendre par l’essai Observer les autres, comment ils le manipulent 8 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion (R. M. Felder, 1996; Carver et al., 1999; Kuri & Truzzi, 2002) (M. HELENA, 2017)
9. Pourquoi prendre en compte les styles d'apprentissage ? Augmenter la Satisfaction Améliorer les performances d'apprentissage Réduire le temps d’apprentissage (Graf ,Chung, Liu, & Kinshuk, 2009) Enseignant Obtenir davantage d’informations sur la façon dont leurs apprenants apprennent (Coffield et al. 2004b) Définir un ensemble d'activités qui correspondent à chaque style d'apprentissage (Pashler et al., 2008; Coffield et al., 2004; Hawk & Shah, 2007) Apprenant Enseignant 9 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
10. MOOC & Styles d’apprentissage : quels constats ? 10  Peu de travaux ont abordé la problématique d’identification des styles d’apprentissage dans le contexte des MOOC  L'enseignant ne peut pas identifier les styles d’apprentissage à travers une interaction en face à face (S. Luján-Mora, & E. Saquete, 2013)  Les MOOC sont majoritairement conçus sans tenir compte des styles d’apprentissage des apprenants (C. Li & Zhou, 2018)  Manque de retours d’usage des MOOC à destination du concepteur pédagogique (Liyanagunawardena et al., 2013; Ross et al., 2014; Watson et al., 2016). Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
11. Problématique & Questions de recherche 11 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 1) Quel modèle de styles d’apprentissage est plus adéquat au contexte des MOOC ? 2) Quelles sont les caractéristiques les plus significatives pour représenter chaque style d’apprentissage? 3) Quelle méthodologie faut-il mettre en place pour prédire les styles d’apprentissage des nouveaux apprenants ? 4) Comment aider les enseignants à élaborer des stratégies d'enseignement plus robustes basées sur les styles d'apprentissage ?
12. 2 Etat d’art Notion de styles d’apprentissage
13. Le style d’apprentissage est la manière dont chaque apprenant commence à se concentrer sur une information nouvelle, la traite et la retient (Dunn & Dunn 1993) 13 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Styles d’apprentissage
14. 14 Modèles de styles d'apprentissage KOLB 2 dimensions 1998 1992 1991 1988 1982 1970 Gregore 2 dimensions Felder-Silverman 4 dimensions Ridding 2 dimensions Honey & Mumford Basé sur le modèle de Kolb Myer-Briggs 4 dimensions 1954 Style d’apprentissage Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion (Coffield et al. 2004)
15. Perception Global / Sequentiel Sensoriel / intuitif Réception Visuel / Verbal Traitement Actif / Réfléchi Compréhension Séquentiel / Global Modèle Felder-Silverman 15 (R. M. Felder & Silverman, 1988)
16. Actif Réfléchi + • Expérimentateur • Travaille en groupe _ + • Théoricien • Travaille mieux seul _ Traitement De quelle façon l’apprenant préfère-t-il traiter l'information ? Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 16
17. Sensoriel Intuitif + •Par les sens •Faits et expérimentations _ + •Intuition •Réflexion •Imagination _ Perception Quel type d’information l’apprenant préfère-t-il percevoir ? Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 17
18. Visuel Verbal + Se souvient mieux des choses qui’il voie _ + Se souvient mieux de ce qui’il lit et entend _ Réception Par quel type de modalité sensorielle l'information externe est-elle le plus efficacement perçue ? Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 18
19. Séquentiel Global + • Pas à pas • Capacité d’analyse _ + • Navigation non linéaire • Capacité de synthèse _ Compréhension Comment l’apprenant progresse-t-il en vue de comprendre ? 19 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
20. Questionnaire : Index of Learning Styles (LSI) • 44 questions ( soit 11 questions pour chaque dimension ) • Chaque question présente deux options de réponse (a ou b), • Chaque option (« a » ou « b ») se réfèrent à un pôle de chaque dimension a b 15 14 16 11 10 12 19 18 20 3 2 4 23 22 24 7 6 8 27 26 28 31 30 32 39 38 40 43 42 44 35 34 13 9 17 1 21 5 25 29 37 41 33 36 ∑a 0 1 2 3 4 5 6 7 8 9 10 11 ∑b 11 10 9 8 7 6 5 4 3 2 1 0 ∑a-∑b -11 -9 -7 -5 -3 -1 1 3 5 7 9 11 13 9 17 1 21 5 25 29 37 41 33 13 9 17 1 21 5 25 29 37 41 33 20 (R. Felder & Solomon, 2006)
21. Barème de preferences des styles d’apprentissage 0 1 3 5 7 9 -3 -1 -7 -5 -11 -9 11 Préférence Forte Préférence Modérée Balancée Préférence Modérée Préférence Forte POLE 1 POLE 2 Actif Réfléchi 21 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion (R. Felder & Solomon, 2006)
22. Pourquoi le modèle Felder-Silverman? Le modèle est approprié dans le cas d'applications abordant des questions scientifiques. (R. M. Felder & Silverman, 1988; Kuljis & Liu, 2005) Ses dimensions sont distinctes et indépendantes. (Ramírez-Correa et al., 2017) Le modèle permet de décrire la dominance de chaque style d’apprentissage à un niveau de granularité relativement fin (R. M. Felder & Brent, 2005) La validité et la fiabilité du questionnaire Index of Learning Styles (ILS) (R. M. Felder & Spurlin, 2005; Litzinger et al., 2005) 22 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
23. Etat d’art Approches et techniques pour l’identification des styles d’apprentissage 3
24. L’approche collaborative VS L’approche automatique Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 24 Difficulté à motiver les apprenants pour remplir les questionnaires Possibilité de tricher, de sauter des questions ou donner des réponses erronées Modèle d’apprenant statique L’interrogation quant à la fiabilité et la validité de quelques questionnaires (Brusilovsky, 1996)
25. L’approche basée sur les règles (literature-based) Programmation traditionnelle Traces des apprenants Règles Styles d’apprentissage 25 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
26. Algorithme de machine learning Traces des apprenants Règles Styles d’apprentissage Modèle Phase d’entrainement Modèle Traces des nouveaux apprenants Prédiction des styles d’apprentissage Phase de test L’approche pilotée par les données (data-driven) Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 26
27. Avantages Défis Reflète les comportements habituels des apprenants Permet la concentration des apprenants sur leurs apprentissages uniquement Permet de mettre à jour dynamiquement le modèle de l’apprenant Difficulté de mise en œuvre pratique par un non expert Précision de prédiction dépend du volume et de la qualité des données disponibles Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 27 L’approche pilotée par les données (data-driven)
28. Contribution 1 & 2 Notre processus d’identification des styles d’apprentissage 4
29. Base de données Les données analysées sont issues du cours edX intitulé « Statistical Learning* » dispensé sur la plateforme open source Lagunita de Stanford (fondée sur la plateforme Open edX). 2 sessions (hiver 2015 et hiver 2016 ) 52 735 Apprenants ≈ 31M Traces ≈ 10 Go * www.online.stanford.edu/courses/sohs-ystatslearning-statistical-learning 29 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
30. Modèle de prédiction des styles d’apprentissage Python Pandas Scikit learn Matplotlib 30
31. Prétraitement des données
32. Nettoyage des données Détection des anomalies Forêts d’isolation (isolation forests) (F. T. Liu et al., 2008) 166 apprenants ont été identifiés comme étant des anomalies Bug Envoie de façon itérative la même requête Les anomalies sont des évènements présentant une déviation par rapport à ceux qui sont définis comme normaux (Hawkins, 1980)  # Events  # Weeks  Cetified Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 32
33. Extraction des caractéristiques Données Brutes Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 33 les caractéristiques extraites
34. Normalisation : MinMax 0 ≤ 𝑥′ ≤ 1 𝑥′ = 𝑥 − 𝑥𝑚𝑖𝑛 𝑥𝑚𝑎𝑥 − 𝑥𝑚𝑖𝑛 Valeur minimale Valeur maximale Valeur normalisée Valeur originale Lesperformances de plusieurs algorithmes d'apprentissage machine (K-means, knn…) sont sensibles à la mise à l'échelle (Ertel, 2017; Rebala et al., 2019) Nombre de pauses vidéo 0 320 Nombre de messages postés sur le forum 0 19 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Learner_ id # pause 10071 12 10072 32 10073 39 10074 3 10075 19 10076 41 10077 34 # pause’ 0,24 0,76 0,95 0 0,42 1 0,82 MinMax 12 - 3 41 - 3
35. Style d’apprentissage actif Nombre de pauses vidéo Nombrede quiz visités Temps total passé sur les quiz Nombre de quiz effectués Moyenne des quiz effectués Nombre de messages postés sur le forum Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 35 Sélection des caractéristiques (Garcia et al., 2007; Graf et al., 2012; Latham et al., 2012; Villaverde et al., 2006)
36. Nombre de visites des réponses aux quiz Temps total passé à lire les réponses aux quiz Temps moyen passé à lire les réponses aux quiz Nombre de visites de page de présentation du cours Nombre de messages visualisés dans le forum Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 36 (Garcia et al., 2007; Graf et al., 2012; Latham et al., 2012; Villaverde et al., 2006) Style d’apprentissage réfléchi Sélection des caractéristiques
37. Modélisation non supérvisée : Clustering
38. Modélisation non supérvisée : K-means clustering ? Spécifier le # de clusters (k) Initialiser les centres des k clusters (centroïdes) Assigner chaque point au centroïde le plus proche Recalculer les centres des k clusters stabilité : Y a-t-il des points qui ont changé de cluster ? Début Fin Non oui K-means++ Distance euclidienne Cluster 1 Cluster 2 Cluster 3 Méthode du coude 38 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Le clustering permet d'identifier des groupes d’apprenants similaires import sklearn.cluster cluster.KMeans(init='k-means++', n_clusters=4)
39. Estimation du nombre optimal de clusters méthode du coude 2 1 1 i k i i x Cluster SSE x c n       Nombre de clusters Distance euclidienne Nombre d’individus au sein d'un même cluster Centroïde du cluster i Nombre total d’individus 100 200 300 400 500 600 700 800 900 1000 1 2 3 4 5 6 7 8 9 10 11 12 Erreur Quadratique Moyenne (SSE) Nombre de clusters Coude (elbow) nombre optimal de clusters 39 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion (Ketchen & Shook, 1996)
40. Coude (elbow) 4 clusters Coude (elbow) 4 clusters Style d’apprentissage actif Style d’apprentissage réfléchi Coude (elbow) 4 clusters Coude (elbow) 4 clusters Style d’apprentissage actif Style d’apprentissage réfléchi Session : hiver 2015 Session : hiver 2016 4Clusters Pour chaque style d'apprentissage 40
41. Résultats de clustering Clusters Cluster_1 Cluster_2 Cluster_3 Cluster_4 Session hiver 2015 2016 2015 2016 2015 2016 2015 2016 Features (moyen) # pause_video 4,49 3,48 38,76 36,61 46,48 41,45 206,12 192,76 # problem_visit 1,09 0,84 12,11 12,82 14,64 14,23 95,95 90,65 Problem_stay 2,73 2,49 48,49 54,64 51,57 49,46 370,18 349,98 # problem_submit 0,04 0,04 6,02 6,49 13,27 12,31 91,35 79,22 Avg_problem_submit 0,00 0,00 0,51 0,51 0,93 0,90 0,95 0,87 # forum_post 0,01 0,00 0,08 0,07 0,08 0,04 0,80 0,97 # apprenants 20559 12227 2832 1820 5649 3853 3140 2489 % apprenants 63,9% 60,0% 8,8% 8,9% 17,6% 18,9% 9,8% 12,2% Etiquette de cluster Très faible Faible Modérée Forte style d’apprentissage actif 41 Clusters Cluster_1 Cluster_2 Cluster_3 Cluster_4 Session hiver 2015 2016 2015 2016 2015 2016 2015 2016 Features (mean) # problem_show 0,26 0,35 7,45 7,77 11,46 10,95 67,69 61,87 problem_show_stay 0,33 0,02 9,49 0,31 14,97 0,47 83,58 2,77 avg_problem_show 0,01 0,01 0,81 0,82 0,38 0,38 0,71 0,68 # outline 4,68 4,03 8,88 6,84 16,92 12,80 35,41 28,63 # view_post 1,52 1,11 4,44 2,86 18,00 12,02 80,19 58,97 # apprenants 22510 13798 2696 1527 5389 3845 1585 1219 % apprenants 70,0% 67,7% 8,4% 7,5% 16,7% 18,9% 4,9% 6,0% Etiquette de cluster Très faible Faible Modérée Forte style d’apprentissage réfléchi
42. Compacité la séparation intra- cluster est minimisée Séparabilité la séparation inter- cluster est maximisée Évaluation de la qualité de clustering L’objectif est de créer des clusters assez compacts et bien séparés 42 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
43. Indice de Caliński-Harabasz (CH) (Caliński & Harabasz, 1974) Indice de silhouette (SI) (Rousseeuw, 1987) Mesure à la fois la compacité et séparabilité des clusters Mesure le degré de séparation et de compacité des clusters SI CH 43 Indices d’évaluation Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
44. Indice de silhouette (SI) (Rousseeuw, 1987) Compare la distance moyenne qui sépare les points du même cluster Et la distance moyenne qui sépare les points de deux clusters voisins 1 1 ( ) n i SI SI i n    La distance moyenne qui sépare un point i des autres points du même cluster La distance moyenne qui le sépare des points appartenant au cluster le plus proche. ( ) ( ) 1 ( ) 1 max( ( ), ( )) b i a i SI i a i b i      Pour chaque point Pour tous les points 44 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Bonne qualité du résultat de clustering SI ≈ 1 (entre 0,7 et 1)
45. Indice de Caliński-Harabasz (CH) (Caliński & Harabasz, 1974) Nombre de clusters (dans notre cas, K = 4) nombre de points dans le jeu de données Divergence inter-clusters Divergence intra-cluster ( ) ( ) 1 ( ) B k n k CH k k W k     B(k) divergence inter-cluster : W(k) divergence intra-cluster : 2 1 ( ) n i i i W k x c     2 1 ( ) k i i i B k n c C      45 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion La valeur de l'indice CH doit être maximisé Bonne qualité du résultat de clustering
46. Index de validation Calinski-Harabasz (CH) Silhouette (SI) Algorithmes K-means MiniBatch Birch Agglom erative K-means MiniBat ch Birch Agglo merati ve Session 2015 Active 182350 182096 87462 164592 0.80 0.80 0.74 0.79 Reflective 81988 81734 29448 66986 0.76 0.76 0.71 0.75 Sensing 73109 71040 64871 57600 0.73 0.76 0.77 0.75 Intuitive 27146 25250 14583 22774 0.68 0.72 0.77 0.61 Visual 123760 114153 71621 111571 0.67 0.72 0.78 0.65 Verbal 33756 31552 22630 30930 0.70 0.60 0.77 0.64 Sequential 239064 239022 218663 232308 0.81 0.80 0.80 0.80 Global 26101 24182 18263 22722 0.82 0.74 0.80 0.80 Session 2016 Active 102957 93535 53426 73219 0.77 0.77 0.71 0.75 Reflective 52268 51947 32443 43995 0.76 0.76 0.73 0.73 Sensing 44779 44256 39460 38913 0.72 0.72 0.75 0.74 Intuitive 16893 14158 9936 15121 0.70 0.43 0.78 0.74 Visual 92224 91347 47077 81402 0.68 0.70 0.76 0.75 Verbal 15951 9562 4123 15085 0.76 0.74 0.94 0.75 Sequential 177096 175840 154747 170035 0.81 0.80 0.80 0.80 Global 18222 15414 14687 14329 0.83 0.81 0.82 0.80 Résultats de l’évaluation
47. Processus d'agrégation
48. Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Processus d'agrégation 48 X2.1 X2.2 X2.3 … X2.n X1.1 X1.2 X1.3 … X1.n X1.1 X1.2 X1.3 … X1.n X2.1 X2.2 X2.3 … X2.n Préférence Pole 1 Préférence Pole 2 Dimension score Balance des styles d'apprentissage Dimension de F-S
49. Balancé Actif fort Actif modéré Réfléchi modéré Réfléchi fort Trés faible Fort Pole 1 Actif Très faible Faible Modéré Fort Balance des styles d'apprentissage Pole 2 Réfléchi Pondération des styles d'apprentissage 49
50. Style d’apprentissage actif Très faible Faible Modéré Fort Style d’apprentissage Réfléchi Très faible Balancé Actif modéré Actif fort Actif fort Faible Réfléchi modéré Balancé Actif modéré Actif fort Modéré Réfléchi fort Réfléchi modéré Balancé Actif modéré Fort Réfléchi fort Réfléchi fort Réfléchi modéré Balancé Grille des préférences des styles d'apprentissage 50 Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
51. Processus d'agrégation Dimension traitement actif/réfléchi Dimension perception sensoriel/intuitif Dimension réception visuel/verbal Dimension compréhension séquentiel/global Bases de donnée : • multi-classes • non équilibrées 2171 7297 40128 2849 124 0 5000 10000 15000 20000 25000 30000 35000 40000 45000 # apprenants Résultat du processus d’agrégation 51
52. Modélisation supérvisée : Classification 52
53. Couleur Diamètre Label Verte 5 Cm Pomme Jaune 5 Cm Pomme Rouge 2 Cm Raisin Rouge 2 Cm Raisin Jaune 5 Cm Citron Diamètre >= 5 ? Faux Vrai Couleur == jaune ? Faux Vrai Rouge 2 Cm Raisin Rouge 2 Cm Raisin Verte 5 Cm Pomme Jaune 5 Cm Pomme Jaune 5 Cm Citron Prédiction Raisin 100% Jaune 5 Cm Pomme Jaune 5 Cm Citron Verte 5 Cm Pomme Prédiction Pomme 100% Prédiction Pomme 50% Citron 50% Sous ensemble 1 Ensemble de données Sous ensemble 2 Sous ensemble 3 Sous ensemble n ... Classe 3 Classe 2 Classe 1 Classe 3 Vote majoritaire Prédiction (Classe 3) ? K= 3 K= 5 x 2 x 1 ? = Prédiction Algorithmes d’apprentissage machine supervisée Arbre de décision Decision tree (DT) Forêts aléatoires Random Forests (RF) K-voisins les plus proches (KNN) K nearest neighbors (kNN) Réseaux de neurones artificiels Artificial neural networks (ANN)
54. • Optimisation des hyperparamètres • Réduction du sur-apprentissage Données d’apprentissage, validation et test Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 54
55. Données d’apprentissage (80%) Modèle Performance de classification Optimisation des hyperparamètres Algorithmes d’apprentissage machine Optimisation des hyperparamètres Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 55 Chercher parmi les différentes configurations des hyperparamètres celle qui offre les meilleures performances
56. Hyperparamètres Définir l’espace de recherche Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 56 Nombre d'arbres Profondeur maximale de l'arbre Max_depth : [1 10] N_estimators : [2 15] {N_estimators = 2 Max_depth = 1} . . . Meilleur paramétrage Algorithme de recherche (Grid-Search) {N_estimators = 3 Max_depth = 1} {N_estimators = 4 Max_depth = 1} {N_estimators = 15 Max_depth = 10} { N_estimators = 7 Max_depth = 8 } Accuracy = 98% Forêts aléatoires
57. Données d’apprentissage (80%) Modèle Performance de classification Optimisation des hyperparamètres Algorithmes d’apprentissage machine Modèle optimal Performance de prédiction Données de test (20%) Phase d’entrainement Phase de test Test du modèle Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 57
58. Les métriques de performances Métriques les plus connu Métriques les moins connu • Exactitude (accuracy) : Taux des prédictions correctes • spécificité (Precision ) : Taux des prédictions positifs qui ont été correctement classés • Rappel (recall) : Taux d'échantillons positifs correctement classés • F1-score : La moyenne harmonique de la précision et du rappel • Macro-précision : Moyenne de toutes les précisions • Micro-précision : Précision moyenne de toutes les classes Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 58 Bases de données non équilibrées
59. Algo Accuracy(%) Precision(%) Recall(%) F1-score(%) Micro-precision(%) Macro-precision(%) DT 99 99 99 99 99 98 RF 98 99 99 99 99 98 NN 97 98 98 98 98 95 KNN 80 78 81 87 81 54 Résultats de prédiction Bases de données traitement • Arbre de décision (DT) est l'algorithme le plus performant. • Performances de prédiction sont d'une précision supérieure à 97 % Prétraitement Base de données Clustering Agrégation Prédiction Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 59 3 autres base de données analysées
60. 5 Contribution 3 MOOCLS (MOOC Learning Styles) www.moocls.com
61. Internet Client Architecture de MOOCLS Jquery Highcharts Bootstrap Base de données Mysql Serveur Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion 61
62. Tour de l’interface MOOCLS 62 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
63. Évaluation de MOOCLS 63 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
64. Critères d’évaluation Utilité Utilisabilité SUS : System Usability Scale (Brook et al. 1986) La possibilité d’atteindre le but de l’objet La possibilité d’utiliser un dispositif au niveau de son interface, sa navigation et sa cohérence avec l’objectif (Tricot et al. 2003) (Tricot et al. 2003) 64 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
65. Déroulement de l’évaluation Effectuer l'experimentation www.moocls.com Recueillir et analyser les données Cibler des participants Répondre a un questionnaire 65 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
66. 11 Enseignants 7 Étudiants / doctorants 3 Ingénieurs pédagogiques 21 participants 66 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
67. Résultats obtenus : utilité MOOCLS est utile pour mieux adapter le matériel pédagogique aux apprenants Aide a prendre des décisions plus précises concernant la conception pédagogique 80% 76% 67 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
68. Résultats obtenus : utilisabilité Non acceptable Marginale Acceptable MOOCLS est considéré comme « acceptable » et a obtenu une notation qualifiée de « bon » 75,9 score SUS moyen Pire imaginable (25) Mauvais (39) Acceptable (52) Bon (73) Excellent (86) Meilleur imaginable (100) 0 10 20 30 40 50 60 80 70 90 100 Acceptabilié Interprétation 75,9 68 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
69. Conclusion & perspectives 6
70. 70 Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Synthèse des contributions
71. Expérimentation à plus large échelle Amélioration de l’outil MOOCLS • Assistant pour se connecter à des bases de données d’ OpenedX, MOODLE • Plug-in LTI ou xBlock 71 Perspectives Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion
72. Amélioration du module de recommandation 72 Perspectives Styles d’apprentissage Introduction Approches pour l’ident… Méthodologie MOOCLS Conclusion Autres disciplines Autres jeux de données issues de MOOC abordant des thématiques variées
73. Merci pour votre attention @bhmedna Brahim.hmedna@edu.uiz.ac.ma Brahim HMEDNA