Pix.fr : certification adaptative des compétences numériques

Présentation faite lors de la journée #BlueHats du Paris Open Source Summit 2019.

Transcript

1. Introduction Tests de positionnement Conclusion Pix.fr : certification adaptative des compétences numériques Jill-Jênn Vie 11 décembre 2019
2. Introduction Tests de positionnement Conclusion Optimisation de l’apprentissage humain On observe des données d’apprentissage sur une plateforme (évaluation, cours en ligne) Comment utiliser ces données pour profiter aux autres apprenants ? Challenges Ne pas poser trop de questions aux apprenants Les apprenants évoluent au cours du temps Quelles données utiliser ? Quelle fonction objectif choisir ?
3. Introduction Tests de positionnement Conclusion Tests adaptatifs Q5 Q3 Q12 Q1 Q4 Q7 Q14 incorrect correct Alice Bob
4. Introduction Tests de positionnement Conclusion Référentiel de compétences numériques DIGCOMP 2.0 Informations et données Ex. rechercher de l’information sur Internet Communication collaboration Création de contenu Protection et sécurité Résolution de problèmes
5. Introduction Tests de positionnement Conclusion Certification des compétences numériques Avant : B2i. Maintenant : La certification Pix remplace le B2i pour les lycéens (JO du 1er septembre 2019) 1 intrapreneur au ministère de l’Éducation 3 chercheurs concepteurs d’épreuves 2 développeurs +1 concepteur de l’algorithme adaptatif
6. Introduction Tests de positionnement Conclusion Un exemple de problème Pix Dans le village de Montrésor, sur quelle rue débouche la rue des Perrières ?
7. Introduction Tests de positionnement Conclusion Un exemple de problème Pix Dans le village de Montrésor, sur quelle rue débouche la rue des Perrières ? → permet de valider l’acquis @rechercheInfo3
8. Introduction Tests de positionnement Conclusion Types de tests Tests de positionnement Évaluer son niveau en peu de questions Faible enjeu ; basé sur une cartographie des connaissances Tests de certification Fort enjeu : l’apprenant peut le valoriser Tests de progression “Quoi apprendre ensuite ?” Optimiser l’apprentissage humain
9. Introduction Tests de positionnement Conclusion Théorie de la réponse à l’item Acquis de niveau 3 Acquis de niveau 5 Niveau de l’apprenant Probabilité de succès 1 2 3 4 5 6 7 8 100 % 88 % 50 % 12 % Utilisé par les certifications PISA, GMAT, etc.
10. Introduction Tests de positionnement Conclusion Exemple de test adaptatif : On pose une question de niveau 2 L’apprenant réussit On lui pose une question de niveau 6 L’apprenant échoue On lui pose une question de niveau 4 L’apprenant réussit Il est de niveau 5
11. Introduction Tests de positionnement Conclusion Choisir la bonne fonction à optimiser Maximiser l’information → les apprenants échouent 50 % du temps (bien pour l’évaluateur, pas pour les apprenants)
12. Introduction Tests de positionnement Conclusion Choisir la bonne fonction à optimiser Maximiser l’information → les apprenants échouent 50 % du temps (bien pour l’évaluateur, pas pour les apprenants) Maximiser le taux de succès → on pose artificiellement des questions trop faciles
13. Introduction Tests de positionnement Conclusion Choisir la bonne fonction à optimiser Maximiser l’information → les apprenants échouent 50 % du temps (bien pour l’évaluateur, pas pour les apprenants) Maximiser le taux de succès → on pose artificiellement des questions trop faciles Maximiser la croissance du taux de succès Travaux d’une équipe Inria à Bordeaux (Clement et al. 2015)
14. Introduction Tests de positionnement Conclusion Choisir la bonne fonction à optimiser Maximiser l’information → les apprenants échouent 50 % du temps (bien pour l’évaluateur, pas pour les apprenants) Maximiser le taux de succès → on pose artificiellement des questions trop faciles Maximiser la croissance du taux de succès Travaux d’une équipe Inria à Bordeaux (Clement et al. 2015) Identifier une lacune de l’apprenant le plus vite possible (Seznec et al. 2019)
15. Introduction Tests de positionnement Conclusion Algorithme conçu pour Pix Maximiser le nombre moyen d’acquis validés ou invalidés Le code source de l’algorithme adaptatif est ouvert (pix.fr, code sur GitHub sous licence AGPLv3) Déjà 350 000 comptes créés, 50 000 certifications délivrées @web1 @web2 p(correct) = 0.5 if correct ⇒ 2 / if incorrect ⇒ 2 score = 2 @web3 @url2 @url3 score = 2.73 p(correct) = 0.27 if correct ⇒ 2 / if incorrect ⇒ 3 best question to ask @url4 @url5 @url2 @url3 @url4 @url5 @url2 @url3 @url4 @url5 correct answer incorrect answer Article Jill-Jênn Vie, Fabrice Popineau, Françoise Tort, Benjamin Marteau, and Nathalie Denos (2017) "A Heuristic Method for Large-Scale Cognitive-Diagnostic Computerized Adaptive Testing". ACM Conference on Learning at Scale.
16. Introduction Tests de positionnement Conclusion Le but de cette étape ?
17. Introduction Tests de positionnement Conclusion Identifier les points forts
18. Introduction Tests de positionnement Conclusion Et les lacunes
19. Introduction Tests de positionnement Conclusion Le niveau évolue au cours du temps Si l’on peut simuler l’apprentissage, alors on peut optimiser l’apprentissage
20. Introduction Tests de positionnement Conclusion Sujets de recherche Tests de positionnement Importance d’adapter l’évaluation, et de bien choisir la fonction à optimiser (évaluation, progression) Systèmes de recommandation Plus proches voisins Des données de tout type peuvent améliorer la précision, mais attention encore aux biais Mémoire En simulant l’humain au plus près, on peut optimiser l’enseignement
21. Introduction Tests de positionnement Conclusion Merci pour votre attention ! Nous organisons un colloque du mercredi 15 au 17 janvier 2020 au lab 110 bis de l’Éducation nationale : conférences sur ce thème ; ateliers de réflexion ; ouverture de données anonymisées. Contactez-moi pour en savoir plus. Jill-Jênn Vie Twitter : @jjvie vie@jill-jenn.net