Aprendizaje semi-automático de mapas conceptuales basado en modelos gráficos probabilistas

Transcript

1. Aprendizaje semi-automático de mapas conceptuales basado en modelos gráficos probabilistas Aplicación al diseño de un sistema recomendador para la asignatura de Teoría de Autómatas I Autor: David Alfonso TFM – Máster en IA avanzada – UNED Directores: Ángeles Manjarrés Septiembre 2013 Manuel Arias
2. Contexto • Educativo • A distancia, completamente online • Alto número de alumnos • Perfiles muy diferentes
3. Motivaciones • Docentes: complejidad de identificar dificultades y caminos de aprendizaje más intuitivos – Mapas conceptuales • Alumnos: avanzan en el estudio sin afianzar conocimientos – Sistema recomendador introspectivo
4. Hipótesis • Los resultados de cuestionarios de examen encapsulan un conocimiento de competencias y de sus relaciones • El uso de mapas conceptuales en sistemas recomendadores introspectivos puede mejorar el aprendizaje
5. Objetivos 1) Generación semi-automática de mapas conceptuales a partir de resultados de cuestionarios de examen 2) Diseño de un sistema recomendador introspectivo que explote la versatilidad de los mapas conceptuales
6. Visión general Exámenes y resultados Generación semi-automática de mapas conceptuales Sistema recomendador introspectivo
7. 1) Generación semi-automática de mapas conceptuales a partir de resultados de exámenes
8. Mapas conceptuales • Representan y organizan gráficamente el conocimiento • Herramienta muy utilizada en entornos educativos • Elementos: – conceptos, enlaces y frases de enlace 1) Generación semi-automática de mapas conceptuales
9. Mapas conceptuales 1) Generación semi-automática de mapas conceptuales
10. Método propuesto: Redes bayesianas • Técnica de IA que permite representar dependencias probabilísticas entre variables • Aprendizaje estructural automático a partir de bases de datos – Uso de algoritmos preexistentes 1) Generación semi-automática de mapas conceptuales
11. Preprocesado Aprendizaje estructural redes bayesianas Preguntas Clasificación competencial Transformación en mapas conceptuales Método propuesto: Proceso Resultados 1) Generación semi-automática de mapas conceptuales
12. Preprocesado Aprendizaje estructural redes bayesianas Preguntas Clasificación competencial Transformación en mapas conceptuales Método propuesto: Proceso semi-automático Resultados 1) Generación semi-automática de mapas conceptuales
13. Experimentación: Datos reales • Asignatura “Teoría de Autómatas I” – 9 exámenes – 144 preguntas – 1.415 resultados • Clasificaciones competenciales: – conceptos (47) – competencias generales (9) y específicas (27) 1) Generación semi-automática de mapas conceptuales
14. Experimentación: Preprocesado • Tipos de valores: – binarios con umbrales (50%, 75% y 100%) – continuos • Filtrado de posibles fuentes de ruido • Tratamiento de valores ausentes – eliminación e imputación (mediana y kNN) 1) Generación semi-automática de mapas conceptuales
15. Experimentación: Aprendizaje estructural • En función del % de valores ausentes – Uso de datos agregados de exámenes – Uso de datos independientes por examen: Algoritmo de fusión de redes bayesianas • Algoritmos – Hill Climbing – Max-Min Hill Climbing 1) Generación semi-automática de mapas conceptuales
16. Experimentación: Métricas • Complejidad de las redes bayesianas – Factor de salto medio – Tamaño medio del Markov Blanket • Distancia Estructural de Hamming (SHD) con grafos de dependencias creados manualmente 1) Generación semi-automática de mapas conceptuales
17. Experimentación: Resultados • El filtrado de ruido y los datos discretos binarios reducen el nº de dependencias 1) Generación semi-automática de mapas conceptuales
18. Experimentación: Resultados • La imputación de valores ausentes aumenta la complejidad de las redes • El algoritmo MMHC da lugar a redes más simples que el algoritmo HC • Con altos % de valores ausentes, ha sido necesario utilizar el algoritmo de fusión 1) Generación semi-automática de mapas conceptuales
19. Experimentación: Resultados • Resulta difícil interpretar las relaciones – Incluso separando los conceptos por temas de la asignatura 1) Generación semi-automática de mapas conceptuales
20. Transformación en mapas conceptuales • Paso 1: Simplificación de redes bayesianas – Algoritmo que elimina los enlaces de menor peso manteniendo el grafo conectado • Paso 2: Asociación uno a uno • Paso 3: Asignación manual de frases de enlace – e.g. “es una subcompetencia relevante de” 1) Generación semi-automática de mapas conceptuales
21. Evaluación de los mapas conceptuales generados • Criterios topológicos – Son de nivel 0, ya que el nº de conceptos largos es superior al de conceptos cortos (e.g. “lenguajes regulares” vs “cadena”) • La interpretación sigue siendo difícil a pesar de la simplificación realizada 1) Generación semi-automática de mapas conceptuales
22. Evaluación de los mapas conceptuales generados 1) Generación semi-automática de mapas conceptuales
23. 2) Diseño de un sistema recomendador introspectivo basado en mapas conceptuales
24. Sistema recomendador introspectivo genérico • Mapas conceptuales – Diferentes tipos de conceptos • Visualización introspectiva del conocimiento – Útil para alumnos y docentes 2) Diseño de un sistema recomendador introspectivo
25. Sistema recomendador introspectivo genérico • Filtrado basado en el contenido • Perfil de los alumnos – Un vector de pesos por mapa conceptual – Algoritmo de actualización • Ítems de aprendizaje – Conceptos de los mapas – Preguntas (conceptos asociados, dificultad) 2) Diseño de un sistema recomendador introspectivo
26. Prototipo: Entrada 2) Diseño de un sistema recomendador introspectivo
27. Prototipo: Salidas 2) Diseño de un sistema recomendador introspectivo
28. Prototipo: Salidas 2) Diseño de un sistema recomendador introspectivo
29. Conclusiones y trabajo futuro
30. Principales aportaciones • Uso de redes bayesianas para generar mapas conceptuales • Integración de diferentes conjuntos de datos (valores ausentes) – Imputación – Algoritmo de fusión de estructuras de red • Sistema recomendador introspectivo genérico
31. Problemas encontrados • No se ha podido validar la hipótesis del trabajo – Características del dominio utilizado – La idiosincrasia de los alumnos – Otras fuentes de ruido – Dificultad intrínseca en la creación de mapas conceptuales
32. Trabajo futuro • Experimentar con datos de otras materias • Otros algoritmos de aprendizaje estructural y otras técnicas de preprocesado – Fuentes de ruido Generación mapas conceptuales
33. Trabajo futuro • Completar el prototipo y poner a disposición de profesores para su evaluación en entornos reales • Integración de un módulo de generación semi-automática de mapas conceptuales a partir de resultados de exámenes Sistema recomendador