Simulando ataques adversarios con TextAttack: Vulnerabilidades y defensas en PLN

Los modelos de Procesamiento de Lenguaje Natural (PLN) son cada vez más críticos en aplicaciones como chatbots, análisis de sentimientos y traducción automática. Sin embargo, su exposición a ataques adversarios —modificaciones sutiles en los inputs diseñadas para engañar al modelo— revela vulnerabilidades de seguridad y robustez.
En esta charla, exploraremos cómo TextAttack, un framework de código abierto, permite simular estos ataques para evaluar y mejorar la resistencia de los modelos de PLN. A través de ejemplos prácticos, demostraremos técnicas comunes de ataque, su impacto en modelos preentrenados (como BERT o GPT), y estrategias para mitigarlos.
Puntos a tratar en la charla:
1. Introducción a los ataques adversarios en NLP
2. TextAttack: Un framework para evaluación y adversarial training
3. Simulación de un ataque adversario contra un modelo de análisis de sentimientos.
4. Estrategias de defensa

Transcript

1. Simulando ataques adversarios con TextAttack: Vulnerabilidades y defensas en PLN José Manuel Ortega jose.manuelortega@owasp.org
2. • Ingeniería en informática • Master ciberseguridad y ciencia de datos • Consultoría y docencia universitaria • https://josemanuelortegablog.com/ • https://www.linkedin.com/in/jmortega1
3. • https://scholar.google.es/citations?user=kAM9WrcA AAAJ&hl=es
4. • Introducción a los ataques adversarios • Ataques adversarios en NLP • TextAttack: Un framework para evaluación y adversarial training • Simulación de un ataque adversario contra un modelo de análisis de sentimientos. • Estrategias de defensa
5. Ataques adversarios
6. • Pequeñas perturbaciones: Los ataques de adversarios suelen consistir en añadir pequeñas perturbaciones a los datos de entrada, imperceptibles para los humanos. Estos cambios sutiles pueden engañar al sistema de IA para que haga predicciones o clasificaciones erróneas. • Vulnerabilidades del modelo: Estos ataques aprovechan puntos débiles específicos del modelo de aprendizaje automático, como su incapacidad para generalizar bien a datos nuevos o la sensibilidad del modelo a ciertos tipos de datos de entrada. Ataques adversarios
7. • 1. Prompt Injection • 2. Evasion Attacks • 3. Poisoning Attacks • 4. Model Inversion Attacks • 5. Model Stealing Attacks • 6. Membership Inference Attacks Ataques adversarios
8. Ataques adversarios
15. Introducción a los ataques adversarios en NLP • Un ataque adversario en el contexto de NLP es la creación de un ejemplo de texto modificado que tiene como objetivo engañar a un modelo de Machine Learning (ML) para que cometa un error o cambie su predicción a una etiqueta incorrecta. • El objetivo de estos ataques no es simplemente introducir ruido o datos corruptos, sino encontrar las vulnerabilidades específicas que existen en las representaciones internas que el modelo ha aprendido.
16. Introducción a los ataques adversarios en NLP • Los modelos de NLP (como BERT, GPT, etc.) suelen aprender heurísticas superficiales o patrones estadísticos que no necesariamente reflejan una comprensión lingüística profunda. • Dependencia léxica: El modelo puede depender demasiado de la presencia de ciertas palabras clave. Por ejemplo, al reemplazar la palabra "excelente" por "magnífico", el modelo puede fallar si no ha sido entrenado lo suficiente en el segundo término. • Espacios de embeddings débiles: Las pequeñas perturbaciones en el espacio de embeddings de una palabra pueden empujar el embedding de toda la frase a una región de decisión diferente del modelo, sin que un humano note el cambio.
17. Introducción a los ataques adversarios en NLP • Clasificación por objetivo • Clasificación por conocimiento del modelo • Clasificación por tipo de perturbación
18. Introducción a los ataques adversarios en NLP Clasificación por objetivo • Ataque no dirigido (Untargeted Attack): El objetivo es forzar al modelo a predecir cualquier etiqueta incorrecta diferente de la etiqueta verdadera. Por ejemplo, cambiar una clasificación de "positivo" a "negativo" o a una clase neutral. • Ataque dirigido (Targeted Attack): El atacante tiene un objetivo específico y busca modificar la entrada para que el modelo prediga una etiqueta específica y predefinida (ej. cambiar la clasificación de "aprobado" a la etiqueta "rechazado").
19. Introducción a los ataques adversarios en NLP Clasificación por conocimiento del modelo
20. Introducción a los ataques adversarios en NLP Clasificación por tipo de perturbación ◦ Sustitución léxica: Consiste en reemplazar palabras clave con sus sinónimos. ◦ Manipulación gramatical/sintáctica: Se enfocan en alterar la estructura sin cambiar el significado. ◦ Ataques basados en embeddings: Usados en ataques de caja blanca, donde se perturba directamente la representación vectorial (el embedding) de una palabra o frase, y luego se busca la palabra más cercana a ese embedding perturbado.
21. Text attack https://arxiv.org/pdf/2005.05909
22. Text attack https://arxiv.org/pdf/2005.05909
23. https://github.com/QData/TextAttack
24. https://github.com/QData/TextAttack
25. TextFooler TextFooler opera bajo el principio de encontrar el mínimo número de sustituciones léxicas que logran cambiar la clasificación del modelo, manteniendo la coherencia y el significado del texto. • Identificación de palabras clave: El algoritmo evalúa la importancia de cada palabra en la frase original con respecto a la predicción actual del modelo. • Generación de sustitutos candidatos: Utiliza una fuente léxica para generar un conjunto de sinónimos para la palabra candidata. • Filtrado por similitud semántica: Para asegurar que el texto modificado siga siendo coherente, los sustitutos se filtran estrictamente usando un modelo de embedding por similitud semántica. • Búsqueda del ataque exitoso: De los sustitutos que pasaron el filtro de similitud, el algoritmo elige el que, al reemplazar la palabra clave, cambia la predicción del modelo a la etiqueta objetivo.
26. https://github.com/QData/TextAttack
27. https://github.com/QData/TextAttack
28. https://github.com/QData/TextAttack Original Text: "It 's a charming and often affecting journey" Adversarial Text: "it 's a cutie and often afflicts journey"
29. Using goal function and transformations
30. Using goal function and transformations
31. Using goal function and transformations
32. Using goal function and transformations
33. Using goal function and transformations +-------------------------------+--------+ | Attack Results | | +-------------------------------+--------+ | Number of successful attacks: | 8 | | Number of failed attacks: | 2 | | Number of skipped attacks: | 0 | | Original accuracy: | 100.0% | | Accuracy under attack: | 20.0% | | Attack success rate: | 80.0% | | Average perturbed word %: | 18.71% | | Average num. words per input: | 63.0 | | Avg num queries: | 934.0 | +-------------------------------+--------+
34. WordNetAugmenter
35. WordNetAugmenter
36. Augmenter
37. CheckListAugmenter
38. Estrategias para mitigar los ataques adversarios • Entrenamiento adversario (Adversarial training) • Uso de múltiples de modelos (Ensemble methods) • Squeezing de características (Feature squeezing) • Caja Negra vs. Caja Blanca
39. Estrategias para mitigar los ataques adversarios • Entrenamiento adversario (Adversarial training) Esta es considerada la técnica más efectiva para mejorar la robustez. 1. Generación de ejemplos: Se utiliza un algoritmo de ataque (como PWWS) para generar ejemplos adversarios a partir del conjunto de entrenamiento original. 2. Reentrenamiento: El modelo se reentrena con el conjunto de datos ampliado, que ahora incluye tanto los ejemplos originales como sus contrapartes adversarias, etiquetadas con la etiqueta verdadera. 3. Resultado: El modelo aprende a clasificar correctamente tanto el texto original como las versiones ligeramente perturbadas, fortaleciendo sus fronteras de decisión y reduciendo la dependencia de heurísticas superficiales.
40. Books
41. • https://textattack.readthedocs.io • https://arxiv.org/pdf/2005.05909 • https://towardsdatascience.com/what-are-adversarial -examples-in-nlp-f928c574478e/ • https://harvard-iacs.github.io/CS287/lectures/18_Adv ersarial_NLP.pdf References
42. Simulando ataques adversarios con TextAttack: Vulnerabilidades y defensas en PLN José Manuel Ortega jose.manuelortega@owasp.org