“With Great Power Comes Great Responsibility”: AML (Adversarial Machine Learning)

Actualmente estamos siendo atravesados por la revolución tecnológica de la Inteligencia Artificial. Hace muchísimos años atrás ya existía algorítmicamente la inteligencia artificial, pero no se tenía el poder de cómputo clave para emplear estos algoritmos. En el contexto actual, la situación es diferente, la tecnología de ML se está utilizando cada vez más en diversas industrias pero hace falta más conciencia sobre las vulnerabilidades que posee el ML. Si bien no soy experta en el desarrollo de IA, me parece interesante que muchos sistemas estén siendo desarrollados, por ejemplo, para verificación de identidades, diagnósticos tempranos en el ámbito de salud, entre otros. ¿Pero qué pasa si estos modelos de datos son vulnerados?, ¿qué consecuencias podrían producirse? Estas son algunas de las preguntas que me llevaron a investigar sobre el funcionamiento de estos modelos. Me encontré con el termino de AML (Adversial Machine Learning) el cual, busca evaluar las vulnerabilidades dentro de los sistemas de ML.
Ya muchos conocen el modelo de MITRE ATTA&CK, el cual es una herramienta que sirve para para identificar las TTP (tácticas comunes, técnicas y procedimientos) que las amenazas persistentes avanzadas (APT) utilizan contra diversos sistemas. En cuanto a MITRE ATLAS, se trata de una herramienta creada en el año 2020 que brinda un panorama de amenazas adversas para sistemas de IA. En otras palabras, a través del modelo de MITRE ATLAS se pueden observar las tácticas adversas y técnicas para sistemas de ML basados en observaciones del mundo real.
En esta charla, se realizará una introducción general al modelado del machine learning, para luego poder adentrarse a los diversos ataques que se pueden producir basándome en el framework de MITRE ATLAS. Por último, para aquellos y aquellas que quieran profundizar en estos conceptos compartiré algunas herramientas que ayudan a evaluar la robustez de los modelos de machine learning, junto con las buenas practicas que deben emplearse en el desarrollo seguro de algoritmos de machine learning.

Transcript

1. With Great Power Comes Great Responsibility: Adversarial Machine Learning (AML) Sol Gonzalez – Security Researcher en ESET Latinoamérica BLUESPACE
2. “ Ing. en Informática de UNDAV Trabajo como Security Researcher en ESET Latinoamérica, donde desarrollo actividades de investigación y concientización. @solg_sh https://mariasolgonzalez94.gitlab.io/cv-gonzalezsol/ $Whoami
3. With Great Power Comes Great Responsibility: AML Sol Gonzalez Security Researcher en ESET Latinoamérica
4. DESCLAIMERS Esta charla es para brindar una base teórica sobre AML. 01 02 03 04 05 Las herramientas a abordar son introductorias. No soy experta sobre el desarrollo de ML. Todo lo explicado en esta presentación se basa en la investigación teórica a AML. Esta charla busca que los oyentes puedan introducirse a ATLAS de Mitre.
5. Imagen: https://energyanalyst.co.uk/
7. Solución Revolución Industrial del Siglo XXI. Herramienta que permite la acelaración de la digitalización y automatización en diversos sectores
8. A s i s t e n t e s p e r s o n a l e s v i r t u a l e s Chatbox interactivos en el celular A g r í c o l a s Análisis Predictivos de programación de riesgo y detección de Plagas L o g í s t i c a y T r a n s p o r t e Evitar Colisiones, Auto-estacionamiento, Optimizar el Trafico S a l u d Chatbox Interactivos para diagnosticar enfermedades C o m e r c i a l Pronostico de ventas & Match-Making de cliente-producto E d u c a c i ó n Personalizar procesos de aprendizaje, y desarrollar procesos inductivos y deductivos C l i m á t i c a s Combatir deforestación, detectar fugas de oleoductos, Edificios inteligentes F i n a n z a s Detectar fraudes, predecir patrones de mercado, auditar, recomendar operaciones
9. ML Objetivos: Optización Predicción
11. 11 ¿Qué hace que los ataques adversarios sean diferentes?
12. 12 ¿Qué hace que los ataques adversarios sean diferentes? buffer overflow vulnerabilities
13. 1 3 EKOPARTY Para la mayoría de las vulnerabilidades de seguridad, los límites son muy claros.
14. 1 4 EKOPARTY Los algoritmos están “vacíos”. Mientras que los modelos de ML no.
15. Adversarial ML “Disciplina que ataca específicamente a los algoritmos de ML”
16. 01 Introducción
17. 17 ¿Qué es el AML?
19. GATO
20. Perro Gato ¿Es un perro? SI/NO Analógico VS digital
21. 21 Proceso de creación de ML Datos Características Datos procesados Aprendizaje del algoritmo Modelo f Ataque en fase de entrenamiento Envenenamiento (Poisoning) Ataque en fase de decisión/implementación/ inferencia Adversarial Machine Learning –Yevgeniy Vorobeychik & Murat Kantarcioglu”
22. Normal Ataque
23. 02 Tipos de AML
24. 24 Ejemplo de aplicación de ML Datos Características Datos procesados Aprendizaje del algoritmo Modelo f Ataque en fase de entrenamiento Envenenamiento (Poisoning) Ataque en fase de decisión/implementación/ inferencia Adversarial Machine Learning –Yevgeniy Vorobeychik & Murat Kantarcioglu” Pre-Deployment Post- Deployment
25. Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
26. 26 Clasificación de AML según NIST Adverasial Machine Learning (AML) Fase de entrenamiento Acceso de datos Envenamiento (Poisoning) Fase de testing Evasión Oráculo Extracción Inversión Inferencia
27. Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
28. 28 Ataque de envenenamiento o de Backdoor Fuente: Towards Security Threats of Deep Learning Systems: A Survey
29. 29 Ataque de envenenamiento o de Backdoor Fuente: Towards Security Threats of Deep Learning Systems: A Survey Imagen original Backdoor de un solo píxel Pattern Backdoor
30. 30 Ataque de envenenamiento o de Backdoor Fuente: Towards Security Threats of Deep Learning Systems: A Survey Clasificador benigno Capa de fusión Clasificador de puerta trasera
31. Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
32. 32 Ataques de inversión Fuente: Ataque de inversión sobre un modelo de deep learning. Fuente: Binghui Wang, Neil Zhenqiang Gong
33. Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
34. 34 Ataques de extracción Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
35. Tipos de ataques de ML – AML (Paper – “Towards Security of Deep Learning Systems: A Survey”)
36. 36 Ataque de evasión o exploratorios Fuente: An Overview of Vulnerabilities of Voice Controller, Yuan Gong y Christian Poellabauer. Systems
37. 03 ATLAS
39. ¿Qué es MITRE ATT&CK? TTPs
40. ¿Qué es MITRE ATT&CK? T T P ácticas écnicas rocedimientos
41. Adversarial Threat Landscape for AI Systems
45. 04 Tools
46. 46 Adversarial Robustness Toolbox https://github.com/Trusted-AI/adversarial-robustness-toolbox
47. 47 TrojanNet https://github.com/trx14/TrojanNet
48. 48 CleverHands https://github.com/cleverhans-lab/cleverhans
49. 49 Advertorch Advertorch
50. 50 Counterfit https://github.com/Azure/counterfit/
51. 05 Riesgos
52. Disponibilidad Confidencialidad Integridad
53. AML: Consecuencias integridad Confidencialidad Reducción de la confianza Clasificación errónea Clasificación errónea dirigida Violación de privacidad Disponibilidad Clasificación errónea orientada a la fuente
54. 06 Defensa
55. AML: Defensas Fase de entrenamiento Fase de Testing Cifrado de datos Depuración de datos (“Data Sanitization”) Estadística Robusta Mejoras de robustez Entrenamiento de adversario Destilación defensiva Enmascaramiento de gradiente Compresión de características (“Squeezing”) Reformers/Autoencoders Privacidad diferencial Cifrado homomórfico Métodos de Ensamble de Modelos
56. 56 Defensas según NIST Acceso de datos Envenenamiento (Poisoning) Fase de Entrenamiento Cifrado de datos “Depuración” de datos Estadística robusta Evasión Oráculo Fase de Testing Mejoras de robustez Privacidad diferencial Cifrado homomórfico Defensas Ataques
57. “ "30% de todos los ciberataques a sistemas de IA aprovecharían el envenenamiento de datos de entrenamiento, el robo de modelos de IA o muestras adversas para atacar sistemas impulsados por IA". Gartner 2022
58. Termine de implementar un modelo de ML en producción Seguro que tu equipo tuvo en cuenta la seguridad en ML, no? Seguro que tu equipo tuvo en cuenta la seguridad en ML, no?
60. “Solo hay dos cosas infinitas: el universo y los ciberataques. Y no estoy tan seguro de la primera” (Albert Einstein)
62. 6 2 EKOPARTY THANKS! GRACIAS! You can find me at @solg_sh Sol.gonzalez@eset.com