The bad guys in AI: Atacando sistemas de Machine Learning @T3chFest 2019

Transcript

1. The bad guys in AI atacando sistemas de machine learning
2. Sobre nosotras • PyLadies Madrid • Django Girls • Data Scientists • StyleSage Alicia Pérez alipeji aliciapj Beatriz Gómez g_Beaa gomezabeatriz
3. [source]
4. [source]
5. [source]
6. redes neuronales Breve introducción a las...
7. Modelos discriminativos [source]
8. [source] Extracción de características
9. [source] Ejemplo con MNIST
10. [source] Entrada
11. [source] Conv #1
12. [source] Conv #3
13. [source] Salida
14. [source]
15. [source] Aprendizaje de características • Inicialización aleatoria de los parámetros • Convergencia gracias a métodos de optimización
16. Descenso del gradiente [source]
17. Descenso del gradiente [source]
18. Descenso del gradiente [source]
19. Descenso del gradiente [source]
20. Modelos discriminativos [source]
21. Modelos generativos
22. thiscatdoesnotexist.com
23. [source]
24. Arte - Style Transfer [source]
25. p(Perro) = 7% p(Gato) = 93% p(Perro) = 87% p(Gato) = 13% ✔ ✘ ? Modelos discriminativos Evaluación de modelos Modelos generativos
26. Arquitecturas adversarias
27. Modelo discriminativo Paso 1: Modelo discriminativo Real Fake
28. Modelo discriminativo Modelo generativo Paso 2: Modelo generativo Real Fake
29. No aprende a clasificar, aprende a engañar
30. MNIST | Red generativa
31. Fake! Fake! Fake! Fake! Fake! Fake! [source]
32. [source]
33. [source] “Everybody Dance Now”
34. Ataques adversarios
35. “king penguin” 100% confidence “tripod” 71% confidence Ataque adversarios Imágenes antagónicas [source]
36. Tipos de ataque No orientado El más habitual Sólo se busca que el clasificador ofrezca un resultado incorrecto Orientado Más difícil Busca obtener una clase específica Caja blanca Tenemos acceso al modelo: • Arquitectura • Parametrización • Datos de entrenamiento Caja negra Sólo disponemos de la salida del modelo
37. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias Recuerda: Ataque no orientado de caja negra
38. Por partes
39. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias Recuerda: Ataque no orientado de caja negra
40. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias
41. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias
42. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias Solo nos interesan los decision boundaries
43. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias
44. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias
45. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias
46. Plan de ataque Recuerda: Ataque no orientado de caja negra Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias label = 7 label = 8 label = 4 label = 5 label = 6 label = 3 label = 3 label = 1 label = 2 label = 5 label = 9 label = 8 label = 9 label = 8 label = 6 label = 0 label = 9 label = 7 label = 2 label = 1
47. Atacando un sistema real Demo time!
48. “soup” high confidence “other-food” any confidence Atacar un sistema de clasificación de comida Objetivo: “soup” high confidence “non-food” any confidence + + = =
49. Crear el clasificador de comida Paso 1 Modelo discriminativo
50. epfl.ch Food-11- Etiquetas con 11 tipos de comida. Imágenes: 16643 Food-5K - Etiquetas binarias. Imágenes: 2500 comida, 2500 no comida Dataset de entrenamiento Modelo discriminativo [source]
51. [source] Modelo discriminativo Categoria Imágenes Bread 1724 Dairy product 721 Dessert 2500 Egg 1648 Fried food 1461 Meat 2206 Noodles/Pasta 734 Rice 472 Seafood 1505 Soup 2500 Vegetable/Fruit 1154 Non food 2500
54. Modelo discriminativo Topología de la red Red neuronal InceptionV3 • 23.851.784 parámetros • 159 capas • Pre-entrenada en Imagenet • Reentrenamiento de capas profundas
55. Resultados | 91% de accuracy
56. Resultados | 91% de accuracy
57. Resultados | 91% de accuracy
58. Resultados | 91% de accuracy
59. Recuerda: Ataque no orientado de caja negra
60. Preparar el ataque Paso 2 Modelo adversario
61. Cleverhans “An adversarial example library for constructing attacks, building defenses, and benchmarking both” Modelo adversario By Goodfellow and Papernot
62. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias MODELO ADVERSARIO
63. Definir modelo “sustituto” train_generator = train_datagen. flow_from_directory( '/data/randomfood/training' , target_size =(IM_WIDTH, IM_HEIGHT), batch_size =BATCH_SIZE, ) validation_generator = test_datagen. flow_from_directory( '/data/randomfood/evaluation', target_size =(IM_WIDTH, IM_HEIGHT), batch_size =BATCH_SIZE, ) x_train, y_train = train_generator. next() x_test, y_test = validation_generator. next() # Initialize substitute training set reserved for adversary X_sub = x_test Y_sub = np.argmax(y_test, axis=1) Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos attack/blackbox_keras.py
64. Recuerda: Ataque no orientado de caja negra train_generator = train_datagen. flow_from_directory( '/data/randomfood/training' , target_size =(IM_WIDTH, IM_HEIGHT), batch_size =BATCH_SIZE, ) validation_generator = test_datagen. flow_from_directory( '/data/randomfood/evaluation', target_size =(IM_WIDTH, IM_HEIGHT), batch_size =BATCH_SIZE, ) x_train, y_train = train_generator.next() x_test, y_test = validation_generator.next() # Initialize substitute training set reserved for adversary X_sub = x_test Y_sub = np.argmax(y_test, axis=1) Carga de imágenes Reservamos una parte de los datos para que nos sirvan de test en el modelo sustituto attack/blackbox_keras.py Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
65. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias MODELO ADVERSARIO
66. attack/blackbox_keras.py model = load_model('/data/inceptionv3-ft120_910acc.model') kmodel = KerasModelWrapper(model) bbox_preds = kmodel.get_probs(x) # You could replace this by a remote labeling API for instance Hacemos la llamada para obtener las predicciones Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
67. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias Recuerda: Ataque no orientado de caja negra
68. attack/blackbox_keras.py class ModelSubstitute (Model): def __init__(self, scope, nb_classes, nb_filters=200, **kwargs): del kwargs Model. __init__(self, scope, nb_classes, locals()) self.nb_filters = nb_filters def fprop(self, x, **kwargs): del kwargs my_dense = functools.partial( tf. layers.dense, kernel_initializer =HeReLuNormalInitializer ) with tf.variable_scope( self.scope, reuse=tf.AUTO_REUSE): y = tf.layers.flatten(x) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) logits = my_dense(y, self.nb_classes) return {self.O_LOGITS: logits, self .O_PROBS: tf.nn.softmax(logits=logits)} Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
69. attack/blackbox_keras.py class ModelSubstitute(Model): def __init__(self, scope, nb_classes, nb_filters=200, **kwargs): del kwargs Model.__init__(self, scope, nb_classes, locals()) self.nb_filters = nb_filters def fprop(self, x, **kwargs): del kwargs my_dense = functools.partial( tf. layers.dense, kernel_initializer =HeReLuNormalInitializer ) with tf.variable_scope( self.scope, reuse=tf.AUTO_REUSE): y = tf.layers.flatten(x) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) logits = my_dense(y, self.nb_classes) return {self.O_LOGITS: logits, self .O_PROBS: tf.nn.softmax(logits=logits)} Sustituto hereda de Modelo. Interfaz abstracta. Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
70. attack/blackbox_keras.py class ModelSubstitute(Model): def __init__(self, scope, nb_classes, nb_filters=200, **kwargs): del kwargs Model.__init__(self, scope, nb_classes, locals()) self.nb_filters = nb_filters def fprop(self, x, **kwargs): del kwargs my_dense = functools.partial( tf.layers.dense, kernel_initializer=HeReLuNormalInitializer) with tf.variable_scope(self.scope, reuse=tf.AUTO_REUSE): y = tf.layers.flatten(x) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) y = my_dense(y, self.nb_filters, activation=tf.nn.relu) logits = my_dense(y, self.nb_classes) return {self.O_LOGITS: logits, self .O_PROBS: tf.nn.softmax(logits=logits)} Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos Configuración de la red: “sencilla”
71. attack/blackbox_keras.py # Define TF model graph (for the black-box model) model_sub = ModelSubstitute('model_s', nb_classes) preds_sub = model_sub.get_logits(x) loss_sub = CrossEntropy(model_sub, smoothing=0) Configuración del sustituto Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
72. attack/blackbox_keras.py for rho in xrange(data_aug): print("Substitute training epoch #" + str(rho)) train_params = {'nb_epochs': nb_epochs_s, 'batch_size': batch_size, 'learning_rate': learning_rate} train(sess, loss_sub, x, y, X_sub, to_categorical(Y_sub, nb_classes), init_all =False, args=train_params, rng=rng, var_list =model_sub.get_params()) if rho < data_aug - 1: lmbda_coef = 2 * int(int(rho / 3) != 0) - 1 X_sub = jacobian_augmentation (sess, x, X_sub, Y_sub, grads, lmbda_coef * lmbda , aug_batch_size) Y_sub = np.hstack([Y_sub, Y_sub]) X_sub_prev = X_sub[int(len(X_sub)/2):] eval_params = {'batch_size': batch_size} bbox_val = batch_eval(sess, [x], [bbox_preds], [X_sub_prev], args =eval_params)[0] Y_sub[int(len(X_sub)/2):] = np.argmax(bbox_val, axis=1) Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
73. attack/blackbox_keras.py for rho in xrange(data_aug): print("Substitute training epoch #" + str(rho)) train_params = {'nb_epochs': nb_epochs_s, 'batch_size': batch_size, 'learning_rate': learning_rate} train(sess, loss_sub, x, y, X_sub, to_categorical(Y_sub, nb_classes), init_all=False, args=train_params, rng=rng, var_list=model_sub.get_params()) if rho < data_aug - 1: lmbda_coef = 2 * int(int(rho / 3) != 0) - 1 X_sub = jacobian_augmentation(sess, x, X_sub, Y_sub, grads, lmbda_coef * lmbda, aug_batch_size) Y_sub = np.hstack([Y_sub, Y_sub]) X_sub_prev = X_sub[int(len(X_sub)/2):] eval_params = {'batch_size': batch_size} bbox_val = batch_eval(sess, [x], [bbox_preds], [X_sub_prev], args =eval_params)[0] Y_sub[int(len(X_sub)/2):] = np.argmax(bbox_val, axis=1) Entrenamiento del sustituto Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
74. attack/blackbox_keras.py for rho in xrange(data_aug): print("Substitute training epoch #" + str(rho)) train_params = {'nb_epochs': nb_epochs_s, 'batch_size': batch_size, 'learning_rate': learning_rate} train(sess, loss_sub, x, y, X_sub, to_categorical(Y_sub, nb_classes), init_all=False, args=train_params, rng=rng, var_list=model_sub.get_params()) if rho < data_aug - 1: lmbda_coef = 2 * int(int(rho / 3) != 0) - 1 X_sub = jacobian_augmentation(sess, x, X_sub, Y_sub, grads, lmbda_coef * lmbda, aug_batch_size) Y_sub = np.hstack([Y_sub, Y_sub]) X_sub_prev = X_sub[int(len(X_sub)/2):] eval_params = {'batch_size': batch_size} bbox_val = batch_eval(sess, [x], [bbox_preds], [X_sub_prev], args =eval_params)[0] Y_sub[int(len(X_sub)/2):] = np.argmax(bbox_val, axis=1) Aumento de datos - generación de datos sintéticos Entrenamiento del sustituto Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
75. Plan de ataque Obtener datos iniciales Obtener predicciones del modelo a atacar (oráculo) Entrenar modelo sustituto Generar imágenes adversarias Recuerda: Ataque no orientado de caja negra
76. Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos attack/blackbox_keras.py # Initialize the Fast Gradient Sign Method (FGSM) attack object. fgsm_par = {'eps': 0.3, 'ord': np.inf, 'clip_min': 0., 'clip_max': 1.} fgsm = FastGradientMethod (model_sub, sess=sess) # Generate adversarial images x_adv_sub = fgsm.generate(x, **fgsm_par) adv_images = sess.run(x_adv_sub, feed_dict={x: x_test})
77. attack/blackbox_keras.py # Initialize the Fast Gradient Sign Method (FGSM) attack object. fgsm_par = {'eps': 0.3, 'ord': np.inf, 'clip_min': 0., 'clip_max': 1.} fgsm = FastGradientMethod(model_sub, sess=sess) # Generate adversarial images x_adv_sub = fgsm.generate(x, **fgsm_par) adv_images = sess.run(x_adv_sub, feed_dict={x: x_test}) Usamos el gradiente del modelo sustituto para inicializar el FGSM Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
78. attack/blackbox_keras.py # Initialize the Fast Gradient Sign Method (FGSM) attack object. fgsm_par = {'eps': 0.3, 'ord': np.inf, 'clip_min': 0., 'clip_max': 1.} fgsm = FastGradientMethod (model_sub, sess=sess) # Generate adversarial images x_adv_sub = fgsm.generate(x, **fgsm_par) adv_images = sess.run(x_adv_sub, feed_dict={x: x_test}) Generamos los ejemplos antagónicos Definir modelo “sustituto” Cargar datos Etiquetar con el “oráculo” Entrenar modelo “sustituto” Crear ejemplos antagónicos
79. https://bit.ly/2SsBV8Y
80. Atacamos Paso 3
82. Resultado
83. Resultado
84. Resultado
85. Resultado
86. Resultado
87. Ataques en el mundo real
88. Los ataques traspasan lo digital [source]
89. [source]
90. [source]
91. [source]
93. Cómo defendernos
94. No existe un método infalible. Las propuestas actuales se basan en redes de neuronas. No es fácil. ¡Las APIs son vulnerables! Cómo defendernos Estrategia reactiva • Intentar detectar y anular el ataque. • Aumentar el tamaño de las entradas o la complejidad de la red para suponer mayor esfuerzo al sistema atacante. Estrategia proactiva • Crear modelos más robustos a los ataques. • Técnicas relacionadas con el entrenamiento de la red.
95. NO es fácil Nuestras APIS son VULNERABLES
96. Estrategias que podemos seguir PROACTIVA REACTIVA [source]
97. [source] PROACTIVA PROACTIVA
98. [source] ADVERSARIAL TRAINING DEFENSIVE DISTILLATION PROACTIVA
99. ADVERSARIAL TRAINING DEFENSIVE DISTILLATION [source]
100. [source] ADVERSARIAL TRAINING DEFENSIVE DISTILLATION DISCRIMINATIVE 1 P(1) = 1 DISCRIMINATIVE 2 P(1) = 0.9
101. Adversarial training El dataset de entrenamiento del modelo se enriquece añadiendo ejemplos antagónicos creados por nosotros. Aumenta la robustez del modelo y sirve como factor regularizador. Defensive distillation Aplica el principio de entrar un modelo sustituto para reducir la confianza de las predicciones del sistema. El modelo se entrena sobre distribuciones de probabilidad en vez de etiquetas. Gradient masking Intenta ocultar el gradiente. Se ha demostrado que no es válido. El modelo sustituto lo hace inútil. Estrategias proactivas [source]
102. Reflexiones
103. [source] • La IA ya salido del ámbito teórico y la investigación. • Technical AI safety es un campo nuevo, pero con mucho potencial. • Ya presente en empresas como Google DeepMind, con su DeepMind safety team. • Partnerships on AI (+80 socios) también tiene presente la seguridad en AI.
104. GRACIAS ¿Alguna pregunta? @alipeji | alicia@stylesage.co @g_Beaa | beatriz@stylesage.co ?