Benavides2 1Facultad de Ciencias Matemáticas UNIVERSIDAD NACIONAL MAYOR DE SAN MARCOS - UNMSM 2Facultade de Tecnologia UNIVERSIDADE DE BRASILIA - UnB UNMSM Facultad de Ciencias Matemáticas Lima - Perú, 19 y 23 de Febrero, 2015 1 / 125
una imagen 28 × 28 en escalas de grises de un dígito, nos diga cual es el dígito. Dígitos de la base de datos MNIST (http://yann.lecun.com/exdb/mnist/) 10 / 125
es una familia P de subconjuntos no vacíos de A, disjuntos dos a dos, cuya unión es A. Es decir, P = {Ai | i ∈ I}, donde se cumple: 1. Para cada i ∈ I, Ai ⊂ A y Ai = ∅ 2. Para cada par i = j, Ai ∩ Aj = ∅ 3. i∈I Ai = A 16 / 125
en un espacio n-dimensional, D = {x1 , x2 , . . . , xm } y sea k el numero de clusters deseados, la tarea es encontrar una partición de k elementos para el conjunto de datos. La partición denotada por C = {C1 , C2 , . . . , Ck }. Además, para cada cluster Ci existe un elemento representativo que representa al cluster, una opción común para este representante es la media (también llamado centroide) µi de todos los puntos del cluster, así, µi = 1 |Ci | xj∈Ci xj 17 / 125
. . . , Ck } necesitamos alguna función que evalúa la similaridad entre los elementos de un cluster. Para nuestro caso utilizaremos la suma de cuadrado de los errores a cada cluster. SSE(C) = k i=1 xj∈Ci xj − µi 2 El objetivo es encontrar un agrupamiento que minimiza SSE: C∗ = argmin C {SSE(C)} KMeans emplea un método interactivo ambicioso (greedy) para buscar el agrupamiento que minimiza la función objetivo SSE. Así, el algoritmo puede converger a una solución local en vez de la solución global óptima del problema. 19 / 125
1 a K, a cada una de las observaciones. 2. Iterar hasta que la asignación de los cluster deje de cambiar 2.1 Para cada uno de los K cluster, calcular el centroide. El k-ésimo centroide es el vector con las medias de las variables para las observaciones en el k-ésimo cluster. 2.2 Asignar cada observación al cluster donde el entroide este más cerca (donde cercanía se encuentra definida por la distancia Euclidiana. 20 / 125
) 2: t ← 0 3: Inicializar los k centroides aleatoriamente µt 1 , µt 2 , . . ., µt k ∈ Rn 4: repeat 5: t ← t + 1 6: Cj ← ∅ for all j = 1, . . . k 7: for xj ∈ D do 8: j∗ ← argmin xj − µt i 2 9: Cj∗ ← Cj∗ ∪ {xj } 10: end for 11: for i = 1 to k do 12: µt i ← 1 |Ci| xj∈Ci Xj 13: end for k 21 / 125
3 clases con 50 instancias cada una. Una de las clases es linealmente separable de las otras 2 y dos de ellas no son linealmente separables. (a) Iris Setosa (b) Iris Vesicolor (c) Iris Virginica 1http://en.wikipedia.org/wiki/Iris_flower_data_set 22 / 125
primera vez por el profesor Teuvo Kohonen finlandes. 2. Representación de los datos de alta dimensión en una dimensión mucho menor, generalmente 2 dimensiones. 3. Análisis de comportamiento de atributos. Relación entre atributos. 28 / 125
1. La estructura de la red es escogida (dimensión de la red) y los pesos de cada nodo es inicializado. 2. Un vector es escogido aleatoriamente a partir del conjunto de datos de entrenamiento y se introduce a la red. 3. Cada nodo es examinado para calcular cual de los pesos esta mas próximos del vector de entrada. El nodo vencedor es comúnmente conocido como The Best Matching Unit - BMU. 4. El radio de la vecindad del BMU es calculado. Este es un valor que comienza grande, pero disminuye en cada paso de tiempo. Cualquier nodo que esta dentro deste radio es considerado dentro del entorno de la BMU. 5. Los pesos de cada no vecino son ajustados para acercarlos al vector de entrada. Cuanto más próximo un nodo esta de la BMU, mas sus pesos se alteran mas. 6. Repetir el paso 2 para n iteraciones. 34 / 125
lo siguientes elementos El espacio con producto interno Rn como nuestro conjunto universo de datos. El conjunto S donde S ⊂ Rn un conjunto de muestra. Una función f : S → {+1, −1} que denominaremos función de etiquetado. Un conjunto D de entrenamiento, donde D = {(x, y) /x ∈ S, y = f(x)} Debemos hallar una función ˆ f : Rn → {+1, −1}, a partir de D tal que ˆ f f para todo x ∈ S. Vamos a denominar a f como la función de decisión. Cuando el conjunto de entrenamiento D es linealmente separable el problema anterior es denominado problema de clasificación binaria lineal. 38 / 125
de entrenamiento D ⊂ Rn es linealmente separable Si a pertenece a la clase −1, entonces w, a − b < 0 Si a pertenece a la clase +1, entonces w, a − b > 0 Función de decisión de un problema de clasificación binaria lineal La función de decisión ˆ f para el problema, cuya superficie de decisión es L : w, x = b esta dada por ˆ f(x) = sign ( w, x − b) 39 / 125
de decisión óptima para un problema de clasificación binaria -2 -1 1 2 3 4 5 1 2 3 4 5 → xp m∗ → xq → w∗ · → x=b∗ +k → w∗ · → x=b∗ → w∗ · → x=b∗ −k → xp− → xq → w∗ γ El margen máximo puede ser calculado como la proyección del vector (xp − xq) en dirección de w∗: m∗ = w∗, xp − xq |w∗| = 2K |w∗| = φ(w∗, b∗) De aquí se plantea el siguiente problema de optimización convexa m∗ = φ(w∗, b∗) = m´ ax w,b φ(w, b) Este problema maximizacion es equivalente a un problema de minimización m∗ = m´ ın w,b 1 2 w, w 58 / 125
de entrenamiento linealmente separable D = {(x1, y1), (x2, y2), ..., (xl, yl)} ⊂ Rn × {+1, −1}, podemos calcular la superficie de decisión margen máximo w∗, x = b∗ resolviendo el programa convexo (P) m´ ın w,b φ(w, b) = 1 2 w · w sujeto a w, yixi ≥ 1 + yib, donde (xi, yi) ∈ D ⊂ Rn. (4) 1. La función objetivo no depende de b 2. El termino de desplazamiento b aparece en las restricciones 3. Vamos a tener tantas restricciones como puntos de entrenamiento Para superar el problema del ítem 3 podemos resolver el problema dual en lugar del problema primal. 59 / 125
margen máximo Dado un problema dual (LP) derivado del problema de clasificación margen máximo (P). Podemos obtener el programa (DP) tal que (DP) m´ ax α h(α) = m´ ax α l i=1 αi − 1 2 l i=1 l j=1 αiαjyiyj xi, xj sujeto a l i=1 αiyi = 0, αi ≥ 0 para i = 1, . . . , l. El calculo de b esta en términos de w∗, como sigue: b+ = m´ ın { w∗, x | (x, y) ∈ D con y = +1)} b− = m´ ax { w∗, x | (x, y) ∈ D con y = −1)} Entonces b∗ = b++b− 2 Vectores de entrenamiento asociados a λi > 0 son denominados vectores de soporte. 60 / 125
cumplen la condición de posición general. Teorema La cantidad de separaciones lineales por el origen de N puntos en un espacio de dimensión d es: C(N, d) = 2 d−1 k=0 N − 1 k El total de separaciones binarias (en cualquier dimensión) es 2N . Entonces la probabilidad de que una dicotomía elegida aleatoriamente es: P(N, d) = C(N, d) 2N = d−1 k=0 N−1 k 2N−1 67 / 125
conjunto de puntos aumenta a medida que aumenta la dimensión del espacio". Como se observa en la formula C(N, d) = 2 d−1 k=0 N−1 k , manteniendo fijo N y aumentando la dimensión (mediante una aplicación), se tiene que C(N, d) aumenta en términos positivos de la forma N−1 p mientras N > d. 68 / 125
agregados son igual a cero, pues m n = 0 para m < n por definiciónón, y C(N, d) = 2 N−1 k=0 N − 1 k = 2 ∗ 2N−1 = 2N que es justamente el total de separaciones que puede haber. luego en este caso P(N, d) = 1. 69 / 125
d−1 k=0 N − 1 k < p−1 k=0 N − 1 k entonces C(N, d) < C(N, p) luego C(N, d) 2N < C(N, p) 2N P(N, d) < P(N, p). Esto es justamente lo que afirma el teorema de Cover. 70 / 125
de Mercer) Sea k una función continua en [a, b] × [a, b] que cumple b a b a k(t, s)f(s)f(t) ds dt ≥ 0 para todo f en L2([a, b]), entonces, para todo t y s en [a, b] la serie k(t, s) = ∞ j=1 λj ϕj (t)ϕj (s) converge absolutamente y uniformemente en [a, b] × [a, b]. 71 / 125
Mercer El teorema de Mercer nos permite definir una aplicación de características para el kernel k k(t, s) = ∞ j=1 λj ϕj (t)ϕj (s) = λj ϕj (t) ∞ n=1 , λj ϕj (s) ∞ n=1 2([a,b]) Podemos tomar 2([a, b]) como espacio de características, con la siguiente aplicación característica Φ : [a, b] → 2([a, b]) t → λj ϕj (t) ∞ j=1 72 / 125
Reproductivo) Una función K : E × E → C (s, t) → K(t, s) es un kernel reproductivo del espacio de Hilbert H si y solo si 1. Para todo t en E, se cumple que K(., t) es un elemento de H. 2. Para todo t en E y para todo ϕ en H, se cumple ϕ, K(., t) = ϕ(t) La ultima condición es llamada "La propiedad reproductiva": El valor de la función ϕ en el punto t es reproducido por el producto interno de ϕ con K(., t). 73 / 125
Hilbert con Kernel Reproductivo) Un espacio de Hilbert de funciones complejas que posee un kernel reproductivo es llamado Espacio de Hilbert con Kernel Reproductivo (EHKR). 74 / 125
Mercer Teorema (Representacion de Mercer de un EHKR) Sea X un espacio métrico compacto y k : X × X → R un kernel continuo. Definimos H = f = ∞ j=1 aj ϕj aj λj ∈ 2([a, b]) con producto interno ∞ j=1 aj ϕj , ∞ j=1 bj ϕj H = ∞ j=1 aj bj λj Entonces H es un espacio de hilbert con kernel reproductivo k. 75 / 125
Sea K un kernel simétrico y definido positivo en X entonces existe un único Espacio de Hilbert con Kernel Reproductivo. Teorema Todo kernel reproductivo es un kernel Φ : [a, b] → H x → k(., x) k(x, y) = k(., x), k(., y) 77 / 125
Soporte Vectorial No Lineal Vamos a denominar Maquina de Soporte Vectorial a la función de decisión del clasificador de máximo margen dual, definida como ˆ f(x) = sign l i=1 α∗ i yi φ(xi ), φ(x) − b∗ 78 / 125
Soporte Vectorial No Lineal Vamos a denominar Maquina de Soporte Vectorial a la función de decisión del clasificador de máximo margen dual, definida como ˆ f(x) = sign l i=1 α∗ i yi k(xi , x) − b∗ 79 / 125
de Moore-Aronzajn", Nachman Aronszajn (1950) "Teorema de Cover", Thomas Cover (1965) "Maquinas de Soporte Vectorial", Vladimir Vapnik (1992) "Maquinas de Soporte Vectorial Suave", Corinna Cortes y Vladimir Vapnik (1995) 80 / 125
el campo de investigación de la inteligencia artificial. x1 x2 xn−1 xn . . . x0 = 1 w0 n i=0 wi xi o( n i=0 wi xi ) Figura: Un perceptron simple. 82 / 125
programación para análisis estadístico. 2. Cuenta con entorno de programación propio pero hay entornos desarrollados como RStudio con una interfaz más intuitiva. 3. Potente graficador para análisis. 4. OpenSource. Libre! 88 / 125
luz, adquiridas por cámaras digitales. 2. Imágenes de profundidad: Imágenes codificadas como froma y distancia, adquiridas sensores como sonares o digitalizadores lazer. Cualquier imagene digital, no importa su forma o su tipo, es un vector bidimensional de números. 90 / 125
pueden representar intensidad de luz, distancia, etc. La relación exacta entre la imagen digital y el mundo físico es determinada por el proceso de adquisicón, que depende del sensor utilizado. Cualquier información contenida en imagenes (forma, mediciones o identidad de objetos) debe ser extraída (calculada) a partir de vectores numéricos bidimensional, en los cuales está codificada. 91 / 125
luz incidiendo en el sensor después de haber sido reflejada por objetos en la escena. 1. Tipos, intensidad, y dirección de iluminación 2. Propriedades de reflectancia de las superficies visualizadas 3. Efectos de la estructura del sensor en la cantidad de luz que incidio en los fotoreceptores. 93 / 125
sobre la cual el punto 3-D es projectado 1. Tipos de proyecciones 2. Posición y orientación de la cámara en el espacio 3. Distorciones de perspectiva introducidas por el proceso de adquisión de la imagen Todos los factores anteriores son significativos en cualquier dispositivo de adquisición de imagenes, como cámara fotográfica, video-cámaras, o sistemas computarizados. Otros parámetros puede ser incluídos en la lista anterior para caracterizar imagenes digitales y el proceso de adquisión. 1. Propiedades físicas de la matriz fotosensitiva de la cámara 2. La naturaleza discreta de los fotoreceptores 3. La cuantificación de la escala de intensidades 94 / 125
cámara de perspectiva. Ecuaciones fundamentales x = f X Z (6) y = f Y Z (7) Las ecuaciones fundamentales no son lineales (f foco constante, Z variable) 96 / 125
Z ≈ f ¯ Z X (8) y = f Y Z ≈ f ¯ Z Y (9) ¯ Z = distancia media Las ecuaciones anteriores pueden ser entendidas como una proyección ortográfica con f → ∞ y Z → ∞ entonces f Z = 1 y x = X (10) y = Y (11) 98 / 125
N lineas, M columnas E(i, j) intensidad de pixel [0,255] (8 bits) Imagenes coloridas con 3 componenetes monocromáticos (RGB) Figura: Representación de una imagen CCD. 101 / 125
.xCCD (12) yim = m M .yCCD (13) donde N, M son las dimensiones de la imagen en píxeles y n, m las dimensiones del CCD, número de sus elementos. n N y m M : diferencia de escala en las coordenadas n m : produce distorción de la imagen (celdas de formas diferentes de los píxeles) Se asume que existe una relación entre los elementos del CCD y los píxeles de imagenes, y se introduce factores de tamaño vertical y horinzontal. 102 / 125
de la cámara puede ser localizado con respecto a algun otro sistema conocido, por ejemplo, un sistema de coordenadas externo. Las coordenadas de los puntos de la imagen en el sistema de referencia de la cámara puede ser obtenido de las coordenas de píxeles, los únicos directamente disponibles de la imgen. 105 / 125
en Parámetros extrínsecos: Definen la localización y orientación del sistema de referencia de la cámara con respecto a un sistema externo conocido. Parámtros intrínsecos: Necesarios para relacionar las coordenadas de píxeles de una imagen con las coordenas correspondientes en el sistema de referencia de la cámara. 106 / 125
distrociones geom etricas ópticas, y que el sensor CCD es un rectangulo grande de elementos fotosensibles. x = −(xim − ox )sx (19) y = −(yim − oy )sy (20) (ox , oy ) = coordenadas del centro de la imagen en píxeles (punto principal) (sx , sy ) = tamaños efectivos de los píxeles (en milímetros) en las direcciones horinzontales y verticales respectivamente. 108 / 125
del modelo de cámara se reduce a encontrar de la mejor manera estos parámetros Hay algoritmos que los aproximan de manera directa o también de manera indirecta. 109 / 125
imagen o de parte de ella. Por ejemplo: Medidas de las intensidades de píxel Áreas en pixels 2. Parte de una imagen con algunas propiedades especiales (características locales). Son más importantes en Visión computacional. Por ejemplo: Círculo o linea Región texturada de una imagen de intensidad Superficie plana en una imagen de profundidad 110 / 125
de una imagen. Todo esto cuando existe un algoritmo para su detección, si no, no tiene utilidad. Características diferentes tienen algoritmos diferentes para su detección La extracción de características es un paso intermediario Algoritmo de detección solo puede ser validado dentro de el contexto del sistema entero. 111 / 125
y contorno Puntos de un borde, o simplemente bordes, son píxeles, o regiones en torno de ellos, con valores de intensidad de imagen con variaciones acentuadas. Figura: (a) Imagen 325x237 píxeles, con linea en i=56 mostrada. (b) perfil de intensidad a lo largo de la linea. 112 / 125
de la detección de bordes 1. Atenuación de ruído 2. Realce de bordes 3. Localización de borde Algoritmos más conocidos CANNY EDGE DETECTOR, ROBERT EDGE y SOBEL EDGE. 113 / 125
lineas y curvas Dada una salida de un detector de contorno en una imagen I, hallar todas las formas de una curva dada o parte de ella en I. a · x = ax + by + c = 0. (21) 114 / 125
perceptron: A probabilistic model for information storage and organization in the brain,Psychological Review, Vol 65(6), Nov 1958, 386-408. R. Fisher, The use of multiple measurements in taxonomic problems, Annual Eugenics, 7, Part II, 179-188 (1936); also in Çontributions to Mathematical Statistics"(John Wiley, NY, 1950). M. Akmam, A Data Mining Approach to Construct Graduates Employability Model in Malaysia, Hong Kong: International Journal on New Computer Architectures and Their Applications, 2011 122 / 125
imbalanced credit scoring data sets using SAS, Southampton: SAS Global Forum, 2012 C. Chou,Using Tic-Tac-Toe for Learning Data Mining Classifications and Evaluations, Charleston: International Journal of Information and Education Technology, 2013 J. Yan, Self-Organizing Map, Repository CRAN, 2010 J. Vesanto, J. Himberg, E. Alhoniemi, J. Parhankangas, SOM Toolbox for Matalb 5, SOM Toolbox Team, Helsinki University of Technology, Finland, 2000 123 / 125
Analysis with Self-Organizing Maps*, Tsinghua National Laboratory for Information Science and Technology, Department of Automation, Tsinghua University, Beijing 100084, China, 2008 124 / 125
matiskay
cmusudakeisuke
ryomrt
lmi
kenjikondobai
kimujun
tohutohu
10xinc
kakehashi
.jpeg){kind=avatar}
arthur1
akexorcist
sinsoku
iotengineer22
moore
afnizarnur
kevinliebholz
hannesfritz
holman
cassininazir
bluesmoon
rocio
irinanazarova
lauravandoore
chriscoyier
3n
