¿Te interesa la visión por computador? ¿Te gustaría saber cómo se puede reconocer el contenido visual de las imágenes y clasificarlas a partir de su contenido? En este curso aprenderás diferentes métodos de representación y clasificación de imágenes. El temario del curso te permitirá conocer el esquema básico de clasificación de imágenes conocido como Bag of Visual Words. A partir de este esquema básico aprenderás cómo utilizar varios descriptores locales de la imagen así como los métodos de clasificación más habituales. También describiremos diferentes extensiones del esquema básico que permiten combinar distintos descriptores, incluir información espacial o mejorar la representación final de la imagen. Finalizar el curso te permitirá: • Diseñar soluciones adaptadas para diferentes problemas de clasificación y reconocimiento de imágenes • Conocer las principales técnicas usadas para la descripción y clasificación de una imagen • Acceder a las herramientas que permiten el desarrollo de aplicaciones reales de clasificación de imágenes El curso está orientado tanto a estudiantes universitarios de algún grado relacionado con la informática, la ingeniería o las matemáticas, como a otros estudiantes con conocimientos de programación, interesados en aprender cómo utilizar técnicas de visión por computador para extraer información de las imágenes.
Detección de características locales: SURF
Loading...
Del curso dictado por Universitat Autònoma de Barcelona
Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?
51 calificaciones
Universitat Autònoma de Barcelona
51 calificaciones
De la lección
Extracción de características
En esta semana completaremos la explicación de métodos de extracción de características que iniciamos en la primera semana ofreciendo alternativas a la utilización de SIFT. En concreto veremos SURF como un nuevo método de detección y extracción más eficiente computacionalmente que SIFT. Para aumentar la capacidad descriptiva de las características analizaremos otras estrategias para la detección de características locales e introduciremos descriptores que nos permitan tener en cuenta la información del color en la imagen. Veremos también como podemos también mejorar la eficiencia computacional reduciendo la dimensión de los descriptores de carácterísticas locales.
Conoce a los instructores
Ernest ValvenyCatedrático Escuela Universitaria
Departamento de Ciencias de la Computación
Jordi Gonzàlez SabatéProfesor Titular de Universidad
Departamento de Ciencias de la Computación
Ramon Baldrich CasellesProfesor titular
Departamento de Ciencias de la Computación
[MÚSICA] Tal y
como habíamos comentado en la presentación de la semana nos vamos a dedicar
a proponer diferentes alternativas a los diferentes pasos previos
a la extracción del vocabulario en el esquema de bag of words.
Esto es nos vamos a centrar en el
trabajo sobre las características locales de la imagen.
La primera propuesta de extensión es el uso de un
detector y descriptor alternativo a SIFT, llamado SURF,
por el nombre en inglés de Speeded Up Robust Features, presentado en el 2006.
Básicamente la idea que persigue este detector, descriptor es la de
realizar las mismas tareas pero de forma más eficiente.
Por ello igual que SIFT plantea 2 fases, la detección y la de descripción.
En este primer vídeo vamos a centrarnos en la parte de detección y en el segundo
vídeo explicaremos un poco más en detalle la parte de descripción de este modelo.
En caso de tener dudas sobre
el descriptor y sus detalles hay un montón de bibliografía
accesible para quien quiera profundizar más en estos detalles.
Bien las características de SURF
son básicamente las que se presentan en esta transparencia.
Una detección rápida de los puntos de interés,
según los autores 3 veces mejor que SIFT.
Cualquier descriptor y detector debe ser capaz de describir los
puntos locales de forma distintiva, de manera que se pueda, que tenga capacidad
de distinguir entre diferentes configuraciones locales de la imagen.
Y como la mayoría de descriptores intentan ser robustos a diferentes
características que pueden variar dentro de la imagen, por ejemplo la rotación,
el posible desenfoque de la escena, el cambio de escala, que es fundamental,
cambios de iluminación en la escena y pequeños cambios de punto de vista.
Si el punto de vista y el cambio de punto de vista es significativo,
todos los detectores y descriptores van a sufrir problemas en este apartado.
Bien, para ello el detector de SURF debe localizar
cuáles son los puntos de la imagen que localmente presentan alguna variación que
los hace interesantes para poder hacer una descripción del contenido de la imagen.
El mecanismo que utiliza SURF para esta detección es la llamada matriz Hessiana,
esta matriz Hessiana está compuesta por 4 componentes y estos componentes
no son nada más que la segunda derivada de una gaussiana de una determinada sigma.
Vamos a entrar posteriormente en detalle del significado de esta segunda derivada.
Pero la idea principal que utiliza SURF
es usar el determinante de esta matriz Hessiana como indicador de
los cambios locales que suceden alrededor de un determinado punto de interés.
Y acabaremos seleccionando aquellos puntos de interés que tengan
un determinante mayor, o sea que expresen un cambio local mayor
respecto al resto de contenido de la imagen.
Como hemos dicho se basa en utilizar la segunda derivada de la gaussiana.
En vídeos anteriores hemos visto lo que implica un filtro gaussiano,
cómo trabaja un filtro gaussiano.
Aquí vemos su expresión matemática y lo que es más interesante su expresión
gráfica, con lo cual la consecuencia de aplicar un filtro gaussiano,
como se comentaba, es una suavización a medida que se aumenta esta gaussiana.
Vamos a utilizar esta idea para incorporar el concepto de escala.
La escala la podemos interpretar como cuando más lejos estamos de la
imagen nuestro sistema visual más suaviza lo que percibimos,
y es el efecto que quiere conseguir la gaussiana.
Utilizando la gaussiana como base vamos a ver cómo podemos detectar
estos cambios locales.
En este ejemplo utilizamos una señal unidimensional para simplificar
la extensión a 2 dimensiones cómo sería una imagen, sería directa.
Esta de aquí sería el modelo gaussiano, una gaussiana determinada sigma,
para el detalle no importa, su primera derivada y su segunda derivada.
Si observamos una señal cualquiera donde lo que queremos es
obtener dónde ha habido cambios locales, dónde están los cambios locales,
deberíamos seleccionar estos dos puntos de aquí como puntos característicos.
Sí que hay ciertos puntos característicos a lo largo de toda la señal,
pero son tan pequeños que en principio no tienen demasiado interés.
Necesitamos algún sistema que nos permita hacer este tipo de selección.
Si filtramos esta imagen por la
gaussiana directamente lo que obtenemos es esta señal de aquí,
que lo que se observa es una suavización de la señal de entrada, Ha cambiado
la escala debido a los factores de suavización y lo que observamos es que sí
que ha habido algunos puntos máximos aquí, que aquí han desaparecido.
Pero aún la señal no es del todo nítida,
aquí hay un máximo que podría inducirnos a error,
con lo cual buscar máximos y mínimos aquí en esta señal tiene un cierto peligro.
La idea pues es utilizar la segunda derivada.
Sabemos que si tenemos una función cualquiera para buscar máximos y mínimos
de esta función,
podemos cálcular su derivada y buscar los ceros de esta derivada.
Estos ceros vendrán a ser máximos y mínimos de la señal.
Al hacer la primera derivada
sobre una gaussiana lo que estamos haciendo es introducir
este suavizado que hemos conseguido en la primera fase y a la vez derivar la señal.
Esta gráfica de aquí es el resultado de
aplicar la primera derivada sobre la señal, utilizando una gaussiana.
Podríamos utilizar esta señal para detectar cuáles son los puntos de máximos
y mínimos en la señal original y cómo lo haríamos.
Básicamente sería utilizando la propiedad de la derivada,
que es buscando los cruzamientos por 0,
cuando pase de positivo a negativo, cuando pase de negativo a positivo.
Si observamos serían todos aquellos puntos que interseccionan con la señal a 0,
y observamos que aquí tenemos un punto de cruce, aquí ya tenemos otro punto de
cruce, tenemos otro punto de cruce, hay muchísimos puntos de cruce,
pero de los cuáles los relevantes serían este de aquí y este de aquí.
Esta señal es demasiado ruidosa aún, una manera de solucionarlo es buscar
la respuesta en la segunda derivada, que sería la última gráfica de este esquema.
Al filtrar la señal de entrada por esta segunda derivada,
lo que obtenemos es esta nueva señal de aquí,
en la que los máximos y mínimos han sido filtrados de forma muy significativa.
Nos queda de forma resaltada cuáles son los puntos de interés en nuestra señal.
Vamos a utilizar esta idea para conseguir realzar los puntos
en los cuales hay un cambio local significativo, que puede ser indicativo
de una estructura importante a representar en nuestra imagen.
Para ello lo que utilizamos es los cartesianos, pero en 2 dimensiones.
La apariencia de la señal gaussiana, de la segunda derivada de la señal
gaussiana es la que se presenta en estas gráficas, en este caso es la
segunda derivada respecto a x, esta x es la segunda derivada respecto a y,
que es la misma pero girada 90 grados, y este caso de aquí
es la segunda derivada respecto a x y respecto a y posteriormente.
Los resultados que se obtienen aplicándolos sobre una imagen real,
serían los que se observan en la fila de abajo
y en los que podemos observar que el primer filtro, el de la segunda
derivada en x es muy sensitivo a cambios en vertical, a cambios en esta dirección.
La segunda derivada respecto a y será sensitivo
a cambios en esta dirección de aquí, en esta dirección.
Se observa en esta zona.
Y la derivada segunda en xy será
receptivo a cambios en diagonal, como sucede en este caso de aquí.
El problema que tenemos es pues que lo que queremos es combinarlo lo otro,
y para combinarlo la manera de hacerlo
que proponen los autores es calculando el determinante de la matriz.
En este caso lo que podemos observar, el resultado de aplicar el determinante
directamente, en este caso ya hemos filtrado la imagen por las 4
señales y hemos calculado su determinante, multiplicando diagonales,
multiplicando diagonal principal, restando La multiplicación de la
diagonal a la secundaria y este es el resultado obtenido.
Aquí observamos que lo que has resaltado han sido los puntos
donde realmente hay cambios significativos en la estructura de la imagen,
toda la parte interior del dragón y los perímetros de este.
En esta segunda imagen lo que observamos es el efecto de utilizar una Gaussiana,
de una sigma mayor, con lo cual es como si estuviéramos mirando la imagen desde
más lejos y lo que resalta más serían aquellas estructuras mayores,
la mano del dragón entera, los bordes, etcétera.
Pues bien, el problema de utilizar este tipo de aproximación es que para calcular
el filtro a la convolución con un filtro de este tipo necesitamos n por n,
donde n es el tamaño del filtro,
n por n multiplicaciones decimales por cada pixel de la imagen.
Esto conlleva un costo computacional muy elevado y la alternativa en
SURF es utilizar una aproximación a este filtro.
Si dibujamos el filtro de la segunda derivada de
la Gaussiana como una imagen lo que obtenemos es esta imagen de aquí.
Esto sería la representación de este filtro en 3 dimensiones,
pero sobre una imagen.
En lugar de utilizar este filtro utilizaremos una aproximación de este
filtro, y vamos a decir que toda esta zona de aquí es negra y toda esta zona
de aquí es positiva y esta zona de aquí es positiva, donde negro es el negativo,
y el blanco es el positivo y el gris correspondería a 0.
Por tanto hacemos una binarización
de este filtro y obtenemos esta aproximación de aquí.
Vamos a tener errores, porque no es tan preciso, pero en promedio
la señal será significativa respecto a lo cambios locales que aparecen.
Este primer ejemplo es el caso de el filtro de segunda derivada con respecto
a x, y este es la binarización y la aproximación del filtro de la segunda
derivada respecto a x e y, que lo que nos hace es detectar los cambios en diagonal.
Lo que conseguimos es que lo único que necesitamos es multiplicar por 2 o
por 1 el contenido de los píxeles de las imágenes,
que esto simplemente es hacer un desplazamiento.
Con lo cual n por n multiplicaciones, conseguimos utilizar n por n
sumas enteras por cada pixel de la imagen, con lo cual abarata el coste de cálculo.
Podemos ir un poco más allá y conseguir un mejor rendimiento
del proceso, en lugar de utilizar n por n sumas vamos
a hacer que la operación por pixel nos cueste únicamente 4 operaciones.
Para ello, partiendo de la binarización que hemos hecho como paso previo
del filtro de la segunda derivada,
vamos a utilizar el concepto de imágenes integrales.
La imagen integral es una nueva imagen, que llamaremos O de x, en la que para
cada punto de la imagen lo que guardamos en ese punto es la suma acumulada de todas
las intensidades de la imagen desde el punto de origen hasta el punto de interés.
Es decir la suma de todas las intensidades en este rectángulo,
de manera que quisiéramos obtener las intensidades,
la suma de las intensidades de este rectángulo de aquí,
las únicas operaciones necesarias serían una vez calculado la imagen integral
de todos los píxeles sería coger el valor acumulado en este punto O de x,
restarle el valor acumulado en el punto z.
Es decir le restaríamos toda esta parte de aquí, todas las intensidades de aquí,
le restaríamos todas estas intensidades de aquí, todas estas intensidades
y le sumaríamos estas intensidades de aquí, ya que estas se han restado 2 veces,
con lo cual con 3 operaciones obtenemos la suma total de los píxeles que hay en t.
Habría una cuarta operación que sería multiplicar los valores por el
correspondiente factor que nos indica el filtro aproximado de la segunda derivada.
Con ello conseguimos que una operación que en principio
era n por n multiplicaciones en decimal coma flotante,
pasen a ser 4 operaciones por cada 1 de los píxeles,
con el consiguiente aumento de rendimiento y velocidad de respuesta del operador.
Otras de las partes interesantes e importantes de cualquier detector
es que sea capaz de describir a qué escala
un cierto punto local es interesante respecto al contenido de la imagen.
Podemos decir que una escala grande no se extraerá
zonas de la imagen significativamente importantes en tamaño.
Una escala grande nos podría detectar o como un punto de interés toda esta mano.
En escalas pequeños lo que tendremos es puntos de interés en estas pequeñas
manchas que ven aquí.
La manera de conseguirlo en el esquema de SIFT que se vio es utilizar
una pirámide de imágenes, con lo cual lo que obteníamos era un filtro constante y
lo que variábamos es la imagen de entrada a la que le hacíamos un reescalado,
y cada vez teníamos una imagen más pequeña representado puntos de vista más lejanos.
Partiendo de la idea de utilizar filtros filtros de aproximados de la segunda
derivada con las imágenes integrales vemos que no importa el tamaño del filtro, si
el filtro es grande va a tardar lo mismo en calcularse si el filtro es pequeño.
Con lo cual la propuesta de SURF es utilizar la imagen original en
su tamaño inicial sin tocarlo y lo que modificamos es el tamaño del filtro.
El tamaño del filtro será más grande a medida que aumentemos
la escala en la cual intentamos detectar los puntos de interés.
El coste va a ser el mismo sea cual sea el tamaño del filtro,
con lo cual tiene una complejidad que aumenta de forma lineal y no exponencial.
Pero el siguiente paso es la detección del punto de interés local
dada una imagen, y en este caso se sigue el mismo esquema que se seguía en SIFT.
Para cada punto de la imagen lo que hacemos es poner una
rejilla centrada en este punto de 3x3, tanto en la capa que estamos mirando,
en la escala que estamos mirando, como en la escala inferior y escala superior.
Por tanto lo que tendremos es un esquema de este tipo para cada pixel de la imagen
en el que analizaremos un vencindaje de 3x3x3, un cubo de 3x3x3, que
incluirá la capa, la escala de análisis, la escala superior y la escala inferior.
Y lo que nos interesa son aquellos puntos que son máximos en este entorno,
si es un punto máximo, entonces sera un punto de interés.
Y con esto somos capaces de detectar
cuáles son los puntos que son realmente significativos porque tienen una
cierta estructura local diferente a su entorno, y cuáles no.
Y además podemos detectar cuán de importante son
por la magnitud de este máximo que obtenemos aquí.
Hasta aquí el detector de SURF y lo que observamos aquí es un
ejemplo del comportamiento del lector de SURF respecto al detector SIFT.
Lo que vemos es que SIFT es capaz de
trabajar con detalles menores que SURF, en este caso no detecta.
Por suerte la mayoría de puntos de interés significativos aparecen tanto en una
imagen como en otra, y en ciertos casos el evitar estos puntos
de pequeñas variaciones locales puede ser una ventaja respecto a SIFT.
En este vídeo pues los conceptos claves que hemos visto respecto a detección de
puntos de interés por parte de SIFT, es el concepto de Gessiano de una imagen
y el uso de el Gessiano, como mecanismo para acelerar el proceso,
gracias a los conceptos la aproximación discreta de la segunda derivada y el uso
de imagen integral de forma extensiva.
Y finalmente la aplicación de la escala sobre el filtro para
aumentar aún más la velocidad de aplicación de este operador.
Explora nuestro catálogo
Inscríbete de manera gratuita y obtén recomendaciones personalizadas, actualizaciones y ofertas.
Coursera brinda acceso universal a la mejor educación del mundo, al asociarse con las mejores universidades y organizaciones, para ofrecer cursos en línea.
© 2018 Coursera Inc. Todos los derechos reservados.
