Imágenes generadas por GAN

Descubriendo las fascinantes posibilidades de la IA

Juguemos a un juego... ¿Adivinas qué tienen en común estos retratos?  

Todas estas son personas inexistentes. Las imágenes fueron creadas por una inteligencia artificial. Podríamos decir que la IA "soñó" con esas personas. 

¿Cómo puede una máquina inventar los rostros de la gente?

La idea genial vino de Ian Goodfellow, quien era estudiante de doctorado en 2014, cuando él y sus colegas publicaron un artículo sobre este tema. Sugirió un concepto conocido como GAN - del inglés "generative adversary networks" (redes de adversarios generativos). Generativas porque generan -> crean resultados (imágenes) y adversarias porque las dos redes actúan como oponentes - están "jugando un juego" uno contra el otro. Una de las redes quiere generar una imagen que parezca realista, y la otra red tiene la tarea de decir si la imagen es generada por la red o si es de hecho una imagen original del conjunto de datos de fotos reales. 

Para explicar mejor este concepto podemos usar la popular metáfora de falsificador de arte y crítico de arte, que personalmente encuentro muy útil. Imaginemos lo siguiente: uno de los "jugadores" (la red de aprendizaje profundo) quiere forjar pinturas, tratando de imitar obras de arte, mientras que el otro actúa como un crítico de arte, que quiere ser capaz de distinguir cuál pintura es una obra original y cuál es una falsificación. Así que el falsificador comienza su trabajo creando imágenes al azar, y el crítico evalúa si la imagen es un original o una falsificación. En nuestro caso, original significaría que la imagen proviene del conjunto de datos originales con retratos de personas reales. Después de cada turno, ambos jugadores mejoran en su trabajo, lo ideal sería que el falsificador creara imágenes tan buenas, que el crítico no tuviera forma de saber si la pintura es real o falsa y por lo tanto adivinara con un porcentaje de éxito del 50%, teniendo la misma frecuencia de acierto que de error. 

¿Quieres entrar en más detalle?

La primera red tiene el papel de un generador - utiliza la entrada en forma de vector de ruido sampleado aleatoriamente de una distribución normal y crea una salida en forma de imágenes, que luego se alimenta a la otra red. El papel de ésta se llama discriminador porque trata de diferenciar una entrada falsa de una real. El generador está continuamente aprendiendo a través de la retroalimentación del discriminador, y viceversa.

Basándose en esta idea, unos años más tarde, NVIDIA, la compañía que quizás conozcas por diseñar y fabricar unidades de procesamiento gráfico, desarrolló el algoritmo styleGAN. Además, hicieron su código publico en 2019. Pero para entrenar a una GAN, se necesitan conjuntos de datos muy grandes para que las redes puedan aprender de ellos. En el caso de styleGAN, se utilizaron retratos de celebridades así como fotografías de licencias Creative Commons de Flickr. NVIDIA fue tan amable y puso a disposición también el modelo ya entrenado para que los interesados pudieran saltarse el largo proceso de entrenamiento de las redes y empezar directamente con la generación de imágenes.

Al principio, las imágenes creadas por el modelo styleGAN se parecían a algo sacado directamente del Necronomicon de Lovecraft, pero juzgue tu mismo:

Recurso: https://arxiv.org/pdf/1511.06434.pdf

Pero como siempre, el progreso no puede detenerse y el nuevo modelo styleGAN2 mejoró significativamente los resultados, produciendo las imágenes con las que te engañamos en la introducción de este artículo. 

Si quieres intentar adivinar qué persona existe en el mundo real y cuál tal vez sólo en Matrix, ve e inténtalo en esta página de nombre apropiado: whichfaceisreal.com 

Después de intentarlo, aquí hay algunos consejos sobre cómo podemos diferenciarlos (por ahora) sólo buscando pistas visuales, los llamados artefactos.  

¿Cómo distinguirlos?

• Fondo  

Busca un fondo de aspecto extraño. Dado que toda la formación de las redes se centra en la representación de rostros realistas de personas, el fondo generado tiene una tendencia a ser sospechosamente distorsionado, borroso, ocasionalmente puede contener algún u otro monstruo.

• Pelo

Esto siempre ha sido un gran problema, representar una parte del cuerpo tan extraordinariamente detallada - una parte del cuerpo tan pesada como el pelo es difícil y muchas veces, la imagen contiene cepas de pelo desprendidas que parecen crecer en partes poco comunes de la cara o pelo que parece haber sido pintado con un pincel grueso, sin tener el patrón apropiado.

• Simetrías

Parece que a styleGAN le cuesta generar piezas que van de dos en dos, como los pendientes. Así que si ves pendientes que no coinciden, ojos que miran en diferentes direcciones, o gafas cuyos marcos varian de forma en una lado, podría ser una señal de que la IA está haciendo su trabajo.

• Gotas de agua

Un indicio de que no estás mirando una foto de una persona real es ver manchas que parecen gotas. Éstas aparecen más comúnmente en partes de la imagen donde el fondo bordea la cara.

• Dientes

El modelo styleGAN tiene problemas al cambiar el ángulo con el que una persona se enfrenta a la imagen. Así que a veces, los dientes no se desplazan en consecuencia, permaneciendo en la misma posición como si la persona estuviera mirando directamente a la cámara.

¿Y si los algoritmos mejoran aún más?

En el 2018 el nuevo styleGAN hizo mejoras, lo que llevó a que algunos de esos artefactos ya no sucedieran. ¿Significa esto que en un futuro próximo no podremos distinguirlos simplemente observándolos a simple vista? Probablemente sí. Pero no se preocupe, para que la IA reclame su reinado y nos declare su jefe supremo todavía tendrá que engañar a los matemáticos. 

En un simple análisis matemático de los píxeles, las imágenes generadas por la IA se revelan a través de patrones sospechosos. Al convertir las imágenes creadas por los algoritmos de la red neuronal profunda en una representación de frecuencia, se puede reconocer fácilmente el debido a su patrón de semejanza con la red. Este descubrimiento fue hecho por Joel Frank y su equipo de la Ruhr-Universität Bochum.

En la transformación del coseno discreto, la imagen se expresa como la suma de muchas funciones diferentes del coseno, explican los investigadores. Mientras que las imágenes naturales consisten principalmente en funciones de baja frecuencia, las imágenes generadas artificialmente muestran diferentes tipos de artefactos en el rango de alta frecuencia.

Parece ser un problema estructural de todos los algoritmos de aprendizaje profundo, explica Frank. "Asumimos que los artefactos descritos en nuestro estudio siempre mostrarán si la imagen es una imagen falsa creada con aprendizaje automático".

Así que, ya escucharon al hombre. No hay necesidad de preocuparse... por ahora.

Imagen por Gerd Altmann de Pixabay.

Iveta Karailievova

Originally coming from a marketing background, decided to turn her life around and immerse herself into the wonderful exciting and most importantly – never boring world of technology and web development. Proud employee at MA-NO . Easily loses track of time when enjoying working on code. Big fan of Placebo, cats and pizza.