Lumiere, la nueva herramienta de Google para crear videos mediante Inteligencia Artificial

El campo del video continúa siendo uno de los pocos terrenos que desafían a la inteligencia artificial generativa, aunque avanza constantemente.

Inteligencia Artificial sigue evolucionando

Google ha lanzado Lumiere, un generador de video impulsado por IA que se describe como un “modelo de difusión espacio-temporal para la generación realista de video“.

Esta innovadora tecnología parece capaz de producir videos con movimientos realistas y una amplia gama de representaciones, posicionándose como uno de los generadores de video basados en IA más avanzados presentados hasta la fecha.

Durante la presentación, se demostró cómo puede transformar texto en imágenes de diversos animales, cada uno con su estilo característico. Aunque los resultados todavía están lejos de ser equiparables a filmaciones o animaciones convencionales, cada avance resulta cada vez más convincente.

Lumiere sobresale entre otros modelos de generación de video gracias a su arquitectura singular. A diferencia de los modelos actuales que sintetizan fotogramas clave distantes seguidos de una superresolución temporal, Lumiere genera toda la secuencia temporal de un video de manera simultánea.

Este enfoque posibilita una coherencia temporal integral, garantizando que los videos resultantes sean fluidos y uniformes. Lumiere aborda los aspectos espacio-temporales del video de manera simultánea, lo que le otorga la capacidad de generar videos de manera continua, desde el principio hasta el final del proceso.

Principales características de Lumiere

Aunque aún se encuentra en fase de desarrollo, Lumiere promete ofrecer una amplia gama de características impresionantes que subrayan su potencial como generador de video basado en IA. Entre estas características destacan:

Generación de video a partir de texto: Lumiere tiene la capacidad de transformar instrucciones escritas en videos completamente nuevos.

Conversión de imágenes a video: Al convertir imágenes estáticas en videos, Lumiere infunde movimiento y dinamismo a fotografías o ilustraciones.

Introducing Lumiere, a space-time diffusion research model for video generation that synthesizes videos portraying realistic, diverse & coherent motion. It was a collaboration between Google Research, @WeizmannScience, @TelAvivUni, & @TechnionLive. More → https://t.co/BHJYEUwAW7 pic.twitter.com/XTsnimT8uc

— Google AI (@GoogleAI) January 26, 2024

Generación de video con base en estilos: Utilizando una imagen de referencia, Lumiere puede producir videos con estilos específicos.

Edición de video mediante texto: Lumiere facilita la edición de videos a través de comandos basados en texto, simplificando la creación de contenido visual de alta calidad.

Habilidades de reconstrucción de video: Lumiere puede alterar la apariencia de objetos en un video, como modificar la vestimenta de las personas representadas, siguiendo una segunda instrucción.