Google lanza Lumiere, su IA para generar video a partir de texto: sus resultados son impresionantes

Desde que Google fusionara todas sus divisiones de IA en una sola y fundara Google DeepMind, los avances que ha tenido esta sección de su empresa han sido absolutamente abrumadores. Ahora, buscan cubrir un hueco que hasta ahora no había logrado cubrir ninguna otra empresa con IA de código propietario. Así surge Lumiere, una IA capaz de convertir texto e imágenes en vídeo, algo realmente sorprendente y que parece llegado del futuro ya que los resultados que ha logrado son impresionantes.

Ya habíamos visto trailers de películas creados completamente por IA, de hecho, la IA de Adobe puede reimaginar películas en vertical, pero hasta ahora no había llegado ninguna aplicación que fuera tan potente como la que plantean desde Google DeepMind.

Así, vamos a ver todas las funciones que tiene Lumiere ya que son bastante cuantiosas.

Lumiere, la IA de creación de vídeo

Google ha presentado Lumiere en su propia página de Github con varias decenas de ejemplos muy funcionales. Se trata de un modelo text-to-video y image-to-video que ha sido creado para traer imágenes realistas a la vida y que generalmente nos parezcan realistas. El problema hasta ahora es que se notaba mucho que los vídeos eran realmente falsos y el movimiento no era para nada dinámico.

Google ha decidido cambiar la arquitectura a una que acaban de crear para generar el vídeo entero a la vez, lo que permite crear un movimiento más realista que los generadores de vídeo actuales que unen fotogramas separados y le añaden super resolución para que parezca que están conectados entre sí cuando se pasan.

[embedded content]

Entre las funciones preparadas por Google para Lumiere encontramos:

• Generación estilizada: con una imagen realista de referencia, se pueden crear logos animados o imágenes más caricaturescas.
• Estilización de vídeo: puedes coger un vídeo de fuente y pedirle que el objeto o persona que aparece en él tenga un estilo diferente. Como ejemplos, han convertido a una mujer y a un perro en figuras de Origami o incluso han imaginado cómo serían si estuvieran hechos de bloques de madera.
• Animación de imágenes ya existentes: En el vídeo se puede ver cómo Lumiere es capaz de animar una fotografía de una mariposa sobre una planta o del fuego de una hoguera, dándole movimiento a imágenes que originalmente estaban quietas.
• Imaginar vídeos reales: Lumiere ha sido puesto a prueba para que sea capaz de completar vídeos inacabados o con zonas cortadas. Así, es capaz de rellenar con bastante exactitud vídeos a los que se les han cortado zonas concretas.
• Modificación en tiempo real: Si no te gustaba el outfit que llevabas en un vídeo, simplemente selecciona la zona del vestido y podrás cambiar por otro dándole una descripción a la IA.

De esta manera, nos encontramos con un sinfín de posibilidades que pueden mejorar nuestras capacidades de edición de vídeo a la vez que permiten que pueda despegar nuestra creatividad. De momento no está accesible al público sino que han publicado un extenso paper mostrando sus avances. Habrá que esperar para poder echarle un vistazo en profundidad, pero de momento lo que han presentado es verdaderamente ambicioso.

Para estar siempre al día con lo último en tecnología, suscríbete a nuestro canal oficial y verificado de Andro4all en WhatsApp.