Google muestra Lumiere, un modelo de difusión espacio-temporal para vídeos realistas con IA

Illustrate an image in the 3:2 aspect ratio depicting the concept of Lumiere, a high-tech algorithm transforming still images into dynamic and realistic videos. Show a user uploading a picture into an Abstract futuristic device, and then portray the device transforming this picture into a vibrant and breath-taking video. The device should emanate beams of glowing light, symbolizing the diffusion process over time. The user can be an Asian male tech enthusiast, engrossed and fascinated by the process. The color palette should be positive and light, reflecting an optimistic outlook towards this revolutionary technology.

Lumiere es un modelo de difusión de vídeo propuesto por investigadores de Google, el Instituto Weizmann de Ciencias y la Universidad de Tel Aviv. Su objetivo es generar vídeos realistas y estilizados con la posibilidad de editarlos. Los usuarios pueden introducir texto o subir imágenes fijas para transformarlas en vídeos dinámicos. También admite funciones como inpainting, cinemagraphs y generación estilizada. Lumiere adopta un enfoque diferente al de los modelos existentes, ya que genera toda la duración temporal del vídeo de una sola vez, lo que da lugar a un movimiento más realista y coherente. Se ha entrenado con un conjunto de datos de 30 millones de vídeos y es capaz de generar 80 fotogramas a 16 fps. En comparación con otros modelos de vídeo de IA, Lumiere produce vídeos de 5 segundos con mayor magnitud de movimiento, coherencia temporal y calidad general. Sin embargo, tiene limitaciones y no puede generar vídeos con múltiples tomas o transiciones de escenas. Lumiere aún no está disponible para pruebas, pero resulta prometedor en el mercado del vídeo con IA, que evoluciona rápidamente.

Artículo completo

Deja una respuesta