Lumiere de Google acerca el vídeo con IA más a lo real que a lo irreal

Illustrate a visual representation of Google's advanced AI video generation technology named Lumiere. Display the AI model generating seamless motion in a video. The set is a technological interface with various elements to illustrate features of Lumiere like stylized generation, cinemagraphs, and inpainting. Show a video-in-making process where the AI starts with a base frame and then approximates the movement of objects consecutively. Use an array of distinct colors, fluid shapes and light to bring positivity to the scene. Maintain 3:2 aspect ratio. The ambiance is futuristic and the overall illustration is similar to the friendly and colorful approach seen in pre-1912 animated illustrations.

Google ha desarrollado un nuevo modelo de IA de generación de vídeo llamado Lumiere, que utiliza un modelo de difusión llamado Space-Time-U-Net (STUNet). Este modelo permite a Lumiere determinar la ubicación de los objetos en un vídeo y cómo se mueven y cambian con el tiempo. A diferencia de otros métodos que cosen fotogramas fijos, Lumiere crea vídeos en un solo proceso. Comienza creando un fotograma base y luego utiliza STUNet para aproximar el movimiento de los objetos, creando un movimiento sin interrupciones. Lumiere genera 80 fotogramas, frente a los 25 de sus competidores. Google’Lumiere es un avance significativo en la generación de vídeos con IA, que se acerca más a los vídeos realistas. Compite con plataformas como Runway y Stable Video Diffusion. Lumiere también ofrece funciones como generación de imagen a vídeo, generación estilizada, cinemagraphs e inpainting. Sin embargo, preocupa el posible mal uso de esta tecnología, y Google reconoce la necesidad de herramientas para detectar sesgos y casos de uso malintencionados.

Artículo completo

Deja una respuesta