Google stellt Lumiere vor, ein Raum-Zeit-Diffusionsmodell für realistische KI-Videos

Illustrate an image in the 3:2 aspect ratio depicting the concept of Lumiere, a high-tech algorithm transforming still images into dynamic and realistic videos. Show a user uploading a picture into an Abstract futuristic device, and then portray the device transforming this picture into a vibrant and breath-taking video. The device should emanate beams of glowing light, symbolizing the diffusion process over time. The user can be an Asian male tech enthusiast, engrossed and fascinated by the process. The color palette should be positive and light, reflecting an optimistic outlook towards this revolutionary technology.

Lumiere ist ein Videodiffusionsmodell, das von Forschern von Google, dem Weizmann Institute of Science und der Universität Tel Aviv entwickelt wurde. Es zielt darauf ab, realistische und stilisierte Videos mit der Möglichkeit, sie zu bearbeiten, zu erzeugen. Die Benutzer können Texteingaben machen oder Standbilder hochladen, die dann in dynamische Videos umgewandelt werden. Das Modell unterstützt auch Funktionen wie Inpainting, Cinemagraphs und stilisierte Erzeugung. Lumiere verfolgt einen anderen Ansatz als bestehende Modelle, indem es die gesamte zeitliche Dauer des Videos auf einmal generiert, was zu einer realistischeren und kohärenteren Bewegung führt. Es wurde mit einem Datensatz von 30 Millionen Videos trainiert und ist in der Lage, 80 Bilder mit 16 fps zu erzeugen. Im Vergleich zu anderen KI-Videomodellen erzeugt Lumiere 5-Sekunden-Videos mit größerer Bewegungsgröße, zeitlicher Konsistenz und Gesamtqualität. Es hat jedoch Einschränkungen und kann keine Videos mit mehreren Aufnahmen oder Szenenübergängen erzeugen. Lumiere steht noch nicht zum Testen zur Verfügung, aber es ist vielversprechend für den sich schnell entwickelnden Markt für KI-Videos.

Ganzer Artikel

Einen Kommentar hinterlassen