Google, gerçekçi yapay zeka videoları için bir uzay-zaman difüzyon modeli olan Lumiere’i tanıttı

Illustrate an image in the 3:2 aspect ratio depicting the concept of Lumiere, a high-tech algorithm transforming still images into dynamic and realistic videos. Show a user uploading a picture into an Abstract futuristic device, and then portray the device transforming this picture into a vibrant and breath-taking video. The device should emanate beams of glowing light, symbolizing the diffusion process over time. The user can be an Asian male tech enthusiast, engrossed and fascinated by the process. The color palette should be positive and light, reflecting an optimistic outlook towards this revolutionary technology.

Lumiere, Google, Weizmann Bilim Enstitüsü ve Tel Aviv Üniversitesi’nden araştırmacılar tarafından önerilen bir video difüzyon modelidir. Düzenleme yeteneği ile gerçekçi ve stilize videolar oluşturmayı amaçlamaktadır. Kullanıcılar dinamik videolara dönüştürmek için metin girdileri sağlayabilir veya hareketsiz görüntüler yükleyebilir. Model ayrıca inpainting, sinemagraflar ve stilize üretim gibi özellikleri de destekliyor. Lumiere, videonun tüm zamansal süresini bir kerede üreterek mevcut modellerden farklı bir yaklaşım benimsiyor ve daha gerçekçi ve tutarlı hareket sağlıyor. Lumiere, 30 milyon videodan oluşan bir veri kümesi üzerinde eğitilmiştir ve 16 fps’de 80 kare üretebilmektedir. Diğer yapay zeka video modelleriyle karşılaştırıldığında Lumiere, daha yüksek hareket büyüklüğü, zamansal tutarlılık ve genel kaliteye sahip 5 saniyelik videolar üretiyor. Bununla birlikte, sınırlamaları vardır ve birden fazla çekim veya sahne geçişi içeren videolar oluşturamaz. Lumiere henüz test için mevcut değil, ancak hızla gelişen AI video pazarında umut vaat ediyor.

Makalenin tamamı

Bir yanıt yazın