ByteDance, beş dakikalık video oluşturabilen yeni yapay zeka modeli OmniHuman 2.0'ı tanıttı

TikTok’un çatı şirketi ByteDance, tek bir görsel ve ses kaydından beş dakikaya kadar gerçekçi dijital karakter videoları oluşturabilen yeni yapay zeka modeli OmniHuman 2.0’ı kullanıma sundu. Şirketin kurumsal yapay zeka platformu BytePlus üzerinden sunulan model; konuşma, şarkı söyleme, mimikler ve vücut hareketlerini ses içeriğiyle eşleştirerek video üretimini mümkün kılıyor.

OmniHuman 2.0, dijital karakterlerin yalnızca dudak hareketlerini sesle senkronize etmekle kalmıyor, aynı zamanda sesin ritmini, tonlamasını ve anlamını da hareketlere yansıtmayı hedefliyor. BytePlus tarafından paylaşılan bilgilere göre model, ses içeriğini analiz ederek karakterlerin konuşmalarına uygun jestler ve duygusal tepkiler oluşturabiliyor. Böylece karakterlerin beden diliyle söyledikleri arasında daha doğal bir uyum sağlanması amaçlanıyor.

Kullanıcılar, isteğe bağlı metin komutlarıyla sahnedeki hareketleri ve kamera davranışlarını da yönlendirebiliyor. Model, nesnelerin sahneye eklenmesi, belirli hareketlerin oluşturulması ve kamera açılarının kontrol edilmesi gibi özellikler sunuyor. Ayrıca çok karakterli sahneler oluşturulabiliyor.

OmniHuman 2.0’ın kullanım alanı insan görselleriyle sınırlı değil. Hayvanlar, 3D karakterler ve farklı görsel stillerdeki figürler de model aracılığıyla hareketlendirilebiliyor. Metin komutları sayesinde referans görselde başlangıçta bulunmayan bazı öğelerin sahneye eklenmesi de mümkün hale geliyor.