Sztuczna inteligencja animuje zdjęcia. Wyglądają, jakby mówiły!
Granica między prawdziwą twarzą i wytworem programu komputerowego została już zatarta. Przyszła pora na film.
Naukowcy pracujący dla Samsunga zdradzili szczegóły tego, jak powstawał model maszynowego uczenia, zdolny stworzyć animację twarzy na podstawie jednego zdjęcia. SI jest zdolna generować fotorealistyczne fragmenty filmów.
SI animuje jedno zdjęcie
Zwykle taki model trzeba uczyć, korzystając z większej bazy obrazów twarzy. W realnych warunkach często mamy do dyspozycji tylko jedno zdjęcie, co jest sporym wyzwaniem. Dlatego naukowcy z Samsung AI Center w Moskwie opracowali model, który można uczyć kilkoma lub tylko jednym zdjęciem, a uczenie zajmuje niewiele czasu. Do tego potrzebne jest jeszcze nagranie innej osoby, które posłuży jako podstawa dla końcowej animacji.
Mimo tak skąpego materiału SI jest zdolna wygenerować animowaną głowę. Naukowcy wykorzystali sieć typu GAN (generatywna sieć kontradyktoryjna) i dzięki temu byli w stanie animować osoby ze zdjęć i postacie z obrazów. Dzięki temu Mona Lisa naprawdę się uśmiechnęła.
Efekty pracy SI są bardzo dobre. Niektóre mają oczywiście wady typowe dla deepfake'ów (fałszywych filmów, generowanych przez sztuczną inteligencję), ale w niskiej rozdzielczości wiele z nich może uchodzić za prawdziwe nagrania.
Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
Im więcej zdjęć zostanie użytych do uczenia modelu, tym lepsze efekty uzyskamy. Mając do dyspozycji 32 zdjęcia, możemy liczyć na fotorealistyczne efekty. Mimika będzie bardzo podstawowa i nie odda prawdziwego charakteru wypowiadania się osoby ze zdjęcia, ale na to też przyjdzie czas. Być może model będzie w stanie animować także całą sylwetkę osób ze zdjęć.
