Sztuczna inteligencja animuje zdjęcia. Wyglądają, jakby mówiły!

Naukowcy pracujący dla Samsunga zdradzili szczegóły tego, jak powstawał model maszynowego uczenia, zdolny stworzyć animację twarzy na podstawie jednego zdjęcia. SI jest zdolna generować fotorealistyczne fragmenty filmów.

Zwykle taki model trzeba uczyć, korzystając z większej bazy obrazów twarzy. W realnych warunkach często mamy do dyspozycji tylko jedno zdjęcie, co jest sporym wyzwaniem. Dlatego naukowcy z Samsung AI Center w Moskwie opracowali model, który można uczyć kilkoma lub tylko jednym zdjęciem, a uczenie zajmuje niewiele czasu. Do tego potrzebne jest jeszcze nagranie innej osoby, które posłuży jako podstawa dla końcowej animacji.

Mimo tak skąpego materiału SI jest zdolna wygenerować animowaną głowę. Naukowcy wykorzystali sieć typu GAN (generatywna sieć kontradyktoryjna) i dzięki temu byli w stanie animować osoby ze zdjęć i postacie z obrazów. Dzięki temu Mona Lisa naprawdę się uśmiechnęła.

Efekty pracy SI są bardzo dobre. Niektóre mają oczywiście wady typowe dla deepfake'ów (fałszywych filmów, generowanych przez sztuczną inteligencję), ale w niskiej rozdzielczości wiele z nich może uchodzić za prawdziwe nagrania.

Im więcej zdjęć zostanie użytych do uczenia modelu, tym lepsze efekty uzyskamy. Mając do dyspozycji 32 zdjęcia, możemy liczyć na fotorealistyczne efekty. Mimika będzie bardzo podstawowa i nie odda prawdziwego charakteru wypowiadania się osoby ze zdjęcia, ale na to też przyjdzie czas. Być może model będzie w stanie animować także całą sylwetkę osób ze zdjęć.