Phenaki w akcji. Wystarczy wpisać scenariusz, a film "stworzy się sam"

Google zaprezentował niedawno, na co stać sztuczną inteligencję tworzącą filmy. Oprogramowanie Phenaki, które wciąż jest tylko w fazie testów, potrzebuje jedynie tekstowego scenariusza - wystarczy napisać, co ma się wydarzyć na ekranie, a chwilę później dostarczony zostanie właściwy materiał.

Dotychczas w ten sposób tworzono głównie zdjęcia - tutaj popularnością cieszy się Dall-e. Phenaki działa na podobnej zasadzie, "produkując" krótkie animacje. Użytkownik może na przykład wpisać, że oczekuje realistycznego ujęcia psa słuchającego muzyki w słuchawkach lub astronauty jeżdżącego konno i takie też filmy otrzyma. Podobnie jak w przypadku zdjęć i Dall-e, także tutaj prezentowanych jest kilka kombinacji.

O ile jednak w przypadku zdjęć temat się tu w zasadzie kończy, tak w przypadku filmów można mieć zastrzeżenia co do ich długości. To w praktyce krótkie animacje, którym bliżej do GIF-ów wysyłanych w komunikatorach.

Google chce to zmienić, dlatego niedawno chwalił się, że Phenaki udało się wykorzystać do stworzenia stosunkowo długiego filmu, który składa się z kilku kolejno następujących po sobie scen. Całość została wygenerowana przez AI na podstawie tekstowego scenariusza. Efekt opublikowano na Twitterze:

Do poprawy jakości nagrania zastosowano tutaj Imagen Video - system rozwijany przez Google Research i szczegółowo opisany w tej publikacji. Wiele ciekawego można się także dowiedzieć o samym modelu Phenaki, zaglądając na oficjalną stronę projektu. Znajdują się tu między innymi interaktywne przykłady, dzięki którym można sprawdzić, jak AI spisuje się w różnych scenariuszach i jaki wpływ na efekt końcowy ma sposób uczenia.