Sztuczna inteligencja zamieni normalne wideo na zwolnione tempo nawet 16 razy

Inżynierowie Google opracowali algorytm sztucznej inteligencji, służący do interpolacji klatek, czyli po ludzku mówiąc – do sztucznego zwiększenia ich liczby w filmie. Efekt, który daje program jest naprawdę imponujący.

Sztuczna inteligencja zamieni normalne wideo na zwolnione tempo nawet 16 razy 1
Marcin Watemborski

DAIN, czyli Deep-Aware Video Frame Interpolation, to algorytm Google, którego zadaniem jest pomnożenie klatkażu filmu wejściowego i zamiana go w zwolnione tempo. Jak się okazuje, z 30 kl./s może zrobić aż 120 kl./s bez większego problemu. Przy odrobinie starania może być ich… 480! Co ciekawe – artefaktów w końcowym filmie praktycznie nie da się zauważyć.

Naukowcy pod kierownictwem Wenbo Bao z Uniwersytetu w Szanghaju wykorzystali sieć neuronową sztucznej inteligencji, by poprawić jakość i możliwości zwiększania klatkażu w filmach. Ich najważniejszym celem było maksymalne wyeliminowanie niedoskonałości, które są widoczne w ostatecznym pliku. Na poniższym przykładzie możecie zobaczyć, jak z 15 kl./s zrobiło się ich 60. Zwróćcie przy tym uwagę na brak artekatów.

Boosting Stop-Motion to 60 fps using AI

Kolejny przykład jest jeszcze bardziej dosadny. Film pierwotny w prędkości 30 kl./s został spowolniony 4-krotnie (do 120 kl./s) oraz 16-krotnie (do 480 kl./s). To slow motion wygląda naprawdę dobrze!

kart turn compare

Zespół badaczy oparł technologię na odczytywaniu przez algorytm mapy głębi filmu i tworzeniu optycznej warstwy prowadzenia ruchu. W ten sposób uzupełnia luki między pierwotnymi klatkami tak, by zachować płynność obrazu. Program bardzo sprawnie przewiduje to, co powinno wydarzyć się między jednym, a drugim kadrem.

Poniższy film, zamieszczony przez Wenbo Bao, pokazuje porównanie DAIN do innego algorytmu, który miał to samo zadanie. Klip zawiera szybko poruszające się obiekty dla utrudnienia działania. Jak widać, nawet w ekstremalnym przypadku, gdzie klatkaż jest powielany czterokrotnie i więcej, artefakty występują naprawdę rzadko podczas działania DAIN.

Depth-Aware Video Frame Interpolation

Jeśli chcecie wypróbować działanie algorytmu, możecie to zrobić bez większego problemu. Wystarczy wejść na stronę Wenbo Bao, gdzie wszystko jest wyjaśnione krok po kroku.

Źródło artykułu: WP Fotoblogia

Wybrane dla Ciebie

Gang fok przegania rekina. U wybrzeży Afryki foki dały popis współpracy
Gang fok przegania rekina. U wybrzeży Afryki foki dały popis współpracy
Nie uwierzysz na co patrzysz. Polacy w ścisłej czołówce takich zdjęć
Nie uwierzysz na co patrzysz. Polacy w ścisłej czołówce takich zdjęć
Niesamowity kadr przedstawiający pradawny gatunek skorupiaka wygrał prestiżowy konkurs
Niesamowity kadr przedstawiający pradawny gatunek skorupiaka wygrał prestiżowy konkurs
Ekstremalnie rzadki aparat został sprzedany za 3,5 mln euro. Wyprodukowano go 100 lat temu
Ekstremalnie rzadki aparat został sprzedany za 3,5 mln euro. Wyprodukowano go 100 lat temu
Kary za zdjęcia dzieci. Konsekwencje dla rodziców we Francji
Kary za zdjęcia dzieci. Konsekwencje dla rodziców we Francji
Rekin gonił cień drona. Zachowywał się, jak kot goniący zajączka
Rekin gonił cień drona. Zachowywał się, jak kot goniący zajączka
Brutalny atak jelenia na zdjęciu. Fotograf przestrzega turystów
Brutalny atak jelenia na zdjęciu. Fotograf przestrzega turystów
Widziałeś film z Hanksem? Aktor ostrzega przed oszustwem
Widziałeś film z Hanksem? Aktor ostrzega przed oszustwem
Perseidy, Droga Mleczna i świecące glony naraz. Oto zdjęcie jedno na milion
Perseidy, Droga Mleczna i świecące glony naraz. Oto zdjęcie jedno na milion
Meta wykorzystała publiczne zdjęcia z Facebooka i Instagrama do trenowania AI
Meta wykorzystała publiczne zdjęcia z Facebooka i Instagrama do trenowania AI
Prawdziwy skarb fotograficzny. Te zabytkowe aparaty nie zrobiły ani jednego zdjęcia
Prawdziwy skarb fotograficzny. Te zabytkowe aparaty nie zrobiły ani jednego zdjęcia
Tragedia podczas wycieczki. Kobieta spadła z urwiska robiąc selfie
Tragedia podczas wycieczki. Kobieta spadła z urwiska robiąc selfie