Sztuczna inteligencja zamieni normalne wideo na zwolnione tempo nawet 16 razy
Inżynierowie Google opracowali algorytm sztucznej inteligencji, służący do interpolacji klatek, czyli po ludzku mówiąc – do sztucznego zwiększenia ich liczby w filmie. Efekt, który daje program jest naprawdę imponujący.
DAIN, czyli Deep-Aware Video Frame Interpolation, to algorytm Google, którego zadaniem jest pomnożenie klatkażu filmu wejściowego i zamiana go w zwolnione tempo. Jak się okazuje, z 30 kl./s może zrobić aż 120 kl./s bez większego problemu. Przy odrobinie starania może być ich… 480! Co ciekawe – artefaktów w końcowym filmie praktycznie nie da się zauważyć.
Naukowcy pod kierownictwem Wenbo Bao z Uniwersytetu w Szanghaju wykorzystali sieć neuronową sztucznej inteligencji, by poprawić jakość i możliwości zwiększania klatkażu w filmach. Ich najważniejszym celem było maksymalne wyeliminowanie niedoskonałości, które są widoczne w ostatecznym pliku. Na poniższym przykładzie możecie zobaczyć, jak z 15 kl./s zrobiło się ich 60. Zwróćcie przy tym uwagę na brak artekatów.
Boosting Stop-Motion to 60 fps using AI
Kolejny przykład jest jeszcze bardziej dosadny. Film pierwotny w prędkości 30 kl./s został spowolniony 4-krotnie (do 120 kl./s) oraz 16-krotnie (do 480 kl./s). To slow motion wygląda naprawdę dobrze!
kart turn compare
Zespół badaczy oparł technologię na odczytywaniu przez algorytm mapy głębi filmu i tworzeniu optycznej warstwy prowadzenia ruchu. W ten sposób uzupełnia luki między pierwotnymi klatkami tak, by zachować płynność obrazu. Program bardzo sprawnie przewiduje to, co powinno wydarzyć się między jednym, a drugim kadrem.
Poniższy film, zamieszczony przez Wenbo Bao, pokazuje porównanie DAIN do innego algorytmu, który miał to samo zadanie. Klip zawiera szybko poruszające się obiekty dla utrudnienia działania. Jak widać, nawet w ekstremalnym przypadku, gdzie klatkaż jest powielany czterokrotnie i więcej, artefakty występują naprawdę rzadko podczas działania DAIN.
Depth-Aware Video Frame Interpolation
Jeśli chcecie wypróbować działanie algorytmu, możecie to zrobić bez większego problemu. Wystarczy wejść na stronę Wenbo Bao, gdzie wszystko jest wyjaśnione krok po kroku.