To, co jest niesamowite w algorytmie Nvidii, to fakt, że do wypełnienia zaznaczonego obszaru wykorzystuje on nie tylko informacje z otaczających go pikseli. Naukowcy stworzyli algorytm, który "rozumie", jak powinien wyglądać obiekt. Oparte na metodzie głębokiego uczenia się narzędzie, analizuje scenę i określa, jak powinna wyglądać po zakończeniu edycji. Pomaga to uzyskać bardziej realistyczny efekt.
WIDEOResearch at NVIDIA: AI Reconstructs Photos with Realistic Results
Jeśli wypełnienie ma zostać wykonane w miejscu, w którym powinno być oko, to Nvidiawygeneruje je komputerowo. W przypadku klasycznego wypełnienia z uwzględnieniem zawartości, w miejscu oka uzyskalibyśmy przestrzeń wypełnioną otaczającymi oko elementami – skórą, brwiami, nosem czy włosami.
Naukowcy, aby wyszkolić sztuczną inteligencję wygenerowali 55 116 losowych masek dziur i smug, które następnie były losowo kadrowane i obracane. Kolejne 24 866 masek wygenerowano do testowania algorytmu.
Algorytm może wypełniać dziury o dowolnym kształcie i bez względu na odległość od krawędzi obrazu – co w Photoshopieczęsto sprawia problemy. Możliwości wypełniania braków obrazu - nawet tych rozległych - są imponujące.
Na filmie zaprezentowanym przez firmę możemy zobaczyć narzędzie w akcji i trzeba przyznać, że radzi sobie świetnie nawet przy skomplikowanych obrazach.
Pełny raport twórców dostępny jest pod linkiem.
