NVIDIA Maxine zamieni kiepskiej jakości wideo z kamerki internetowej w HD

NVIDIA Maxine zamieni kiepskiej jakości wideo z kamerki internetowej w HD06.10.2020 13:19

Kamerki internetowe i rozmowy przez komunikatory wideo są w tym roku na topie. Niestety często jakość obrazu jest bardzo kiepska, a przecież zamiast pikselozy chcemy zobaczyć twarz rozmówcy. NVIDIA ma na to sposób oparty na sztucznej inteligencji. Zastąpiła kodek wideo siecią neuronową.

NVIDIA Maxine to rozwiązanie oparte na algorytmach sztucznej inteligencji, które ma ulepszyć wideokonferencje. Aplikacje oparte na tej sieci neuronowej będą wykorzystywały jedną dziesiątą przepustowości sieci potrzebnej do strumieniowana kodeku H.264. Innymi słowy – mając wolniejszy internet będzie można odbierać i nadawać obraz lepszej jakości.

Nowa technologia opiera się na tworzeniu mapy twarzy, kierunkowaniu spojrzenia, a nawet poprawie oświetlenia w czasie rzeczywistym. Daje to efekt zwiększonej rozdzielczości zdecydowanie mniejsze szumy. Aplikacje oparte na Maxine i kartach graficznych NVIDIA działają w chmurze, więc można z nich korzystać niezależnie od preferowanego urządzenia – na tabletach, smartfonach czy komputerach obraz będzie wyglądał świetnie.

Inventing Virtual Meetings of Tomorrow with NVIDIA AI Research

Sieć neuronowa NVIDIA opiera się na 4 filarach: animacji twarzy, efektach audio i wideo, sztucznej inteligencji zdolnej do konwersacji oraz znacznym zmniejszeniu niezbędnej przepustowości względem kodeka H.264. Animacja twarzy dotyczy stworzenia mapy twarzy konkretnego rozmówcy nawet na podstawie zdjęcia i wirtualnego ożywienia jej. Dochodzi do tego korekcja spojrzenia, więc osoba po drugiej stronie monitora będzie miała wrażenie utrzymywania kontaktu wzrokowego z animowanym rozmówcą.

Maxine ma również za zadanie upscaling, czyli zwiększenie rozdzielczości strumieniowanego obrazu. Chodzi o to, by internetowo było przesyłane wideo o niskiej rozdzielczości, które później jest przetwarzane przez sztuczną inteligencję tak, by wyglądało lepiej. W ten sposób z wideo w rozdzielczości 360p zrobi się 720p bez dodatkowego obciążania przepustowości sieci. To samo dotyczy dźwięku, który Maxine automatycznie ulepszy. Zredukowane też zostaną artefakty w postaci szumów i zlepków pikseli.

Temat sztucznej inteligencji zdolnej do konwersacji brzmi jak technologia z filmów science fiction. Programiści zaimplementowali do programów opartych na maszynowym uczeniu funkcję asystenta. Algorytm jest w stanie odpowiadać na pytania, sporządzać notatki, wyświetlać napisy czy nawet tłumaczyć wypowiedzi na inny język w czasie rzeczywistym. Dopełnieniem Maxine jest NVIDIA Jarvis, czyli specjalny framework stworzony do wspomnianych zadań.

Zmniejszenie obciążenia przepustowości sieci odbywa się za pomocą specjalnych algorytmów kompresji wideo. Zadanie brzmi prosto, ale wymaga potężnej mocy obliczeniowej. NVIDIA dąży do tego, by wideo w dobrej jakości potrzebowało przepustowości równej jednej dziesiątej prędkości potrzebnej do przesłania wideo w kodeku H.264. Ma to na celu zredukowanie kosztów transmisji, jak również poprawienie wydajności i przekazania końcowemu użytkownikowi obrazu bardzo wysokiej jakości używając gorszych kamerek internetowych.

Szanowna Użytkowniczko! Szanowny Użytkowniku!
×
Aby dalej móc dostarczać coraz lepsze materiały redakcyjne i udostępniać coraz lepsze usługi, potrzebujemy zgody na dopasowanie treści marketingowych do Twojego zachowania. Twoje dane są u nas bezpieczne, a zgodę możesz wycofać w każdej chwili na podstronie polityka prywatności.

Kliknij "PRZECHODZĘ DO SERWISU" lub na symbol "X" w górnym rogu tej planszy, jeżeli zgadzasz się na przetwarzanie przez Wirtualną Polskę i naszych Zaufanych Partnerów Twoich danych osobowych, zbieranych w ramach korzystania przez Ciebie z usług, portali i serwisów internetowych Wirtualnej Polski (w tym danych zapisywanych w plikach cookies) w celach marketingowych realizowanych na zlecenie naszych Zaufanych Partnerów. Jeśli nie zgadzasz się na przetwarzanie Twoich danych osobowych skorzystaj z ustawień w polityce prywatności. Zgoda jest dobrowolna i możesz ją w dowolnym momencie wycofać zmieniając ustawienia w polityce prywatności (w której znajdziesz odpowiedzi na wszystkie pytania związane z przetwarzaniem Twoich danych osobowych).

Od 25 maja 2018 roku obowiązuje Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 (określane jako "RODO"). W związku z tym chcielibyśmy poinformować o przetwarzaniu Twoich danych oraz zasadach, na jakich odbywa się to po dniu 25 maja 2018 roku.

Kto będzie administratorem Twoich danych?

Administratorami Twoich danych będzie Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, oraz pozostałe spółki z grupy Wirtualna Polska, jak również nasi Zaufani Partnerzy, z którymi stale współpracujemy. Szczegółowe informacje dotyczące administratorów znajdują się w polityce prywatności.

O jakich danych mówimy?

Chodzi o dane osobowe, które są zbierane w ramach korzystania przez Ciebie z naszych usług, portali i serwisów internetowych udostępnianych przez Wirtualną Polskę, w tym zapisywanych w plikach cookies, które są instalowane na naszych stronach przez Wirtualną Polskę oraz naszych Zaufanych Partnerów.

Dlaczego chcemy przetwarzać Twoje dane?

Przetwarzamy je dostarczać coraz lepsze materiały redakcyjne, dopasować ich tematykę do Twoich zainteresowań, tworzyć portale i serwisy internetowe, z których będziesz korzystać z przyjemnością, zapewniać większe bezpieczeństwo usług, udoskonalać nasze usługi i maksymalnie dopasować je do Twoich zainteresowań, pokazywać reklamy dopasowane do Twoich potrzeb. Szczegółowe informacje dotyczące celów przetwarzania Twoich danych znajdują się w polityce prywatności.

Komu możemy przekazać dane?

Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa – oczywiście tylko, gdy wystąpią z żądaniem w oparciu o stosowną podstawę prawną.

Jakie masz prawa w stosunku do Twoich danych?

Masz prawo żądania dostępu, sprostowania, usunięcia lub ograniczenia przetwarzania danych. Możesz wycofać zgodę na przetwarzanie, zgłosić sprzeciw oraz skorzystać z innych praw wymienionych szczegółowo w polityce prywatności.

Jakie są podstawy prawne przetwarzania Twoich danych?

Podstawą prawną przetwarzania Twoich danych w celu świadczenia usług jest niezbędność do wykonania umów o ich świadczenie (tymi umowami są zazwyczaj regulaminy). Podstawą prawną przetwarzania danych w celu pomiarów statystycznych i marketingu własnego administratorów jest tzw. uzasadniony interes administratora. Przetwarzanie Twoich danych w celach marketingowych realizowanych przez Wirtualną Polskę na zlecenie Zaufanych Partnerów i bezpośrednio przez Zaufanych Partnerów będzie odbywać się na podstawie Twojej dobrowolnej zgody.