Algorytm, który pozwoli przenieść przedmioty do Photoshopa w kilka sekund

Cyril Diagne jest artystą i programistą. Eksperymentował on ze sposobami na praktyczne wykorzystanie rozszerzonej rzeczywistości. Efektem prac jest prototyp narzędzia do nieszablonowego importowania treści.

Program o nazwie AR Cut & Paste pozwala na przenoszenie obiektów do Photoshopa na zasadzie kopiuj-wklej.

Po nakierowaniu telefonu na wybrany obiekt sztuczna inteligencja automatycznie wycina go ze zdjęcia. Wycięty przedmiot pojawia się następnie na ekranie telefonu. Użytkownik może go później wkleić do edytora graficznego zwyczajnie nakierowując aparat smartfona na monitor.

Efekt jest bajeczny i mógłby spokojnie być wykorzystywany przez iluzjonistów jako sztuczka. Nie ma w tym jednak żadnej magii, tylko setki linijek kodu.

BASNet jest używany do wyselekcjonowania przedmiotu i usunięcia. Algorytm jest zaskakująco dokładny i sprawdza się dużo lepiej niż inne podobne narzędzia.

Z kolei do wklejania obiektu Cyril użył pythonowej biblioteki OpenCV SIFT. Pozwoliła ona na porównywanie zawartości ekranu komputera z tym, co widzi smartfon. Wykorzystuje w tym celu przesyłane zrzuty ekranów z obu urządzeń. Uzyskanie dokładnych współrzędnych wskazywanego na ekranie punktu umożliwia następnie wklejenie obiektu w wybrane przez użytkownika miejsce w PhotoShopie.

Niestety, AR Cut & Paste jest na tę chwilę jedynie pokazem możliwości technologicznych i nie jest gotowe do wprowadzenia na rynek. Dobra wiadomość jest taka, że autor udostępnił kod źródłowy na GitHubie, dzięki czemu możecie sami je wypróbować.

Sztuczna inteligencja i rozszerzona rzeczywistość nie są obecnie już niczym niezwykłym. Nie zmienia to jednak faktu, że mają jeszcze sporo niewykorzystanego potencjału.