Wirtualne San Francisco powstało na bazie milionów zdjęć. Wygląda doskonale!

Sztuczna inteligencja idzie coraz bardziej do przodu. Mówimy tu nie tylko o generowanych przez sieci neuronowe twarzach ludzi, ale o całych miastach, czego przykładem jest ten film, a właściwie animacja, bo San Francisco tutaj przedstawione to świat całkowicie cyfrowy.

Wirtualne San Francisco może być genialnym miejscem do osadzenia Metaversum, czyli świata opartego o awatary (wirtualne przedstawienie ludzi – przyp. red.). Powstało ono na bazie NeRF, czyli Neural Radiance Fields. Jest to algorytm sztucznej inteligencji Google, który generuje obrazy na podstawie sieci neuronowej. Udoskonaliła go firma Nvidia, przedstawiając Instant NeRF, który tworzy obiekty 3D w czasie rzeczywistym na podstawie kilku zdjęć.

Technologia, z którą mamy do czynienia w przypadku wygenerowanego cyfrowo San Francisco, nazywa się Block-NeRF. Znajduje ona zastosowanie w przypadku potrzeby wytworzenia modeli 3D bardzo dużych scen. Miasto, które możecie obejrzeć w poniższym filmie, zostało wygenerowane na podstawie 2,8 milionów zdjęć i jest bardzo szczegółowe – tym bardziej, że jest to proces zautomatyzowany.

Zdjęcia wgrane do systemu zostały zarejestrowane przez specjalny pojazd z kamerą. W przeciągu trzech miesięcy zrobił on kilka przejazdów po San Francisco – zarówno za dnia, jak i nocą, by oddać charakter i specyficzne oświetlenie miasta. Dzięki temu w wirtualnej metropolii można ustawić dowolną porę roku i godzinę, a wygenerowana grafika będzie odpowiadała rzeczywistości.

Mimo że pojawia się kilka artefaktów, a rozdzielczość obrazu nie jest najlepsza i tak jest to ogromny krok naprzód w tworzeniu generatywnych sieci neuronowych. W przyszłości twory takie jak wirtualne San Francisco z powodzeniem mogą być wykorzystywane w produkcjach filmowych czy wspomnianym wcześniej Metaversum. Mieszkańcy wirtualnego świata będą mogli odwiedzać ulubione zdjęcia i na pewno nie zabraknie też cyfrowych turystów.

Więcej informacji znajdziecie na stronie internetowej z dokumentacją projektu.