Google Night Sight: Jak działa zaawansowany tryb do fotografowania gwiazd?

W poście na blogu Google AI, poświęconemu sztucznej inteligencji, producent podzielił się szczegółowymi informacjami na temat pracy trybu Night Sight, przeznaczonego do astrofotografii. Gigant medialny zwraca uwagę na to, że dotychczas rejestrowanie nocnego nieba było możliwe tylko dużymi i zaawansowanymi aparatami, lecz dzięki latom eksperymentów i badań udało się sprawić, że smartfony radzą sobie z tym zadaniem całkiem nieźle.

W zeszłym roku Google przedstawiło zaawansowaną aplikację fotograficzną w swoim smartfonie Pixel 3. Umożliwiała ona robienie nieporuszonych, dobrze naświetlonych zdjęć nocnych, które były niemal pozbawione szumu. Wtedy mieliśmy do czynienia z pierwszą wersją trybu Night Sight.

W tym roku Google przedstawiło nowe algorytmy wspomnianej funkcji. Night Sight pozwala teraz na robienie zdjęć, których ekspozycja trwa nawet do 4 minut w przypadki Pixel 4 oraz do 1 minuty w Pixel 3 i 3a. Najnowsza wersja oprogramowania daje niewiarygodnie dobre efekty – zwłaszcza jak na smartfona. Zdjęcia są ostre i praktycznie pozbawione kolorowych artefaktów. Można powiedzieć, że wszystko, czego potrzebujecie do zrobienia zdjęć nocnych to smartfon fotograficzny Google Pixel. Wielu fotografom nie mieści się to w głowach, ale tak wygląda postęp technologii.

Google zwraca uwagę na to, że matryce aparatów cyfrowych rejestrują tzw. ”szum śrutowy”, związany z przepływem prądu elektrycznego. To właśnie on sprawia, że zdjęcia są zaszumione i niewyraźne. Kiedy matryca może zarejestrować mniej światła, zwiększa się ilość szumu. By go wyeliminować trzeba fotografować w dobrych warunkach oświetleniowych lub sprawić, by matryca mogła rejestrować więcej światła. To ogromne ograniczenie dla współczesnych inżynierów.

Ilość światła padającego na matrycę jest zależna od otworu względnego przysłony oraz czasu naświetlania. Wydłużanie czasu lub otwieranie przysłony sprawia, że na sensor może zarejestrować więcej światła. Niestety niesie to za sobą konsekwencje – długi czas naświetlania sprawia, że ruchome obiekty będą rozmyte, co często uniemożliwia fotografowanie bez statywu.

By przezwyciężyć wspomniane problemy, Night Shift dzieli całą sekwencję naświetlania na wiele klatek z krótszym czasem i algorytm kompensuje przesunięcia ruchomych punktów. Uśrednione w ten sposób obrazy pozwalają stworzenie końcowego zdjęcia bez poruszeń oraz z wykluczeniem szumu śrutowego.

Po opracowaniu sekwencji naświetlania, Google stanęło przed innym wyzwaniem. Celem było sfotografowanie nieporuszonych gwiazd. Inżynierowie zdali sobie sprawę, że osiągnięcie obrazów wysokiej jakości potrzebuje czasu naświetlania równego kilku minutom, co jest niemożliwe do zrealizowania bez statywu. By zrobić takie zdjęcie, użytkownik musiałby wykorzystać statyw, kamień lub położyć gdzieś smartfona nieruchomo.

Niestety w przypadku długiej ekspozycji nocnego nieba, zobaczymy ruch gwiazd (star trail), rozmyte drzewa kołyszące się na wietrze oraz rozmazane chmury. Google również znalazło na to rozwiązanie. Mianowicie – musiały powstać zdjęcia, które pozwalają na zarejestrowanie gwiazd, jako świecących punktów na niebie, ale jak to zrobić, by nie rozmyć całego zdjęcia i mieć dobrze naświetloną klatkę?

Zamiast naświetlać zdjęcie przez kilka minut, inżynierowie zrobili 15 zdjęć z ekspozycją trwająca 16 sekund. Taki czas trwania ekspozycji pozwolił naukowcom na zrobienie kadru z rozpoznawalnymi kształtami bez znaczących poruszeń. Niestety na tym problemy się nie skończyły.

Matryca światłoczuła rejestruje światło, nawet, gdy go nie ma. Świetnym sposobem na sprawdzenie artefaktów matrycy światłoczułej jest zasłonięcie obiektywu dekielkiem i zrobienie zdjęcia. Wtedy będziecie mogli zlokalizować ”gorące piksele”, czyli pojedyncze fragmenty czujnika, które się ”przepaliły”. Są to małe jasne punkty, rozrzucone po całym obrazie zupełnie przypadkowo.

Sposobem na wyeliminowanie ”gorących pikseli” było pobranie informacji z sąsiadujących pikseli i zamaskowanie ich. Wartość naświetlania w przypadku artefaktów została zastąpiona tą z najbliższych, dobrze naświetlonych pikseli. Czarna magia!

Jak wiecie – aparaty w smartfonach pokazują nam przed zrobieniem zdjęcia obraz z matrycy. W ten sposób możemy skomponować swoje kadry, ale gdy jest zupełnie ciemno, aparat wyświetli nam tylko szum i nic więcej.

Po to, by użytkownik mógł płynnie widzieć, co dzieje się w kadrze, obraz musi być odświeżany co najmniej 15 razy na sekundę, co daje czas trwania ekspozycji 66 milisekund. Dla inżynierów niemałym wyzwaniem było sprawienie, by przy tak krótkim czasie naświetlania było cokolwiek widać w absolutnej ciemności.

Tryb Night Sight wykorzystuje wyświetlanie obrazu po wciśnięciu spustu migawki. Gdy tylko klatka zostanie naświetlona, zdjęcie pokazuje się na ekranie. Wspomniana ekspozycja trwa 16 sekund, natomiast fotograf w trakcie rejestrowania klatki może zmieniać pozycję aparatu i dostosować kadr do swoich potrzeb. Według obliczeń naukowców, obraz pokazywany w ten sposób zawiera aż 250 razy więcej informacji o świetle niż ten z 66-milisekundowego naświetlania.

Gdy fotograf jest zadowolony z ustawionej kompozycji zdjęcia można zatrzymać ciągłe rejestrowanie kolejnych klatek i drugim wciśnięciem przycisku migawki zrobić właściwe zdjęcie.

Podczas fotografowania gwiazd normalnymi aparatami, zakłada się ustawianie ostrości nie na ”nieskończoność”, lecz niewiele przed znacznikiem nieskończoności na podziałce obiektywu. Jak poradzić sobie z tym w przypadku autofokusa w smartfonie, gdy obraz wyświetla się zgodnie z wyżej opisaną opcją ”post shutter”? Najłatwiej wprowadzić ”post shutter autofocus”, czyli technologię, kiedy smartfon ustawia ostrość po zarejestrowaniu obrazu.

Smartfony Google Pixel 4 wykonują dwa 1-sekundowe zdjęcia. Ten czas jest wystarczający dla aparatu, by móc wykryć krawędzie obiektów w kadrze. Na ich podstawie jest ustawiana ostrość, lecz nie są one brane pod uwagę przy końcowym efekcie.

Mimo tego, że ta technologia pozwala matrycy aparatu widzieć więcej niż ludzkie oko i tak nie jest doskonała. Bywają warunki oświetleniowe, w których nawet sekundowa ekspozycja nie jest wystarczająca lub nie występują ostre krawędzie w kadrze, by smartfon miał się na czym zaczepić.

Rozwiązaniem może być możliwość ręcznego ustawiania ostrości, co zostało wprowadzone do nowej wersji trybu Night Sight. W ten sposób użytkownik sam może ustawić ostrość w pożądanej okolicy.

Jeśli kiedyś robiliście zdjęcia nocnych scen, zauważyliście, że mogą one wyglądać jak zdjęcia zrobione za dnia. To mylne wrażenie jest spowodowane równym naświetleniem całej sceny. Trzeba zmienić wygląd nieba, bo jesteśmy przyzwyczajeni do tego, że kolor nocnego nieba kojarzymy z ciemnym granatem, a nawet czernią. Google nie zawiódł i tutaj.

Algorytm trybu Night Sight selektywnie przyciemnia niebo ze zdjęcia, by pasowało ono do nastroju całego zdjęcia. To działanie zostało opracowane na podstawie maszynowego uczenia algorytmu tego, jak wygląda nocne niebo. Został on wytrenowany na ponad 100 000 zdjęć, gdzie naukowcy ręcznie zaznaczali linię nieba, a każdy z pikseli był etykietowany jako ”niebo” lub ”nie niebo”.

Ale to nie wszystko. Niebo nie tylko zostaje przyciemnione na zdjęciach, ale zostaje z niego usunięty szum oraz uwypuklone inne występujące motywy, jak na przykład chmury.

Po to, by zrobić doskonałej jakości, ostre zdjęcie Google Pixel 3 lub 4, musicie wykorzystać statyw. Dzięki temu będziecie mogli otrzymać obrazy dobrze naświetlone, z widocznymi gwiazdami i niemal doskonałą ostrością. Na dodatek nie będziecie musieli się przejmować dziwnymi kolorami na zdjęciach, co jest dość typowe podczas robienia zdjęć nocnych. Smartfon i jego algorytmy zrobią to za was.

Google ma również kilka rad dla miłośników astrofotografii uprawianej smartfonami:

• Ustabilizuj telefon na statywie lub oprzyj go o coś
• Uruchom aplikację Google Camera i przejdź do trybu Night Sight. Zrób zdjęcie
• Do robienia zdjęć krajobrazowych wybierz ręcznie ”daleki” tryb ostrości w trybie manualnym
• Dla najlepszego rezultatu nieporuszonego zdjęcia, ustaw samowyzwalacz na 3 sekundy

Tak naprawdę nie wystarczy tylko polegać na smartfonie. Sekret dobrego zdjęcia wciąż tkwi w wizji fotografa i jeśli chcecie, by wasze zdjęcia nocne były jeszcze lepsze, pamiętajcie o dobrym skomponowaniu sceny, wróceniu uwagi na zanieczyszczenie świetlne okolicy i eksperymentowaniu. Czasem podczas długiej ekspozycji świetnie może sprawdzić się latarka do oświetlenia tego, co jest na pierwszym planie.