Tryb portretowy w smartfonach Google Pixel. Producent wytłumaczył szczegóły

Smartfony Google Pixel są znane z aparatów dostarczających dobrej jakości zdjęcia, a od początku ich atutem jest przede wszystkim oprogramowanie i rozbudowane algorytmy. Google wytłumaczył niedawno, jak przygotowywano tryb portretowy.

O szczegółach można przeczytać w długim wpisie na Blogu Google, gdzie producent krok po kroku pokazuje efekty zastosowania uczenia maszynowego na etapie obróbki zdjęć, która w smartfonach Pixel jest wdrażana tuż po wykonaniu fotografii. Najciekawsza wydaje się być implementacja algorytmów odpowiedzialnych za symulację studyjnego oświetlenia.

Jak się okazuje, by tworzyć odpowiedni model, Google wybudował w tym celu scenę wyposażoną w 331 lamp LED, z wykorzystaniem której sfotografowano 70 osób. Zdjęć powstało natomiast znacznie więcej, bo ułożono tu aż 64 aparaty – każdy w nieco innym miejscu – by uzyskać możliwie dużo danych wejściowych. W ten sposób udało się zebrać masę informacji o tym, jak zmienia się oświetlenie i odbicia od ludzkiej skóry w zależności od kierunku, z którego pada światło.

Google tłumaczy, że dzięki odpowiedniemu doborowi modeli (różnej płci, karnacji, urody i z różnymi fryzurami i ubraniami), którzy zostali sfotografowani w wielu warunkach oświetleniowych z dodatkowymi światłami lub bez nich, uzyskano miliony par obrazów, które później zostały wykorzystane na etapie tworzenia funkcji oświetlenia portretowego dostępnego w smartfonach.

W efekcie użytkownik może symulować przemieszczanie źródeł światła, a oprogramowanie w czasie rzeczywistym pokazuje, jak wyglądałoby wówczas finalne zdjęcie. Co istotne, wszystkie te operacje są wykonywane w postprodukcji w smartfonie, wobec czego o świetle nie trzeba decydować przed zrobieniem zdjęcia.