Sztuczna inteligencja stworzyła obrazy na bazie opisów. Nie wyszło to najlepiej

Naukowcy z Instytutu Sztucznej Inteligencji Allena stworzyli dość ciekawy algorytm, który generuje obrazy na podstawie słów. Program analizuje ich znaczenie i kontekst, po czym pojawia się grafika. Jak się domyślacie, nie jest doskonała, a efekty są naprawdę dziwaczne.

Sztuczna inteligencja stworzyła obrazy na bazie opisów. Nie wyszło to najlepiej 1Tak algorytm zinterpretował zdanie: "Fotograf robiący zdjęcie".
Marcin Watemborski

O ile algorytmy tworzące opisy słowne do zdjęć są już w internecie od jakiegoś czasu (Facebook, Google), to w drugą stronę była to czarna magia. Do czasu. Obecnie programiści i inżynierowie z Instytutu Sztucznej Inteligencji Allena pracują nad zaawansowanym rozwiązaniem generowania obrazu na podstawie znaczeń i kontekstów, ale technologia jeszcze raczkuje.

Algorytm sztucznej inteligencji GPT-3 oparty jest na maszynowym uczeniu, to znaczy, że na podstawie zbioru danych uczy się rozumienia konkretnych słów i przetwarzania ich – w tym przypadku na grafikę. Początki tej technologii sięgają czasów systemu językowego Google BERT, który starał się wstawiać słowa w puste miejsca w zdaniach. Wymuszało to na programie uczenie się rozumienia kontekstu.

Obecnie ten model sztucznej inteligencji jest rozszerzany na elementy graficzne. Algorytm nie tylko rozumie kontekst, ale niejako "domyśla się", jaki fragment obrazu powinien się znaleźć na końcowym efekcie. Do testów zostały wykorzystane proste zdania, ale efekty, cóż… wyszły bardzo źle. Poniżej możecie zobaczyć interpretację zdania: "Żyrafa stojąca na ziemi obok drzewa".

Sztuczna inteligencja stworzyła obrazy na bazie opisów. Nie wyszło to najlepiej 2
"Żyrafa stojąca na ziemi obok drzewa."

Przyznacie, że nijak nie przypomina to żadnego elementu zdania. To jest zrozumiałe dla nas, ludzi. Maszyna jeszcze nie wie, czym jest żyrafa, jak wygląda ani co robi. Nasz mózg bez problemu jest w stanie zwizualizować sobie wspomnianą scenkę. Celem naukowców było przełożenie sposobu naszego wyobrażania sobie znaczenia powyższego zdania na algorytm. Z czasem efekt stał się nieco lepszy, chociaż wciąż daleki od ideału.

Sztuczna inteligencja stworzyła obrazy na bazie opisów. Nie wyszło to najlepiej 3

Na obecnym etapie technologia zamiany słów na obraz jest w powijakach, ale zaczyna nabierać kształtu. Wraz z dalszym treningiem, program zapewne będzie radził sobie coraz lepiej, co widać na powyższych przykładach.

Dla zabawy możecie wypróbować algorytm samemu. Działa on w oparciu o język angielski.

Sztuczna inteligencja stworzyła obrazy na bazie opisów. Nie wyszło to najlepiej 4
"Czarny aparat leżący na stole."

Wybrane dla Ciebie

Gang fok przegania rekina. U wybrzeży Afryki foki dały popis współpracy
Gang fok przegania rekina. U wybrzeży Afryki foki dały popis współpracy
Nie uwierzysz na co patrzysz. Polacy w ścisłej czołówce takich zdjęć
Nie uwierzysz na co patrzysz. Polacy w ścisłej czołówce takich zdjęć
Niesamowity kadr przedstawiający pradawny gatunek skorupiaka wygrał prestiżowy konkurs
Niesamowity kadr przedstawiający pradawny gatunek skorupiaka wygrał prestiżowy konkurs
Ekstremalnie rzadki aparat został sprzedany za 3,5 mln euro. Wyprodukowano go 100 lat temu
Ekstremalnie rzadki aparat został sprzedany za 3,5 mln euro. Wyprodukowano go 100 lat temu
Kary za zdjęcia dzieci. Konsekwencje dla rodziców we Francji
Kary za zdjęcia dzieci. Konsekwencje dla rodziców we Francji
Rekin gonił cień drona. Zachowywał się, jak kot goniący zajączka
Rekin gonił cień drona. Zachowywał się, jak kot goniący zajączka
Brutalny atak jelenia na zdjęciu. Fotograf przestrzega turystów
Brutalny atak jelenia na zdjęciu. Fotograf przestrzega turystów
Widziałeś film z Hanksem? Aktor ostrzega przed oszustwem
Widziałeś film z Hanksem? Aktor ostrzega przed oszustwem
Perseidy, Droga Mleczna i świecące glony naraz. Oto zdjęcie jedno na milion
Perseidy, Droga Mleczna i świecące glony naraz. Oto zdjęcie jedno na milion
Meta wykorzystała publiczne zdjęcia z Facebooka i Instagrama do trenowania AI
Meta wykorzystała publiczne zdjęcia z Facebooka i Instagrama do trenowania AI
Prawdziwy skarb fotograficzny. Te zabytkowe aparaty nie zrobiły ani jednego zdjęcia
Prawdziwy skarb fotograficzny. Te zabytkowe aparaty nie zrobiły ani jednego zdjęcia
Tragedia podczas wycieczki. Kobieta spadła z urwiska robiąc selfie
Tragedia podczas wycieczki. Kobieta spadła z urwiska robiąc selfie