Naukowa synestezja. Ta kamera WIDZI dźwięki!

Synestezja to interesujący stan, w którym człowiek doświadcza jednego zmysłu za pośrednictwem innego. Przykładowo – niektórzy słyszą kolory lub widzą dźwięki. Teorie zachodzenia tego zjawiska są różnie i łączą się bezpośrednio z połączeniami w mózgu. Często osoby będące pod wpływem narkotyków psychodelicznych, jak LSD czy "magiczne grzybki" wspominają o podobnych doświadczeniach.

Po tym przydługim wstępie przejdźmy do współczesnej, naukowej "synestezji". Będziemy ją traktować w cudzysłowie, ponieważ nie chodzi tu o człowieka, a o maszynę, a konkretnie bardzo specyficzną kamerę opracowaną przez naukowców z Instytutu Robotyki Szkoły Nauk Komputerowych oraz zespół z Uniwersytetu Carnegie Mellon.

Zgodnie z opisem projektu, wspomniana kamera potrafi zobaczyć wibracje z taką precyzją, że na podstawie nagrania mogą zostać odtworzone nie tylko dźwięki jednego instrumentu, ale całej orkiestry. Jej działanie jest bardzo skomplikowane i opiera się na pomiarach laserowych. Wszystko przebiega bez tradycyjnego mikrofonu – to czysty obraz dźwięku.

Mark Sheinin z Laboratorium Obrazu Instytutu Robotyki mówi, że wraz z zespołem udało im się stworzyć nowy sposób na widzenie dźwięku. Całkowicie nowe układ kamery, lasera oraz technologia obrazowania pozwolą ujrzeć to, co dotychczas było dla nas niedostrzegalna. Z dźwiękiem bowiem kojarzy nam się zmysł słuchu, a nie wzroku.

Na powyższym przykładzie możecie zobaczyć, jak przy wykorzystaniu opisanego systemu, naukowcom udało się nagrać osobno gitary oraz muzykę puszczaną z głośników jednocześnie. Mimo tego, że wynalazek jest wzorowany na mikrofonach wizualnych opracowanych przez MIT w 2014 roku, ma znacznie ulepszone działanie.

Optyczne mikrofony stworzone przez zespół badawczy, nad którym pieczę sprawuje profesor Srinivasa Narasimhan, działają inaczej niż poprzednie urządzenia. Opierają się one na zwykłych kamerach, a nie tych przeznaczonych do nagrywania ze wysokim klatkażem, dzięki czemu udało się osiągnąć lepszą jakość nagrań oraz obniżyć koszt produkcji.

Działanie nowych urządzeń opiera się na rejestrowaniu zmian w układzie szumu rejestrowanego przez migawkę globalną oraz obrotową. Specjalny algorytm wychwytuje te odchylenia i przetwarza na zapis wibracji konkretnych dźwięków. Zmiany są zależne od wibrującej powierzchni – w tym przypadku jest to pudło rezonansowe gitary. Migawka obrotowa odpowiada za wychwytywanie zmian piksel po pikselu, zaś globalna ujmuje całość naraz.

Więcej informacji znajdziecie na stronie internetowej projektu.

Marcin Watemborski, redaktor prowadzący Fotoblogii