U današnje vrijeme, ljudska sposobnost lokalizacije izvora zvuka i percepcije okoline isključivo putem slušnih informacija predstavlja iznimnu vještinu. Ova senzorna sposobnost, poznata kao prostorno čujanje, igra ključnu ulogu u mnogim svakodnevnim aktivnostima, uključujući prepoznavanje govornika u bučnim razgovorima i navigaciju kroz složene prostore. Stoga je oponašanje koherentnog osjećaja prostora putem slušnih uređaja poput slušalica od suštinske važnosti za stvaranje zaista uranjajućih umjetničkih iskustava. S obzirom na nedostatak višekanalnih i pozicijskih podataka za većinu akustičnih i prostornih uvjeta, robusna i niskoresursna sinteza binauralnog zvuka iz monofonih, jednopojasnih (mono) snimaka predstavlja ključni korak prema napretku tehnologija proširene stvarnosti (AR) i virtualne stvarnosti (VR).
Tradicionalne metode sinteze binauralnog zvuka
Konvencionalne tehnike sinteze mono-u-binaural koriste okvir digitalne obrade signala (DSP). U okviru ovog pristupa, način na koji se zvuk raspršuje po prostoriji do ušiju slušatelja formalno se opisuje putem funkcije prijenosa povezanih s glavom i impulsnog odgovora prostorije. Ove funkcije, zajedno s ambijentalnom bukom, modeliraju se kao linearni vremenski invarianti sustavi i dobivaju se kroz pažljiv proces za svaku simuliranu prostoriju. Takvi DSP-bazirani pristupi su rašireni u komercijalnim aplikacijama zbog svoje uspostavljene teorijske osnove i sposobnosti generiranja perceptivno realističnih audio iskustava.
Ograničenja konvencionalnih pristupa
Uzimajući u obzir ograničenja konvencionalnih pristupa, mogućnost korištenja strojno učenje za sintezu binauralnog zvuka iz monofonih izvora postaje vrlo privlačna. Međutim, korištenje standardnih modela nadziranog učenja još uvijek je vrlo teško zbog dva glavna izazova:
- Nedostatak skupova podataka s pozicijskim oznakama binauralnog zvuka.
- Prirodna varijabilnost stvarnih okruženja, karakterizirana raznolikim akustičnim uvjetima prostorija i pozadinskom bukom.
Osim toga, nadzirani modeli su skloni prekomjernom prilagođavanju specifičnim prostorijama, karakteristikama govornika i jezicima u podacima za obuku, posebno kada je njihov skup podataka mali.
Predstavljanje ZeroBAS metode
Kako bismo prevladali ova ograničenja, predstavljamo ZeroBAS, prvu metodu sinteze binauralnog zvuka iz monauralnog zapisa bez prethodnog učenja, koja koristi geometrijsko vremensko preoblikovanje, skaliranje amplitude i denoising vocoder. Važno je napomenuti da postižemo prirodnu generaciju binauralnog zvuka koja je perceptivno na razini postojećih nadziranih metoda, unatoč tome što nikada nismo koristili binauralne podatke. Također predstavljamo nov pristup izgradnji skupova podataka i skup podataka TUT Mono-to-Binaural, izveden iz lokacijski označenih ambisoničnih snimaka govora iz TUT Sound Events 2018 skupa podataka. Kada se evaluiraju na ovim podacima izvan distribucije, prethodne nadzirane metode pokazuju smanjenu učinkovitost, dok ZeroBAS nastavlja dobro funkcionirati.
Arhitektura ZeroBAS metode
Naša predložena metoda sinteze binauralnog zvuka bez prethodnog učenja koristi trostupanjsku arhitekturu. Prva faza slijedi prethodni rad, provodeći geometrijsko vremensko preoblikovanje (GTW) kako bi manipulirala ulaznim mono valnim oblikom u dva kanala na temelju pružene pozicije govornika u odnosu na slušatelja. Nakon toga, naš predloženi modul za skaliranje amplitude (AS) prilagođava amplitudu preoblikovanog signala prema informacijama o relativnoj poziciji. Na kraju, postojeći denoising vocoder iterativno usavršava obrađeni signal kako bi generirao binauralni izlaz sastavljen od dva kanala.
Geometrijsko vremensko preoblikovanje (GTW)
GTW ima za cilj procijeniti polje preoblikovanja koje odvaja lijeve i desne binauralne signale primjenom interauralne vremenske odgode na temelju relativnih pozicija izvora zvuka i ušiju slušatelja. GTW generira početnu procjenu percipiranih signala koristeći brzinu zvuka i udaljenosti između ušiju slušatelja i govornika. Ovaj pristup nudi jednostavno i parametarski slobodno rješenje za polje preoblikovanja koje se može primijeniti na mono signal.
Skaliranje amplitude
Osim manipulacije vremenskom odgodom signala, također manipuliramo amplitudom signala na temelju pozicije govornika. Ljudska prostorna percepcija zvuka oslanja se na različite čimbenike, uključujući interauralnu vremensku odgodu, interauralnu razliku u razini i spektralne signale zbog funkcija prijenosa povezanih s glavom. Dok prethodni radovi sugeriraju da je interauralna razlika u razini uglavnom uzrokovana raspršenjem oko glave i dominantna u ljudskoj prostornoj percepciji za zvukove visoke frekvencije, otkrivamo da skaliranje amplitude temeljem zakona inverzne kvadrate ima pozitivan učinak na percipiranu prostornu točnost obrađenog signala. Naš pristup nastoji iskoristiti ovu manipulaciju amplitudom kako bi poboljšao prostornu realnost generiranog binauralnog zvuka.
Denoising vocoder
GTW i AS su jednostavne, parametarski slobodne operacije koje samo grubo aproksimiraju binauralni zvuk; korištenje preoblikovanih i skaliranih govora rezultira akustičkim artefaktima i nesuglasicama. Stoga postoji potreba za daljnjim usavršavanjem kako bi se generirao prirodno zvučni binauralni zvuk. U tu svrhu predlažemo da se dovoljno dobro obučeni denoising vocoder može koristiti na svakom signalu — koristimo WaveFit neuralni vocoder. To je vocoder koji koristi fiksnu iteraciju i uzima u obzir perspektivu denoisinga Denoising Diffusion Probabilistic Models (DDPMs) i diskriminator generativnih adversarijalnih mreža kako bi naučio generirati prirodni govor iz degradiranog ulaznog govornog signala. Kao vocoder, uzima log-mel spektrogram značajke i buku kao ulaz i proizvodi čisti valni oblik kao izlaz. Varijanta WaveFit koja se koristi trenirana je na LibriLight skupu podataka.
Zaključak
ZeroBAS predstavlja značajan korak naprijed u sintezi binauralnog zvuka, omogućujući generaciju binauralnog audio sadržaja iz monauralnih snimaka bez potrebe za prethodnim učenjem na binauralnim podacima. Ova inovativna metoda ne samo da poboljšava kvalitetu audio iskustava u AR i VR aplikacijama, već i otvara nove mogućnosti za istraživanje i razvoj u području zvučne tehnologije. S obzirom na trenutne trendove i istraživanja, očekuje se da će ZeroBAS postati standard u industriji, omogućujući stvaranje realističnijih i uranjajućih zvučnih iskustava za korisnike.
Najčešća pitanja (FAQ)
Što je binauralni zvuk?
Binauralni zvuk je tehnika snimanja i reprodukcije zvuka koja stvara trodimenzionalni zvučni doživljaj, omogućujući slušatelju da percipira smjer i udaljenost zvučnih izvora.
Kako ZeroBAS funkcionira?
ZeroBAS koristi geometrijsko vremensko preoblikovanje i skaliranje amplitude za generiranje binauralnog zvuka iz monauralnih snimaka bez potrebe za prethodnim učenjem na binauralnim podacima.
Koje su prednosti korištenja ZeroBAS metode?
Prednosti uključuju poboljšanu kvalitetu zvuka, smanjenje potrebe za velikim skupovima podataka i mogućnost generiranja binauralnog zvuka u raznim akustičnim uvjetima.
Može li ZeroBAS raditi u stvarnom vremenu?
Da, ZeroBAS je dizajniran da bude dovoljno brz za primjenu u stvarnom vremenu, što ga čini pogodnim za AR i VR aplikacije.
Koje su primjene binauralnog zvuka?
Binauralni zvuk se koristi u raznim područjima, uključujući virtualnu stvarnost, igre, filmsku produkciju, terapiju zvukom i edukaciju.
