Dugo je prevođenje govora u stvarnom vremenu, bez obzira na jezične razlike, djelovalo kao nedostižan san. Tradicionalni pristupi oslanjali su se na niz koraka: prvo automatsko prepoznavanje govora (ASR) za pretvaranje zvuka u tekst, zatim strojno prevođenje (MT) za prijevod teksta na ciljni jezik i na kraju pretvaranje teksta u govor (TTS) kako bi se dobio odgovor. Iako svaka od tih komponenti pojedinačno funkcionira prilično dobro, njihov kumulativni učinak rezultirao je kašnjenjem od četiri do pet sekundi. To je dovodilo do nakupljanja pogrešaka i generiranja robotičnog glasa koji je bio lišen osobnosti izvornog govornika. Međutim, nedavna postignuća timova Google DeepMind i Core ML donose revoluciju u ovom području, nudeći prijenos uživo uz očuvanje glasa s nevjerojatnim kašnjenjem od samo dvije sekunde. Ovakav napredak čini razgovore na stranim jezicima prirodnijima, gotovo poput razgovora licem u lice.
Zašto kaskadni pristup ima svoja ograničenja
Klasični kaskadni pristup sastoji se od tri glavna dijela: ASR, MT i TTS. Svaka od tih faza prenosi nesavršene informacije sljedećoj, što dovodi do pojačavanja pogrešaka. Nadalje, ovakav pristup zahtijeva čekanje dok se cijela izjava ne završi prije generiranja odgovora. To pak nameće prekidni, ritmički obrazac govora koji nije prirodan. Konačno, glas generiran putem TTS-a obično je generički neuralni sintisajzer koji nudi vrlo malo prostora za izražavanje nijansi specifičnih za govornika. Ova ograničenja ostavljaju interakciju u stvarnom vremenu na suboptimalnoj razini i smanjuju potencijal primjene tehnologija poput videokonferencija ili internetskog dopisivanja.
Predstavljamo model prevođenja od kraja do kraja
Kako bi se stvorio model koji može generirati odgovor na ciljnom jeziku glasom izvornog govornika, Google je razvio specifičan proces prikupljanja podataka. Taj proces stvara parove audio-do-audio koji su precizno vremenski usklađeni. Sve započinje sa širokim spektrom sirovih snimaka – uključujući govor, audioknjige i sintetski generiran TTS izlaz. Ti se snimci filtriraju kako bi svaki isječak sadržavao samo jednog govornika izvornog jezika i prihvatljivu razinu pozadinske buke. Zatim automatsko prepoznavanje govora generira izvorni tekst, a algoritam prisilnog poravnavanja (forced alignment) mapira svaki fonem na njegov vremenski zapis u zvuku. Audio segmenti koji se ne mogu precizno poravnati odbacuju se kako bi se osigurala visoka kvaliteta skupa podataka.
Vremenski usklađeno prevođenje za prirodniji razgovor
Nakon što su podaci pripremljeni, izvorni tekst se strojno prevodi na ciljni jezik. Automatizirane provjere uspoređuju duljinu i jezične značajke prijevoda s izvornim tekstom. Ključni napredak leži u tome što se ne čeka cijela izjava. Umjesto toga, model obrađuje i prevodi dijelove govora dok govornik govori. Zatim se koristi model prevođenja od kraja do kraja, koji se oslanja na vremenski usklađene audio-do-audio parove, kako bi generirao ciljni audio koji je sinkroniziran s izvornim govorom. Ovo omogućuje da se ciljni glas čuje kao da ga govornik sam izgovara, čime se postiže znatno prirodniji osjećaj tijekom komunikacije.
Prednosti novog pristupa
Ovaj napredni model omogućuje prijevod u stvarnom vremenu uz očuvanje glasa i minimalno kašnjenje od samo dvije sekunde. To predstavlja značajan korak naprijed u usporedbi s prethodnim metodama koje su imale kašnjenje od četiri do pet sekundi i generirale neprirodne glasove. Mogućnost vođenja tečnih razgovora na različitim jezicima otvara nove horizonte za:
- Međunarodne poslovne sastanke i suradnju.
- Putovanja i komunikaciju s lokalnim stanovništvom.
- Pristup informacijama i zabavi na stranim jezicima.
- Poboljšanje korisničkog iskustva u aplikacijama za komunikaciju.
Ovakav pristup ne samo da smanjuje jezične barijere, već i obogaćuje interakciju