MUVERA: Ubrzavanje Viševektorskog Pretraživanja na Brzinu…

Google istraživači Rajesh Jayaram i Laxman Dhulipala predstavljaju MUVERA, najnoviji algoritam za pretraživanje koji pretvara složeno viševektorsko pretraživanje u jednostavno jednovektorsko pretraživanje. Ovaj revolucionarni pristup omogućuje brzo i efikasno pretraživanje čak i u najsloženijim podacima.

U današnjem digitalnom dobu, umjetna inteligencija i umjetna inteligencija (AI) postaju sve važniji elementi u našem svakodnevnom životu. Jedan od najvažnijih aspekata AI-a je pretraživanje informacija (IR), koje se bavi pronalaženjem relevantnih podataka na temelju korisničkog upita. Na primjer, ako korisnik upiše “Koliko je visok Mount Everest?”, cilj IR-a je pronaći odgovarajuće informacije iz ogromne kolekcije podataka, kao što su milijardi dokumenata, slika ili videa na webu.

U zadnje vrijeme, modeli vektorskih reprezentacija postali su ključni dio modernog pretraživanja informacija. Ovi modeli transformiraju svaki podatak u jednovektorsku “reprezentaciju” (embedding), tako da semantički slični podaci postaju matematički slični vektori. Vektorske reprezentacije se obično uspoređuju putem unutarnjeg proizvoda sličnosti, što omogućuje efikasno pretraživanje putem optimiziranih algoritama za maksimizaciju unutarnjeg proizvoda (MIPS). Međutim, nedavne inovacije, posebno uvođenje viševektorskih modela kao što je ColBERT, pokazale su značajno poboljšanje u IR zadacima.

U suprotnosti s jednovektorskim reprezentacijama, viševektorske modele predstavljaju svaki podatak s skupom vektorskih reprezentacija i iskorištavaju naprednije funkcije sličnosti koje mogu uhvatiti bogatije odnose između podataka. Na primjer, popularna mjera sličnosti Chamfer, koju koriste najnoviji viševektorski modeli, uhvaća kada je informacija iz jednog viševektorskog embeddinga sadržana u drugom viševektorskom embeddingu. Iako ovaj viševektorski pristup poboljšava točnost i omogućava pronalazak relevantnijih dokumenata, on uvodi značajne računske izazove.

U članku “MUVERA: Viševektorsko Pretraživanje putem Fiksnih Dimensionalnih Kodiranja”, predstavljamo novu viševektorsku algoritam za pretraživanje dizajniran da popuni prazninu između efikasnosti jednovektorskog i viševektorskog pretraživanja. Transformiramo viševektorsko pretraživanje u jednostavniji problem konstruiranjem fiksnih dimensionalnih kodiranja (FDE) upita i dokumenata, koji su jednovektori čiji unutarnji proizvod aproksimira viševektorsku sličnost, tako da se složeno viševektorsko pretraživanje vratio na jednostavno jednovektorsko pretraživanje maksimalnog unutarnjeg proizvoda (MIPS). Ovaj novi pristup nam omogućuje da iskoristimo visoko optimizirane MIPS algoritme za dobivanje početnog skupa kandidata koji se zatim mogu ponovo rangirati s točnom viševektorskom sličnošću, time omogućujući efikasno viševektorsko pretraživanje bez žrtvovanja točnosti.

Na GitHubu smo objavili open-source implementaciju našeg algoritma za konstrukciju FDE.

Izazov viševektorskog pretraživanja

Viševektorske modele generiraju više vektorskih reprezentacija po upitu ili dokumentu, često jednu vektorsku reprezentaciju po tokenu. Tipično se sličnost između upita i dokumenta računa pomoću Chamfer uparivanja, koje mjera maksimalnu sličnost između svake vektorske reprezentacije upita i najbliže vektorske reprezentacije dokumenta, a zatim zbraja ove sličnosti preko svih vektorskih upita (standardni način računanja viševektorske sličnosti). Sličnost Chamfer, stoga, pruža “holistički” mjera kako svaki dio upita odnosi na neki dio dokumenta.

Dok viševektorske reprezentacije nude prednosti kao što su poboljšana interpretabilnost i generalizacija, one predstavljaju značajne izazove za pretraživanje: Povećani volumen vektorskih reprezentacija: Generiranje vektorskih reprezentacija po tokenu drastično povećava broj vektorskih reprezentacija koje se moraju obraditi. Složeno i računski zahtjevno sličnostno rangiranje: Chamfer uparivanje je nelinearna operacija koja zahtijeva matricni proizvod, što je skuplje od jednovektorskog dot-produkta. Nedostatak efikasnih sublinearnih pretraživačkih metoda: Jednovektorsko pretraživanje koristi visoko optimizirane algoritme (npr. bazirane na prostornom particioniranju) koji istovremeno postižu visoku točnost i sublinearno vrijeme pretraživanja, izbjegavajući iscrpna usporedbena.

Složena priroda viševektorske sličnosti sprečava direktnu primjenu brzih geometrijskih tehnika, što otežava efikasno pretraživanje na velikoj skali. Nažalost, tradicionalni jednovektorski MIPS algoritmi ne mogu se direktno primijeniti na viševektorsko pretraživanje – na primjer, dokument može imati token s visokom sličnošću s jednim tokenom upita, ali ukupno, dokument možda nije vrlo relevantan. Ovaj problem zahtijeva složenije i računski zahtjevnije metode za pretraživanje.

MUVERA: Rješenje s fiksnim dimensionalnim kodiranjima

MUVERA nudi elegantno rješenje smanjivanjem pretraživanja sličnosti viševektora na jednovektorsko MIPS, čime se pretraživanje složenih viševektorskih podataka može ubrzati. Zamislite da imate veliku bazu podataka “viševektorskih skupova” (tj. skupova vektora) gdje svaki skup opisuje neki podatak, ali pretraživanje kroz svaki od tih skupova je sporo. Trik MUVERE-a je u tome da se uzme cijeli skup viševektora i transformira ga u jedan jednovektor koji može biti brzo pretraživan.

U nastavku ćemo detaljno razmotriti kako MUVERA transformira viševektorske podatke u jednovektorske, kako se to postiže i koje su prednosti i nedostaci ovog pristupa.

Transformacija viševektorskih podataka u jednovektorske

Kako MUVERA transformira viševektorske podatke u jednovektorske? Ideja je jednostavna, ali efektivna: umjesto da se svaki upit i dokument predstavlja kao skup vektora, oni se predstavljaju kao jedan jednovektor. Ovaj jednovektor se dobiva tako da se svaki vektor u skupu promašuje u jedan jednovektor, a zatim se svi ti jednovektori zbrajaju. Na taj način, svaki upit i dokument se predstavlja kao jedan jednovektor, koji se može brzo pretraživati.

Na primjer, pretpostavimo da imamo upit “Koliko je visok Mount Everest?” i dokument koji sadrži informacije o Mount Everestu. Upit bi se mogao predstaviti kao skup vektora, jedan za svaki token u upitu (“Koliko”, “je”, “visok”, “Mount”, “Everest”, “?”). Svaki od tih vektora bi se mogao promašiti u jedan jednovektor, a zatim bi se svi ti jednovektori zbrajali, dobivajući jedan jednovektor koji predstavlja cijeli upit. Isto bi se moglo učiniti i za dokument.

Kako se to postiže?

Kako se to postiže? Postoji nekoliko koraka koji se moraju izvršiti da bi se viševektorski podaci transformirali u jednovektorske. Prvo, svaki vektor u skupu se promašuje u jedan jednovektor. To se može učiniti pomoću različitih tehnika, kao što su PCA (Principal Component Analysis) ili autoencoders. Zatim, svi ti jednovektori se zbrajaju, dobivajući jedan jednovektor koji predstavlja cijeli skup.

Na primjer, pretpostavimo da imamo skup vektora [v1, v2, v3, v4, v5]. Svaki od tih vektora bi se mogao promašiti u jedan jednovektor, npr. [0.5, 0.3, 0.2], a zatim bi se svi ti jednovektori zbrajali, dobivajući jedan jednovektor [2.5, 1.5, 1.0], koji predstavlja cijeli skup.

Prednosti i nedostaci

Koji su prednosti i nedostaci ovog pristupa? MUVERA ima nekoliko prednosti. Prvo, transformacija viševektorskih podataka u jednovektorske omogućuje brzo i efikasno pretraživanje, čak i na velikim skalama. Drugo, ovaj pristup može biti implementiran u postojeće sustave za pretraživanje bez značajnijih promjena.

Međutim, MUVERA ima i nekoliko nedostataka. Prvo, transformacija viševektorskih podataka u jednovektorske može dovesti do gubitka informacija, što može utjecati na točnost pretraživanja. Drugo, ovaj pristup može biti skuplji za implementaciju, posebno ako se koristi skup vektora velikih dimenzija.

Zaključak

U ovom članku smo predstavili MUVERA, novu viševektorsku algoritam za pretraživanje dizajniran da popuni prazninu između efikasnosti jednovektorskog i viševektorskog pretraživanja. Transformiramo viševektorsko pretraživanje u jednostavniji problem konstruiranjem fiksnih dimensionalnih kodiranja (FDE) upita i dokumenata, koji su jednovektori čiji unutarnji proizvod aproksimira viševektorsku sličnost, tako da se složeno viševektorsko pretraživanje vratio na jednostavno jednovektorsko pretraživanje maksimalnog unutarnjeg proizvoda (MIPS). Ovaj novi pristup nam omogućuje da iskoristimo visoko optimizirane MIPS algoritme za dobivanje početnog skupa kandidata koji se zatim mogu ponovo rangirati s točnom viševektorskom sličnošću, time omogućujući efikasno viševektorsko pretraživanje bez žrtvovanja točnosti.

U budućnosti, nadamo se da će MUVERA postati standard u industriji za pretraživanje informacija, omogućujući brzo i efikasno pretraživanje čak i u najsloženijim podacima. Ali to je samo početak, i nadamo se da će istraživači i inženjeri nastaviti raditi na poboljšanju i unaprjeđenju ovog revolucionarnog algoritma.

Česta pitanja

Kako MUVERA radi?

MUVERA transformira viševektorske podatke u jednovektorske, tako da se složeno viševektorsko pretraživanje može vratiti na jednostavno jednovektorsko pretraživanje. To se postiže konstruiranjem fiksnih dimensionalnih kodiranja (FDE) upita i dokumenata, koji su jednovektori čiji unutarnji proizvod aproksimira viševektorsku sličnost.

Je li MUVERA brži od tradicionalnih viševektorskih algoritama?

Da, MUVERA je brži od tradicionalnih viševektorskih algoritama. To se postiže transformiranjem viševektorskih podataka u jednovektorske, što omogućuje brzo i efikasno pretraživanje, čak i na velikim skalama.

Može li MUVERA biti implementiran u postojeće sustave za pretraživanje?

Da, MUVERA može biti implementiran u postojeće sustave za pretraživanje bez značajnijih promjena. To čini ovaj pristup atraktivnim za korisnike koji žele poboljšati efikasnost pretraživanja bez žrtvovanja točnosti.

Koji su nedostaci MUVERA?

MUVERA ima nekoliko nedostataka. Prvo, transformacija viševektorskih podataka u jednovektorske može dovesti do gubitka informacija, što može utjecati na točnost pretraživanja. Drugo, ovaj pristup može biti skuplji za implementaciju, posebno ako se koristi skup vektora velikih dimenzija.

Kako se MUVERA može unaprijediti?

MUVERA se može unaprijediti na nekoliko načina. Prvo, istraživači i inženjeri mogu raditi na poboljšanju tehnika za transformaciju viševektorskih podataka u jednovektorske, kako bi se minimizirao gubitak informacija. Drugo, mogu se istraživati nove tehnike za konstrukciju fiksnih dimensionalnih kodiranja (FDE), koje bi mogle poboljšati efikasnost pretraživanja.