Kako se modeli jezika (LMs) sve više usavršavaju u zadacima poput generiranja slika, trivijalnih pitanja i jednostavne matematike, možda mislite da je ljudoliko razmišljanje na rubu. Međutim, u stvarnosti, oni još uvijek zaostaju za nama u složenim zadacima. Pokušajte igrati Sudoku s jednim od njih, na primjer, gdje trebate ispuniti brojeve od jedan do devet na način da se svaki pojavljuje samo jednom u stupcima, redovima i sekcijama devet na devet polja. Vaš AI protivnik će ili neće moći ispuniti kutije sam, ili će to učiniti neefikasno, iako može provjeriti jesu li vaše kutije ispravno ispunjene.
Kada LM pokušava riješiti napredne zagonetke, dizajnirati molekule ili pisati matematičke dokaze, sustav ima problema s odgovaranjem otvorenim zahtjevima koji imaju stroge pravila. Model je bolji u tome da korisnicima kaže kako pristupiti ovim izazovima nego da ih sam pokušava riješiti. Osim toga, rješavanje problema zahtijeva od LMs-a da razmotri širok spektar mogućnosti uz poštivanje ograničenja. Mali LMs to ne mogu pouzdano učiniti sami; veliki modeli jezika (LLMs) to mogu, posebno ako su optimizirani za zadatke razmišljanja, ali odgovaraju sporije i koriste mnogo računarske snage.
Ovaj problem navodio je istraživače s MIT-ovog Odjela za računarstvo i umjetnu inteligenciju (CSAIL) da razviju suradnički pristup, gdje LLM radi planiranje, a zatim dijeli posao manjim modelima. Njihov metod pomogne malim modelima da daju točnije odgovore od vodećih LLMs poput OpenAI-ja GPT-4o, i približe se preciznosti vrhunskih sustava za razmišljanje poput o1, dok su učinkovitiji od oba. Njihov okvir, nazvan “Distributional Constraints by Inference Programming with Language Models” (ili “DisCIPL”), koristi veliki model koji manjim “pratiteljskim” modelima daje upute prema točnim odgovorima prilikom pisanja tekstova, popisima namirnica s budžetom i putnim planovima.
Unutarnji rad DisCIPL-a sličan je angažiranju tvrtke za određeni posao. Dajete “šef” modelu zahtjev, a on pažljivo razmišlja kako pristupiti tom projektu. Zatim LLM prenosi ove upute i smjernice na jasan način manjim modelima. Ispravlja izlaze pratiteljskih LMs gdje je potrebno – na primjer, zamjenjuje izraz jednog modela koji ne odgovara u pjesmi boljim izrazom drugog.
LLM komunicira s pratiteljima koristeći jezik koji svi razumiju – to jest, programski jezik za kontrolu LMs-a zvan LLaMPPL, koji je MIT-ov Projekt vjerojatnog računanja predstavio 2023. godine. Ovaj program omogućuje korisnicima da kodiraju specifična pravila koja usmjeravaju model prema željenom rezultatu. Na primjer, LLaMPPL se može koristiti za proizvodnju pogrešaka u kodu tako da se pravila određenog jezika uključe u upute. Upute poput “napišite osam redaka poezije gdje svaki redak ima točno osam riječi” kodiraju se u LLaMPPL-u, stavljajući manje modele da doprinose različitim dijelovima odgovora.
MIT-ov doktorand Gabriel Grand, koji je glavni autor rada koji predstavlja ovaj rad, kaže da DisCIPL omogućuje modelima da jedan drugome daju upute prema najboljim odgovorima, što poboljšava njihovu ukupnu učinkovitost. “Radimo na poboljšanju učinkovitosti zaključivanja LMs-a, posebno na mnogim modernim primjenama ovih modela koje uključuju generiranje izlaza pod ograničenjima”, dodaje Grand, koji je također istraživač na CSAIL-u. “Modeli jezika troše sve više energije kako ih ljudi više koriste, što znači da nam treba modeli koji mogu pružati točne odgovore koristeći minimalnu računarsku snagu.”
“Zapravo je uzbudljivo vidjeti nove alternative standardnom zaključivanju modela jezika”, kaže pomoćnica profesorka Alane Suhr na Sveučilištu u Kaliforniji u Berkeleyju, koja nije bila uključena u istraživanje. “Ovaj rad poziva na nove pristupe modeliranju jezika i LLMs-ima koji značajno smanjuju latenciju zaključivanja putem paralelizacije, zahtijevaju značajno manje parametara od trenutnih LLMs-a i čak poboljšavaju performanse zadataka nad standardnim serijaliziranim zaključivanjem. Rad također pruža mogućnosti za istraživanje prozirnosti, interpretabilnosti i kontrole izlaza modela, što je još uvijek veliki otvoreni problem u implementaciji ovih tehnologija.”
Pripovijest podrugljivca
Možda mislite da su veći LMs “bolji” od malih u složenim upitima kada je riječ o točnosti i učinkovitosti. DisCIPL sugerira iznenađujuću suprotnost za ove zadatke: ako možete kombinirati prednosti malih modela, možda ćete moći postići bolje rezultate.
Kombiniranje prednosti malih modela
Jedna od ključnih prednosti DisCIPL-a je mogućnost kombiniranja prednosti malih modela. Umjesto da se oslanjate na jedan veliki model koji može biti spor i zahtijevati mnogo računarske snage, DisCIPL koristi manji model koji je brži i manje zahtjevan. Ovo omogućuje korisnicima da dobiju brže i učinkovitije odgovore bez gubitka točnosti.
Na primjer, kada je riječ o generiranju teksta, mali modeli mogu brže generirati tekstove koji su točni i relevantni. Ovo je posebno korisno u aplikacijama gdje je brzina ključna, poput stvaranja sadržaja za društvene mreže ili pisanja brze e-pošte.
Poboljšanje točnosti i učinkovitosti
DisCIPL također donosi poboljšanja u točnosti i učinkovitosti. Mali modeli mogu biti precizniji u određenim zadacima jer su optimizirani za specifične zadatke. Na primjer, mali modeli mogu biti bolji u matematičkim zadacima ili u generiranju koda jer su optimizirani za te vrste zadataka.
Osim toga, DisCIPL omogućuje manjim modelima da rade zajedno, što može dovesti do boljih rezultata nego što bi jedan veliki model mogao postići. Na primjer, mali modeli mogu raditi na različitim dijelovima zadatka istovremeno, što može ubrzati proces i poboljšati točnost.
Primjeri primjene DisCIPL-a
DisCIPL se može koristiti u različitim aplikacijama, uključujući generiranje teksta, matematička rješavanja i generiranje koda. Na primjer, mali modeli mogu biti korišteni za generiranje tekstova koji su točni i relevantni, matematička rješavanja koja su brza i učinkovita, i generiranje koda koji je pogrešaka.
Osim toga, DisCIPL se može koristiti u aplikacijama gdje je brzina ključna, poput stvaranja sadržaja za društvene mreže ili pisanja brze e-pošte. Mali modeli mogu brže generirati tekstove koji su točni i relevantni, što je posebno korisno u ovim aplikacijama.
Budućnost DisCIPL-a
Budućnost DisCIPL-a izgleda vrlo obećavajuće. Kako se modeli jezika sve više koriste u različitim aplikacijama, DisCIPL može pružiti značajna poboljšanja u točnosti, učinkovitosti i brzini. Mali modeli mogu biti korišteni za različite zadatke, što može dovesti do boljih rezultata nego što bi jedan veliki model mogao postići.
Osim toga, DisCIPL može pružiti mogućnosti za istraživanje prozirnosti, interpretabilnosti i kontrole izlaza modela. Ovo je posebno korisno u aplikacijama gdje je važno razumjeti kako modeli donose odluke, poput medicinskih dijagnostika ili pravnih analiza.
Zaključak
DisCIPL predstavlja značajno poboljšanje u načinu na koji mali modeli jezika mogu rješavati složene zadatke. Korištenjem suradničkog pristupa, gdje veliki modeli daju upute manjim modelima, DisCIPL omogućuje manjim modelima da daju točnije i učinkovitije odgovore. Ovo je posebno korisno u aplikacijama gdje je brzina i točnost ključne, poput generiranja teksta, matematičkog rješavanja i generiranja koda.
Osim toga, DisCIPL pruža mogućnosti za istraživanje prozirnosti, interpretabilnosti i kontrole izlaza modela. Ovo je posebno korisno u aplikacijama gdje je važno razumjeti kako modeli donose odluke, poput medicinskih dijagnostika ili pravnih analiza.
Kao što se modeli jezika sve više koriste u različitim aplikacijama, DisCIPL može pružiti značajna poboljšanja u točnosti, učinkovitosti i brzini. Mali modeli mogu biti korišteni za različite zadatke, što može dovesti do boljih rezultata nego što bi jedan veliki model mogao postići.
Često postavljana pitanja
Kako DisCIPL poboljšava točnost malih modela jezika?
DisCIPL koristi veliki model koji daje upute manjim modelima, što omogućuje manjim modelima da daju točnije odgovore. Ovo je posebno korisno u aplikacijama gdje je točnost ključna, poput matematičkog rješavanja ili generiranja koda.
Je li DisCIPL učinkovitiji od velikih modela jezika?
Da, DisCIPL je učinkovitiji od velikih modela jezika jer koristi manji model koji je brži i manje zahtjevan. Ovo omogućuje korisnicima da dobiju brže i učinkovitije odgovore bez gubitka točnosti.
Koji su glavni prednosti DisCIPL-a?
Glavne prednosti DisCIPL-a uključuju poboljšanje točnosti i učinkovitosti malih modela jezika, mogućnost kombiniranja prednosti malih modela i mogućnost istraživanja prozirnosti, interpretabilnosti i kontrole izlaza modela.
Koji su glavni nedostaci DisCIPL-a?
Glavni nedostaci DisCIPL-a uključuju potrebu za velikim modelom koji daje upute manjim modelima i mogućnost da manji modeli ne mogu rješavati složene zadatke sami.
Koji su primjeri primjene DisCIPL-a?
DisCIPL se može koristiti u različitim aplikacijama, uključujući generiranje teksta, matematičko rješavanje i generiranje koda. Ovo je posebno korisno u aplikacijama gdje je brzina i točnost ključne.
Koja je budućnost DisCIPL-a?
Budućnost DisCIPL-a izgleda vrlo obećavajuće. Kako se modeli jezika sve više koriste u različitim aplikacijama, DisCIPL može pružiti značajna poboljšanja u točnosti, učinkovitosti i brzini. Mali modeli mogu biti korišteni za različite zadatke, što može dovesti do boljih rezultata nego što bi jedan veliki model mogao postići.
