Kada istraživači razvijaju velike jezične modele (LLM), njihov cilj je maksimizirati performanse unutar određenog računalnog i financijskog budžeta. Budući da obuka modela može koštati milijune dolara, programeri moraju pažljivo donositi odluke koje utječu na troškove, poput arhitekture modela, optimizatora i podataka za obuku, prije nego što se odluče za određeni model. Kako bi predvidjeli kvalitetu i točnost predikcija velikog modela, praktičari često koriste zakone skaliranja: koristeći manje, jeftinije modele kako bi pokušali približiti performanse mnogo većeg ciljnog modela. Međutim, izazov leži u tome što postoji tisuće načina za izradu zakona skaliranja.
Novi rad istraživača s MIT-a i MIT-IBM Watson AI Lab-a bavi se ovim problemom prikupljanjem i objavljivanjem zbirke stotina modela i metrika vezanih uz obuku i performanse kako bi se približilo više od tisuću zakona skaliranja. Iz toga je tim razvio meta-analizu i vodič za odabir malih modela i procjenu zakona skaliranja za različite obitelji LLM modela, kako bi se budžet optimalno iskoristio za generiranje pouzdanih predikcija performansi.
„Ideja da bismo mogli pokušati izgraditi matematičke modele procesa obuke postoji već nekoliko godina, ali ono što je ovdje novo jest to da je većina dosadašnjeg rada bila usmjerena na to da se post-hoc kaže nešto o tome što se dogodilo kada smo obučavali sve te modele, kako bismo mogli donijeti najbolje odluke o tome kako iskoristiti naš računalni budžet kada pokušavamo obučiti novi model velike razmjere“, kaže Jacob Andreas, docent na Odjelu za elektrotehniku i računalne znanosti i glavni istraživač u MIT-IBM Watson AI Lab-u.
Istraživanje je nedavno predstavljeno na Međunarodnoj konferenciji o strojnom učenju od strane Andeasa, zajedno s istraživačima iz MIT-IBM Watson AI Lab-a, Leshemom Choshenom i Yangom Zhangom iz IBM Research-a.
Ekstrapolacija performansi
Razvoj LLM-ova je skupi pothvat: od donošenja odluka o broju parametara i tokena, odabiru i veličini podataka, tehnikama obuke, do određivanja točnosti izlaza i podešavanja za ciljne aplikacije i zadatke. Zakoni skaliranja nude način za predviđanje ponašanja modela povezujući gubitak velikog modela s performansama manjih, manje skupih modela iz iste obitelji, čime se izbjegava potreba za potpunom obukom svakog kandidata. Glavne razlike između manjih modela su broj parametara i veličina obuke tokena. Prema Choshenovim riječima, razjašnjavanje zakona skaliranja ne samo da omogućuje bolje odluke o pre-obuci, već i demokratizira područje omogućujući istraživačima bez velikih resursa da razumiju i izgrade učinkovite zakone skaliranja.
Funkcionalni oblik zakona skaliranja je relativno jednostavan, uključujući komponente iz malih modela koje hvataju broj parametara i njihov učinak skaliranja, broj tokena za obuku i njihov učinak skaliranja, te osnovnu performansu za obitelj modela od interesa. Zajedno, oni pomažu istraživačima da procijene gubitak performansi ciljnog velikog modela; manji gubitak znači da su izlazi ciljnog modela vjerojatno bolji.
Ovi zakoni omogućuju istraživačkim timovima da učinkovito procijene kompromise i testiraju kako najbolje rasporediti ograničene resurse. Osobito su korisni za procjenu skaliranja određenih varijabli, poput broja tokena, i za A/B testiranje različitih postavki pre-obuke.
Općenito, zakoni skaliranja nisu novost; međutim, u području umjetne inteligencije pojavili su se kako su modeli rasli i troškovi su se povećavali. „Čini se da su zakoni skaliranja jednostavno pojavili u nekom trenutku u ovom području“, kaže Choshen. „Počeli su privlačiti pažnju, ali nitko zapravo nije testirao koliko su dobri i što trebate učiniti da biste stvorili dobar zakon skaliranja.“ Nadalje, zakoni skaliranja su sami po sebi također bili crna kutija, u određenom smislu. „Kad god su ljudi stvorili zakone skaliranja u prošlosti, to je uvijek bio jedan model, ili jedna obitelj modela, i jedan skup podataka, i jedan programer“, kaže Andreas. „Nije bilo mnogo sustavne meta-analize, jer su svi pojedinačno obučavali svoje vlastite zakone skaliranja. Tako smo htjeli znati postoje li visoke razine trendova koje vidite kroz te stvari?“
Izgradnja boljih modela
Kako bi istražili ovo pitanje, Choshen, Andreas i Zhang stvorili su veliku zbirku podataka. Prikupili su LLM-ove iz 40 obitelji modela, uključujući Pythia, OPT, OLMO, LLaMA, Bloom, T5-Pile, ModuleFormer mješavinu stručnjaka, GPT i druge obitelji. Ovi modeli uključuju 485 jedinstvenih, unaprijed obučenih modela, a gdje je to bilo moguće, podaci o njihovim kontrolnim točkama obuke, računalnim troškovima (FLOPs), epohama obuke i sjemenu, zajedno s 1,9 milijuna metrika performansi gubitka i zadataka. Modeli su se razlikovali u svojim arhitekturama, težinama i drugim aspektima. Koristeći ove modele, istraživači su prilagodili više od 1.000 zakona skaliranja i usporedili njihovu točnost među arhitekturama, veličinama modela i režimima obuke, kao i testirali kako broj modela, uključivanje međufaznih kontrolnih točaka i djelomična obuka utječu na prediktivnu moć zakona skaliranja za ciljne modele. Koristili su mjerenja apsolutne relativne pogreške (ARE); to je razlika između predikcije zakona skaliranja i zabilježenog gubitka velikog, obučenog modela. Na temelju ovoga, tim je usporedio zakone skaliranja i nakon analize destilirao praktične preporuke za AI praktičare o tome što čini učinkovite zakone skaliranja.
Njihovi zajednički smjernici vode programere kroz korake i opcije koje treba razmotriti i očekivanja. Prvo, ključno je odlučiti o računalnom budžetu i točnosti ciljnog modela. Tim je otkrio da je 4 posto ARE najbolje postignuta točnost koju bi mogli očekivati zbog buke slučajnog sjemena, ali do 20 posto ARE je još uvijek korisno za donošenje odluka. Istraživači su identificirali nekoliko čimbenika koji poboljšavaju predikcije, uključujući:
- Broj parametara modela
- Veličina skupa podataka za obuku
- Tehnike optimizacije
- Uključivanje međufaznih kontrolnih točaka
Ove informacije pomažu istraživačima da bolje razumiju kako optimizirati svoje modele i smanjiti troškove obuke.
Zaključak
Razvoj i primjena zakona skaliranja u obuci velikih jezičnih modela predstavlja značajan korak naprijed u optimizaciji resursa i povećanju učinkovitosti. Kroz analizu i usporedbu različitih modela, istraživači su uspjeli stvoriti smjernice koje omogućuju bolje donošenje odluka, čak i onima koji nemaju velike resurse. U budućnosti, očekuje se da će se ovi zakoni dodatno razvijati, a njihova primjena postati standard u industriji umjetne inteligencije.
Najčešća pitanja (FAQ)
Što su zakoni skaliranja u umjetnoj inteligenciji?
Zakoni skaliranja su matematički modeli koji pomažu u predviđanju performansi velikih jezičnih modela na temelju manjih, jeftinijih modela iz iste obitelji.
Kako zakoni skaliranja pomažu u optimizaciji budžeta?
Oni omogućuju istraživačima da procijene performanse bez potrebe za potpunom obukom svakog modela, čime se štede resursi i smanjuju troškovi.
Koji su ključni čimbenici za uspjeh zakona skaliranja?
Ključni čimbenici uključuju broj parametara modela, veličinu skupa podataka za obuku, tehnike optimizacije i uključivanje međufaznih kontrolnih točaka.
Kako se zakoni skaliranja primjenjuju u praksi?
Istraživači koriste zakone skaliranja za donošenje odluka o arhitekturi modela, optimizatorima i strategijama obuke, čime poboljšavaju performanse i smanjuju troškove.
Hoće li zakoni skaliranja postati standard u industriji?
Očekuje se da će zakoni skaliranja postati standardizirani alat u industriji umjetne inteligencije, omogućujući učinkovitiju obuku i razvoj modela.
