VaultGemma: Najmoćniji diferencijalno privatni LLM svijeta

U svijetu gdje umjetna inteligencija sve više postaje integrirana u naš svakodnevni život, izgradnja privatnih AI modela postaje kritična granica. Diferencijalna privatnost (DP) pruža matematički čvrstu rješenja dodavanjem kalibriranog šuma kako bi se spriječilo memoriziranje podataka. Međutim, primjena DP na velika jezika modela (LLM) uvodi kompromise. Razumijevanje tih kompromisa je ključno. Primjena DP šuma mijenja tradicionalne zakone skaliranja – pravila koja opisuju dinamiku performansi – smanjujući stabilnost treniranja (modelova sposobnost da uči konzistentno bez katastrofalnih događaja poput skokova gubitka ili divergencije) i značajno povećavajući veličinu paketa (skup treninga primjera koji se istovremeno šalju modelu za obradu) i računske troškove.

Naš novi istraživački rad, „Zakoni skaliranja za diferencijalno privatne jezike modele“, u suradnji s Google DeepMind, utvrđuje zakone koji točno modeliraju te složenosti, pružajući potpuni prikaz tranzakcija računanja-privatnosti-korisnost. Vodeni tim ovim istraživanjem, uzbuđeni smo predstaviti VaultGemma, najveći (1B parametara) otvoreni model treniran od nule s diferencijalnom privatnošću. Objavljujemo težine na Hugging Faceu i Kaggleu, zajedno s tehničkim izvješćem, kako bismo potakli razvoj sljedeće generacije privatne AI.

Razumijevanje zakona skaliranja

S pažljivo razrađenom eksperimentalnom metodologijom, cilj nam je bio kvantificirati korist povećanja veličine modela, veličine paketa i iteracija u kontekstu DP treniranja. Naš rad zahtijevao je napraviti neke pojednostavljene pretpostavke kako bismo prešli eksponencijalni broj kombinacija koje bi se moglo razmotriti. Pretpostavili smo da kako model uči ovisi uglavnom o „odnosu šuma-paket“ koji usporeduje količinu slučajnog šuma koji dodajemo za privatnost s veličinom skupova podataka (paketa) koje koristimo za treniranje. Ova pretpostavka radi jer je privatni šum koji dodajemo mnogo veći od bilo kakvog prirodnog slučajnog šuma koji dolazi od uzorkovanja podataka.

Kako bismo utvrdili DP zakon skaliranja, proveli smo opsežan skup eksperimenata kako bismo procijenili performanse kroz raznovrsne veličine modela i odnosa šuma-paket. Rezultirajući empirijski podaci, zajedno s poznatim determinističkim odnosima između drugih varijabli, omogućuju nam da odgovorimo na raznovrsne upite u stilu zakona skaliranja, kao što je „Za dati proračunski budžet, budžet privatnosti i budžet podataka, koja je optimalna konfiguracija treniranja da bi se postigao najniži mogući gubitak treniranja?“

Struktura naših DP zakona skaliranja

Utvrđujemo da predviđeni gubitak može biti točno modeliran prvenstveno pomoću veličine modela, iteracija i odnosa šuma-paket, što pojednostavljuje složene interakcije između proračunskih, privatnih i budžeta podataka. Ključna nalaza: Moćna sinergija

Prije nego što krenemo u punu zakone skaliranja, korisno je razumjeti dinamiku i sinergiju između proračunskog budžeta, budžeta privatnosti i budžeta podataka s perspektive privatnog računanja – tj. razumjeti kako ti faktori utječu na odnos šuma-paket za fiksnu veličinu modela i broj iteracija. Ova analiza je značajno jeftinija jer ne zahtijeva treniranje modela, ali donosi broj korisnih uvida. Na primjer, povećanje budžeta privatnosti u izolaaciji dovodi do smanjenja povratnih uloga, osim ako se ne poveća odgovarajući proračunski budžet (FLOPs) ili budžet podataka (tokena). Marginalni korist povećanja budžeta privatnosti (epsilon) i proračunskog budžeta (veličina paketa) u smislu njihovog utjecaja na odnos šuma-paket.

Kako bismo proučili ovu sinergiju dalje, vizualizacija ispod prikazuje kako se optimalna konfiguracija treniranja mijenja na temelju različitih ograničenja. Kada se budžeti privatnosti i računanja mijenjaju, primijetite kako se preporuka mijenja između ulaganja u veći model ili treniranje s većim veličinama paketa ili više iteracija. Predviđeni gubitak treniranja za različite postavke budžeta podataka/privatnosti/računanja, te daljnji detaljan raspodjelom po broju iteracija, veličini paketa i veličini modela. Grafici pokazuju i minimalni dostignuti gubitak za različite postavke budžeta, kao i optimalne hiperparametarske konfiguracije. Ovi podaci pružaju bogatstvo korisnih uvida za praktičare. Dok su svi uvidi izvješteni u papiru, ključni nalaz je da bi se trebao trenirati mnogo manji model s mnogo većom veličinom paketa nego što bi se koristilo bez DP. Ovaj opći uvid ne bi trebao iznenaditi DP stručnjaka zbog važnosti velikih veličina paketa. Dok se ovaj opći uvid drži u mnogim postavkama, optimalne konfiguracije treniranja mijenjaju se s privatnošću.

Zaključak

VaultGemma predstavlja revolucionarni korak u svijetu diferencijalno privatnih AI modela. Naš istraživački rad i model pružaju duboko razumijevanje kako DP utječe na performanse i efikasnost treniranja. Važno je napomenuti da se DP ne može primijeniti bez kompromisa, ali s pravim razumijevanjem i primjenom, može se postići izvanredna korisnost. Budućnost AI-a s privatnošću na umu je vrlo očekivana, a VaultGemma je prvi korak u tom pravcu.

Česta pitanja

Što je diferencijalna privatnost i zašto je važna?

Diferencijalna privatnost (DP) je matematički okvir koji garantira da će se rezultati analize podataka ostvariti bez otkrivanja informacija o pojedinačnim članovima skupa podataka. Važna je jer osigurava da se osjetljivi podaci ne mogu biti izvučeni iz treniranih modela, štiteći privatnost korisnika.

Kako VaultGemma poboljšava privatnost u AI modelima?

VaultGemma koristi diferencijalnu privatnost od samog početka, dodajući kalibrirani šum kako bi se spriječilo memoriziranje podataka. Ovo osigurava da model ne može otkriti detalje o pojedinačnim podacima, poboljšavajući ukupnu privatnost.

Koliko je VaultGemma model velik i zašto je to važno?

VaultGemma je model s 1 milijardom parametara, što ga čini jednim od najvećih modela treniranih s diferencijalnom privatnošću. Velika veličina modela važna je jer omogućava modelu da uči složene obrasce u podacima, poboljšavajući ukupnu performansu.

Kako se VaultGemma može koristiti u stvarnim aplikacijama?

VaultGemma je dizajniran kao otvoreni model, što znači da se težine mogu preuzeti i koristiti u raznim aplikacijama. Može se koristiti u raznim sektorima, uključujući zdravstvo, financije i sigurnost, gdje je privatnost kritična.

Kako se VaultGemma drži s drugim AI modelima?

VaultGemma se drži s drugim AI modelima kroz primjenu diferencijalne privatnosti i optimizaciju zakona skaliranja. Naš istraživački rad pruža duboko razumijevanje kako DP utječe na performanse i efikasnost treniranja, što ga čini konkurentnim s drugim modelima na tržištu.