Fine-Tuning LLMs s Korisničkom Razinom Diferencijalne Privatnosti

U svijetu umjetne inteligencije, fine-tuning velikih modela s korisničkom razinom diferencijalne privatnosti postaje sve važniji problem. Arun Ganesh i Zachary Charles, istraživači iz Google Researcha, istražuju i poboljšavaju algoritme za fine-tuning velikih modela s korisničkom razinom diferencijalne privatnosti. U ovom članku, istražit ćemo kako se ovo postiže i koje su prednosti i nedostaci ovog pristupa.

Što je Diferencijalna Privatnost?

Diferencijalna privatnost (DP) je metoda koja omogućava treniranje modela strojnog učenja dok se istovremeno osigurava da trenirani model poštuje privatnost podataka. Ovo se postiže dodavanjem šuma u proces treniranja. Najčešće se fokusira na privatnost pojedinačnih primjera (tj. razina DP primjera), ali postoji i jača razina privatnosti koja se zove korisnička razina DP.

Korisnička Razina DP

Korisnička razina DP garantira da napadač koji koristi model ne može naučiti ništa o korisniku, čak i ako ne može naučiti ništa o pojedinačnim primjerima. Ovo bolje odražava kako se podaci stvarno posjeduju u današnjem društvu. Korisnička razina DP često se koristi u federiranom učenju za treniranje modela na distribuiranim uređajima kao što su mobilni telefoni. Ovi uređaji često imaju mnoge primjere, svi posjedovani od strane jednog korisnika, i zahtijevaju strožije garancije privatnosti.

Prednosti i Nedostaci

Korisnička razina DP ima nekoliko prednosti, ali i nedostataka. Prednost je što se ne može odrediti je li svi podaci nekog korisnika uključeni u treniranje ili ne, umjesto samo jednog dijela njihovih podataka. Međutim, treniranje s korisničkom razinom DP je strogo teže od treniranja s razinom DP primjera i zahtijeva dodavanje znatno više šuma. Ovo postaje još teže kada se radi o većim modelima.

Fine-Tuning LLMs s Korisničkom Razinom DP

U radu “Učenje s Korisničkom Razinom Diferencijalne Privatnosti pod Fiksnim Računskim Budžetima”, istraživači se bave skaliranjem korisničke razine DP na velike jezikovne modele (LLMs) trenirane u datacentru. Datacentar treniranje je mnogo fleksibilnije od federiranog učenja. U federiranom učenju, moguće je samo izvršiti upite na korisnike, a ne na pojedinačne primjere, i nije moguće odabrati koje korisnike je moguće upitati. U datacentar treniranju, moguće je upitati i pojedinačne primjere i cijele korisnike, i moguće je odabrati koje upitati u svakom krugu.

Centralno Pitanje

Centralno pitanje je kako koristiti ovu povećanu fleksibilnost za postizanje boljih rezultata treniranja. Umjesto treniranja cijelog LLMa s DP, istraživači se fokusiraju na DP fine-tuning LLMa, jer DP zahtijeva više izračuna, što bi moglo biti nedostupno za puno treniranje LLMa, a fine-tuning je vjerojatnije da zahtijeva privatne domenske specifične podatke. Određuju koji algoritmi najbolje rade i kako koristiti fleksibilnost datacentar treniranja za daljnje optimizaciju.

Optimizacija i Rezultati

Optimizacija je važna za LLMs jer čak i male smanjenja šuma mogu rezultirati značajnim poboljšanjima kvalitete. Istraživači pokazuju da čak i s dodatnom fleksibilnošću u datacentru, njihova predložena strategija treniranja izgleda više kao algoritam za federirano učenje. To znači da se može koristiti za treniranje modela s korisničkom razinom privatnosti, ali i za treniranje modela na distribuiranim uređajima.

Treniranje Modela s Korisničkom Razinom Privatnosti

Stohastički gradijentni spust (SGD) je česti algoritam treniranja modela koji nasumično dijeli trenirajuće podatke u male batch-eve, izračunava modelove ažuriranja, nazvane “gradijenti”, za svaki primjer u batch-u i primjenjuje ih na model. Za treniranje s DP, malo se mijenja tako da se dodaje nasumična šuma gradijentima, što se naziva DP-SGD. Šuma čini model ne savršenim informacijama o primjerima tijekom treniranja, što je dobro za privatnost! Ali jer modelu dajemo ne savršene informacije, njegova sposobnost učenja iz primjera je nužno slabija nego ako bi mu dali savršene informacije. Međutim, DP je preduvjet za korištenje privatnih podataka, i ne savršene informacije o privatnim podacima su bolje od nikakvih informacija.

DP-SGD i Korisnička Razina DP

Kako promijeniti DP-SGD za korisničku razinu DP? Potrebno je osigurati da se efekt svakog korisnika na model ograniči. Postoji dva načina da se to postigne. Prvo, preprocesirati skup podataka tako da svaki korisnik doprinosi ograničenom broju primjera u skupu podataka za treniranje. Zatim se može:
1. Primijeniti DP-SGD kao što je, dodavanjem više šuma nego prije, pretvoriti DP garanciju razine primjera u DP garanciju razine korisnika (ovo je teži dio!).
2. Umjesto da se nasumično uzorkuju nasumični primjeri u DP-SGD za formiranje batch-eva, uzorkovati nasumične korisnike, a zatim uzeti sve primjere od uzorkovanih korisnika za formiranje batch-a.

Usporedba Metoda

Velika razlika između ovih metoda je u podacima koje uzorkujemo. Prva metoda uzorkuje nasumične primjere, pa se zove “Uzorkovanje Razine Primjera” (ELS). Druga metoda uzorkuje nasumične korisnike, pa se zove “Uzorkovanje Razine Korisnika” (ULS). Oba metoda imaju svoje prednosti i nedostatke, ali ULS se pokazao kao bolji za korisničku razinu DP.

Zaključak

Fine-tuning velikih jezikovnih modela s korisničkom razinom diferencijalne privatnosti je kompleksan proces, ali istraživači iz Google Researcha su uspjeli pronaći načine kako to učiniti učinkovito. Korisnička razina DP nudi jače garancije privatnosti, ali zahtijeva i dodatne resurse. Fine-tuning LLMs s korisničkom razinom DP može donijeti značajne poboljšanja kvalitete modela, ali je važno razumjeti prednosti i nedostatke ovog pristupa.

Česta Pitanja

Što je diferencijalna privatnost?

Diferencijalna privatnost je metoda koja omogućava treniranje modela strojnog učenja dok se istovremeno osigurava da trenirani model poštuje privatnost podataka. Ovo se postiže dodavanjem šuma u proces treniranja.

Koja je razlika između razine DP primjera i korisničke razine DP?

Razina DP primjera garantira privatnost pojedinačnih primjera, dok korisnička razina DP garantira privatnost cijelog korisnika, čak i ako ne može naučiti ništa o pojedinačnim primjerima.

Zašto je korisnička razina DP teža?

Korisnička razina DP je teža jer zahtijeva dodavanje znatno više šuma, što postaje još teže kada se radi o većim modelima.

Može li se fine-tuning LLMs s korisničkom razinom DP koristiti za federirano učenje?

Da, fine-tuning LLMs s korisničkom razinom DP može se koristiti za federirano učenje, jer se može koristiti za treniranje modela na distribuiranim uređajima.

Koji su prednosti i nedostaci korisničke razine DP?

Prednosti korisničke razine DP uključuju jače garancije privatnosti i mogućnost treniranja modela na distribuiranim uređajima. Nedostaci uključuju veće resurse i teže treniranje modela.

Kako se DP-SGD mijenja za korisničku razinu DP?

DP-SGD se mijenja tako da se osigura da se efekt svakog korisnika na model ograniči. To se može postići preprocesiranjem skupa podataka i dodavanjem više šuma ili uzorkovanjem nasumičnih korisnika umjesto nasumičnih primjera.