Umjetna inteligencija (AI) postala je neizostavan dio naše svakodnevice, pokrećući transformacije u gotovo svim sektorima. Međutim, ova tehnološka revolucija dolazi s cijenom – rastućim ugljičnim otiskom. Nedavna istraživanja ukazuju na zabrinjavajuću činjenicu: treniranje samo jednog velikog jezičnog modela može proizvesti emisiju ugljičnog dioksida (CO₂) ekvivalentnu onoj koju pet automobila proizvede tijekom cijelog svog životnog vijeka. U svjetlu ovih izazova, najava proboja ostvarenog suradnjom znanstvenika s MIT-a i DeepMind-a donosi tračak nade. Predstavljena je nova arhitektura, nazvana Sparse Transformer 2.0, koja obećava drastično smanjenje potrošnje energije – čak stotinu puta – uz istovremeno poboljšanje performansi na nizu zadataka obrade prirodnog jezika i računalnog vida.
Sparse Transformer 2.0: Inovativni Pristup Obradi Podataka
Temelj tradicionalnih transformer modela leži u mehanizmu „gustog samopouzdanja“ (dense self-attention). U ovom pristupu, svaki element (token) u nizu podataka obraća pažnju na sve ostale elemente. Iako učinkovit za manje modele, ovaj pristup zahtijeva sve veće računalne resurse i memoriju kako model postaje složeniji, što dovodi do tzv. kvadratnog skaliranja (O(n²)) u vremenu i memoriji. Upravo taj problem nastoji riješiti Sparse Transformer 2.0.
Ključna inovacija ove nove arhitekture jest dinamički, podatkom vođen mehanizam „retke pažnje“ (sparse attention). Umjesto da svaki token obraća pažnju na sve druge, ovaj sustav aktivira samo one veze koje su u danom trenutku najrelevantnije. To se postiže dvofaznim mehanizmom:
- Faza 1: Predikcija retkosti – Lagani modul, nazvan „selektor retkosti“, analizira ulazne podatke (token embeddings) i predviđa dinamičku kartu povezanosti. Ova karta određuje koji će se dijelovi mreže aktivirati.
- Faza 2: Ciljana pažnja – Potpuni mehanizam pažnje primjenjuje se isključivo unutar odabranih, „užih“ dijelova mreže (sub-graphs) definiranih kartom iz prve faze.
Ovakav pristup drastično smanjuje broj potrebnih operacija, prebacujući skaliranje s O(n²) na približno O(n log n), gdje je ‘n’ duljina niza podataka. Dodatno, korištenje tehnika poput računanja mješovite preciznosti (mixed-precision arithmetic) i posebno dizajniranih niskopotrošnih GPU jezgri (custom low-power GPU kernels) dodatno optimizira izračune, rezultirajući smanjenjem broja operacija s pomičnim zarezom (FLOPs) za čak 100 puta.
Važan doprinos smanjenju potrošnje energije daje i „blokovno“ upravljanje memorijom (block-wise memory cache). Ovaj sustav pohranjuje međuaktivacije između slojeva modela. Ponovnom upotrebom ovih pohranjenih blokova eliminira se potreba za ponovnim izračunavanjem istih podataka, što dodatno štedi energiju bez negativnog utjecaja na točnost modela.
Značajne Uštede Energije i Poboljšanje Performansi
Rezultati testiranja Sparse Transformer 2.0 arhitekture su impresivni. U usporedbi s postojećim modelima, nova arhitektura ne samo da je postigla, već je u nekim slučajevima i nadmašila performanse poznatih modela poput GPT-4. Ovo je postignuto na standardiziranim skupovima podataka za evaluaciju, kao što su GLUE, SuperGLUE (za obradu prirodnog jezika) i ImageNet (za računalni vid). Ključno je da je pri tome potrošnja energije iznosila samo 1% u usporedbi s tradicionalnim, gustim arhitekturama.
Istraživački tim je detaljno mjerio potrošnju energije na naprednom klasteru s NVIDIA A100 grafičkim procesorima. Zabilježeno je smanjenje prosječne potrošnje s 3.2 kilovata (kW) na svega 32 vata (W) za jednake zadatke. Ovo drastično smanjenje potrošnje energije ima dalekosežne posljedice:
- Smanjenje troškova: Niža potrošnja energije izravno znači niže operativne troškove za tvrtke i istraž