U svijetu tehnologije, potraga za umjetnom općom inteligencijom (AGI) postala je svojevrsna opsesija. Mnogi vjeruju da je ključ u jednostavnoj formuli: povećati računalnu snagu, količinu podataka i broj parametara u modelima umjetne inteligencije. Ideja je da će takvim povećanjem neizbježno doći do stvaranja sustava koji posjeduje sposobnosti razmišljanja, svijesti ili barem rješavanja problema na razini čovjeka. Međutim, najnovija istraživanja i razvoj sugeriraju da ovaj pristup možda više nije održiv. Iluzija AGI-ja, gdje se zakoni skaliranja smatraju jedinim pokretačem inteligencije, polako se suočava s realnošću.
Dominantni narativ: ‘Skaliranje je sve što vam treba’
Trenutni konsenzus u Silicijskoj dolini, ali i šire u tehnološkoj industriji, glasi: ‘skaliranje je sve što vam treba’. Ova filozofija, koju zagovaraju vodeće tvrtke poput OpenAI-ja, Anthropic i Googlea, sugerira da je put do AGI-ja pravocrtan i određen trima ključnim varijablama: računalnom snagom, količinom podataka i brojem parametara. Zagovornici ovog stava često kao dokaz navode napredak od modela GPT-2 do GPT-4, tvrdeći da svako povećanje ulaganja u resurse odgovara proporcionalnom poboljšanju sposobnosti modela. Ovaj argument je primamljiv jer složeni filozofski i biološki problem inteligencije svodi na inženjerski izazov. Ako je AGI samo funkcija razmjera, onda pobjednik postaje onaj tko može prikupiti najviše kapitala i kupiti najviše hardvera.
Ovaj pristup, iako naizgled logičan, nosi sa sobom značajne nedostatke. Fokusiranje isključivo na povećanje resursa zanemaruje mnoge druge ključne aspekte koji čine inteligenciju. Postavlja se pitanje jesmo li zaista na putu stvaranja istinske inteligencije ili samo sofisticiranijih verzija postojećih sustava.
Zašto je pristup ‘skaliranja’ pogrešan?
Prva i možda najvažnija kritika ovog pristupa jest da se miješa pojam performansi s pojmom inteligencije. Ono čemu svjedočimo nije rađanje sintetičkog razuma, već iznimno sofisticirano podudaranje obrazaca (pattern matching). Kako ulazimo u eru modela poput GPT-5 i naprednijih, sve su jasniji znakovi ‘iscrpljenosti podataka’ (data exhaustion). Već smo apsorbirali gotovo sve kvalitetne podatke s interneta, a sada modele hranimo njihovim vlastitim generiranim izlazima. To neizbježno dovodi do fenomena poznatog kao ‘kolaps modela’ (model collapse), gdje se kvaliteta i raznolikost generiranog sadržaja smanjuju, a misao postaje homogenizirana.
Štoviše, zakoni skaliranja primarno opisuju kako se smanjuje stopa pogreške modela, a ne kako se povećava njegovo razumijevanje. Možemo zamisliti da skaliramo knjižnicu tako da uključimo svaku ikada napisanu knjigu, ali to samo po sebi ne čini knjižnicu ‘pametnom’. Knjižnica samo sadrži više informacija. Slično tome, veliki jezični modeli mogu postati bolji u predviđanju sljedeće riječi u nizu ili u generiranju koherentnog teksta, ali to ne znači nužno da su razvili dublje razumijevanje svijeta, uzročno-posljedičnih veza ili sposobnost apstraktnog razmišljanja na način na koji to čine ljudi.
Postoji nekoliko ključnih razloga zašto sam pristup skaliranja nije dovoljan:
- Nedostatak stvarnog razumijevanja: Modeli su izvrsni u prepoznavanju i reprodukciji obrazaca iz podataka, ali im nedostaje dubinsko kauzalno razumijevanje svijeta. Ne razumiju ‘zašto’ stvari funkcioniraju na određeni način.
- Iscrpljenost podataka i kolaps modela: Kako se sve više oslanjamo na generirane podatke za treniranje novih modela, riskiramo smanjenje kvalitete i raznolikosti znanja, što može dovesti do stagnacije ili čak nazadovanja