Trošak razmišljanja

Velike jezikovne modele (LLM) poput ChatGPT-a mogu napisati esej ili planirati meni gotovo trenutno. Ali do nedavno je bilo i lako zbrkati ih. Modeli koji se oslanjaju na jezikovne uzorke za odgovor na upite korisnika često nisu uspjeli s matematičkim problemima i nisu bili dobri u složenom razmišljanju. Odjednom, međutim, postali su puno bolji u tim stvarima.

Novi generacijski LLModeli poznati kao modeli razmišljanja treniraju se za rješavanje složenih problema. Kao ljudi, trebaju neko vrijeme da razmisle o tim problemima – i iznenađujuće, znanstvenici s MIT-ovog McGovern Instituta za istraživanje mozga su pronašli da su problemi koji zahtijevaju najviše obrade od modela razmišljanja upravo oni isti problemi koje ljudi trebaju vrijeme da riješe. Drugim riječima, oni izvještavaju danas u časopisu PNAS, “trošak razmišljanja” za model razmišljanja je sličan trošku razmišljanja za čovjeka.

Istraživači, kojima je vodstvo preuzeo Evelina Fedorenko, asistentica profesora za nauke o mozgu i kogniciji i istraživačica u McGovern Institutu, zaključili su da u barem jednom važnom pogledu, modeli razmišljanja imaju ljudski pristup razmišljanju. To, oni napominju, nije po dizajnu. “Ljudi koji grade ove modele ne brinu se da li to rade kao ljudi. Oni samo žele sustav koji će robustno funkcionirati u svim vrstama uvjeta i proizvesti točne odgovore,” kaže Fedorenko. “Činjenica da postoji neka konvergencija je stvarno zapažljiva.”

Kao i u mnogim drugim oblicima umjetne inteligencije, novi modeli razmišljanja su umjetne neuronske mreže: računalni alati koji uče kako procesirati informacije kada im se daju podaci i problem koji treba riješiti. Umjetne neuronske mreže bile su vrlo uspješne u mnogim zadacima koje dobro rade neuronske mreže mozga – i u nekim slučajevima, neuroznanstvenici su otkrili da one koje najbolje funkcioniraju dijele neke aspekte obrade informacija u mozgu. Ipak, neki znanstvenici su se protivili tome da umjetna inteligencija preuzme složenije aspekte ljudske inteligencije.

“Do nedavno sam bio među ljudima koji su govorili: ‘Ovi modeli su vrlo dobri u stvarima poput percepcije i jezika, ali još je dugo do modela neuronskih mreža koji mogu razmišljati’,” kaže Fedorenko. “Tada su se pojavili veliki modeli razmišljanja i čine se da su puno bolji u mnogim zadacima razmišljanja, kao što su rješavanje matematičkih problema i pisanje dijelova računalnog koda.”

Andrea Gregor de Varda, K. Lisa Yang ICoN Center Fellow i postdoktorand u Fedorenkovom laboratoriju, objašnjava da modeli razmišljanja rješavaju probleme korak po korak. “Na nekom trenutku, ljudi su shvatili da modeli trebaju imati više prostora za izvođenje izračuna koji su potrebni za rješavanje složenih problema,” kaže. “Performanse su počele postajati puno, puno jače ako se modelima dopusti da razlože probleme na dijelove.”

Da bi potakli modele da rješavaju složene probleme korak po korak koji vode do točnih rješenja, inženjeri mogu koristiti učitavanje pomoću pojačanja. Tijekom treniranja, modeli dobivaju nagrade za točne odgovore i kažnjavaju se za netočne. “Modeli istražuju prostor problema sami,” kaže de Varda. “Radnje koje vode do pozitivnih nagrada pojačane su, tako da češće proizvode točna rješenja.”

Modeli trenirani na taj način mnogo su vjerojatniji da dođu do istih odgovora koje bi čovjek dao kada im se postavi zadatak razmišljanja. Njihovo korak po korak rješavanje problema znači da modeli razmišljanja mogu malo duže potražiti odgovor nego LLM-i koji su došli prije – ali budući da dobivaju točne odgovore gdje su prethodni modeli propali, njihovi odgovori su vrijedni čekanja.

Modelima je potrebno neko vrijeme da rade kroz složene probleme što već sugerira paralelu s ljudskim razmišljanjem: ako biste od nekoga tražili da instatno riješi teški problem, vjerojatno bi propao, isto kao i model. De Varda je htio istražiti ovu vezu sustavnije. Stoga je dao modelima razmišljanja i humanim volontirima isti skup problema i pratio ne samo jesu li dobili odgovore točno, nego i koliko je vremena ili napora trebalo da se dođu.

Vrijeme protiv tokena

To je značilo mjerenje koliko je dugo trebalo ljudima da odgovore na svaki pitanje, do milisekunde. Za modele, Varda je koristio drugačiju metodu. Nije imalo smisla mjerenje vremena obrade, jer je to više ovisilo o hardveru računala nego o naporu koji model stavlja u rješavanje problema. Umjesto toga, pratio je tokene, koji su dio modelovog unutarnjeg lanca razmišljanja. “Proizvode tokene koji nisu namijenjeni korisniku da vidi i rade na njima,” kaže.

Usporedili su vrijeme koje je trebalo ljudima i modelima da riješe iste probleme i pronašli su da je vrijeme koje je trebalo ljudima da riješe probleme bilo u rasponu od nekoliko sekundi do nekoliko minuta, dok je vrijeme koje je trebalo modelima bilo u rasponu od nekoliko sekundi do nekoliko minuta. Međutim, modeli su bili u stanju riješiti složene probleme koje ljudi nisu mogli riješiti instatno.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.

De Varda je također pratio koliko je tokena trebalo modelima da riješe probleme. Pronašao je da je broj tokena koji je trebalo modelima da riješe probleme bio u rasponu od nekoliko stotina do nekoliko tisuća. Međutim, broj tokena koji je trebalo modelima da riješe probleme bio je u rasponu od nekoliko stotina do nekoliko tisuća, što je bilo u rasponu od nekoliko stotina do nekoliko tisuća.