—
Znamo li kako se čitati knjiga ili programski kod? Za nas je to jednostavno: zapamćujemo kontekst, pratimo logične veze između riječi i razumijemo kako se značenje mijenja s vremenom. Ali za umjetnu inteligenciju, posebno velike jezgre (LLM-ove), to je još uvijek izazovan zadatak. Dok su transformeri – arhitektura na kojoj se temelje većina današnjih LLMs – revolucionirali obradu jezika, nedostaje im “pamćenje pozicije” koje bi im omogućilo da razumiju kako se informacije mijenjaju u dugom tekstu ili kodnom programu. Sada, tim istraživača s MIT-a i IBM-a otkrio je PaTH Attention – tehniku koja transformere učini “pamćenijima” i sposobnijima za složene zadatke kao što su praćenje promjena u vremenu ili razumijevanje više koraka u logičkim zadacima.
—
Zašto su veliki jezgra umjetne inteligencije “slabi” u praćenju promjena?
Veliki jezgra umjetne inteligencije (LLM-ovi) kao što su ChatGPT, Bard ili Llama zasnivaju se na transformer arhitekturi, koja je revolucionirala obradu prirodnog jezika. Međutim, iako su izvanredni u razumijevanju konteksta i generiranju odgovora, nedostaje im “svest o vremenu” – ne razumiju kako se informacije mijenjaju u dugom tekstu ili kodnom programu. Zašto?
1. Problem s pozicijskim kodiranjem: “Svi riječi su jednako daleko”
Kada pišemo rečenicu poput “Mačka sjedila na kutiju”, za nas je jasno da je “kutija” mjesto gdje je mačka, ali za LLM to nije uvijek očito. Transformeri koriste pozicijsko kodiranje (positional encoding) kako bi razlikovali riječi na različitim mjestima u rečenici. Najčešća metoda, RoPE (Rotary Positional Encoding), dodaje svakoj riječi “rotaciju” koja ovisi samo o njojinoj poziciji u tekstu.
Problem? RoPE ne razlikuje kontekst – riječi koje su četiri mjesta udaljene uvijek dobivaju istu “rotaciju”, bez obzira na što se dogodilo između njih. To znači da LLM ne pamti “putanju” između riječi, nego samo njihovu udaljenost. Primjer:
– U rečenici “Kupio sam jabuku, ali ju sam ispustio na pod”, LLM koji koristi RoPE neće razumjeti da je “jabuka” u vezi s “ispuštanjem”, jer između njih ima više riječi.
– Za programere, to znači da LLM neće praćiti promjene u varijablama kroz više linija koda.
2. Zašto je to kritično za AI?
Većina realnih zadataka zahtijeva praćenje stanja (state tracking):
– Kodiranje: Praćenje promjena u varijablama kroz više linija koda.
– Logičko razmišljanje: Razumijevanje više koraka u zadatku (npr. “Učitaj fajl, izvrši operaciju, pohrani rezultat”).
– Dugi kontekst: Razumijevanje veza između riječi u tekstovima s tisućama riječi (npr. u pravnim dokumentima ili znanstvenim radovima).
RoPE ne može ovdje dobro raditi, jer ne pamti “putanju” između riječi, nego samo njihovu udaljenost. To je kao da čitate knjigu bez pamćenja kako se radnja razvija – samo znate koje riječi su blizu jedna drugoj, ali ne i kako su međusobno povezane.
—
PaTH Attention: Kako transformeri dobivaju “pamćenje”?
Tim istraživača s MIT-a i IBM-a razvio je PaTH Attention – tehniku koja daje transformerima “pamćenje pozicije” i omogućuje im da razumiju kako se informacije mijenjaju kroz tekst ili kod. Kako to radi?
1. Od fiksnih rotacija do “putanje” između riječi
Umjesto da svakoj riječi dodjeljuje fiksnu rotaciju (kao RoPE), PaTH Attention tretirati tekst kao putanju s malim koracima između riječi. Svaki korak je zavisno od sadržaja – kao da svaka riječ “odražava” sljedeću riječ u malom “zrcalu” (matematička operacija zvana Householder reflection).
Primjer:
– U rečenici “Kupio sam jabuku, ali ju sam ispustio na pod”, PaTH Attention neće samo vidjeti da su “jabuka” i “ispustio” udaljeni, nego će razumjeti da je “jabuka” predmet akcije “ispustio”.
– Za programere, to znači da će LLM praćiti promjene u varijablama kroz više linija koda, kao što bi to učinio čovjek.
2. “Pozicijska pamćenja” – kako LLM pamti “putanju”
PaTH Attention ne pamti samo udaljenost riječi, nego cumulativne promjene između njih. To je kao da hodate putanjem i pamćete kako se okoliš mijenja na svakom koraku. Kako to funkcionira u praksi?
– Dugi tekstovi: Može razumjeti veze između riječi u tekstovima s tisućama riječi, što je ključno za pravne dokumente ili znanstvene radove.
– Kodiranje: Praćenje promjena u varijablama kroz više linija koda, što je važno za AI koji pomže programerima.
– Logičko razmišljanje: Razumijevanje više koraka u zadatku, npr. “Učitaj fajl, izvrši operaciju, pohrani rezultat”.
3. Brže računanje: PaTH Attention na GPU-ima
Jedna od najvećih prednosti PaTH Attention je efikasnost. Tim je razvio algorithmus koji omogućava brže računanje na GPU-ima, što znači da se može koristiti u većim modelima bez gubitka performansi.
Zašto je to važno?
– Veći modeli mogu obraditi duže tekstove i biti precizniji.
– Manje troškova za obradu, jer se računanje može učiniti bržim i učinkovitijim.
—
Kako je PaTH Attention testiran? Rezultati su impresivni
Istraživači su testirali PaTH Attention na različitim zadacima kako bi vidjeli kako poboljšava sposobnosti LLMs. Evo najzanimljivijih rezultata:
1. Praćenje zadnjih uputa u dugom tekstu
– Zadatak: LLM mora zapamtiti posljednju uputu u tekstu s mnogo distrakcija.
Primjer: “Napisi program koji učita fajl, ali zatim izvrši operaciju X, a ne Y. Nakon toga, pohrani rezultat u fajl Z.”
– Rezultat: PaTH Attention bolje zapamti zadnje upute, čak i kada ima mnogo nepotrebnih informacija.
2. Višekorakno pamćenje (multi-step recall)
– Zadatak: LLM mora zapamtiti više koraka u logičnom zadatku.
Primjer: “Prvo izračunaj X, zatim dodaj Y, a na kraju pomnoži s Z.”
– Rezultat: PaTH Attention bolje uspijeva u zadacima koji zahtijevaju pamćenje više koraka, što je ključno za složene zadatke kao što su programiranje ili analiza podataka.
3. Perplexity i razumijevanje konteksta
– Perplexity je metrika koja mjeri kako dobro model razumije jezik. Niži perplexity = bolje razumijevanje.
– Rezultat: PaTH Attention poboljšao perplexity u usporedbi s RoPE, što znači da bolje razumije tekst.
4. Testiranje na velikim modelima
– Istraživači su testirali PaTH Attention na većim jezgrama (mid-size LLMs) i uspjeli su poboljšati performanse u odnosu na druge metode.
– Specifično: Bolje je obradio duge tekstove (tisuće riječi) i razumio veze između riječi koje su daleko jedna od druge.
—
Zašto je PaTH Attention revolucija za umjetnu inteligenciju?
PaTH Attention otvara nova vrata za LLMs, jer im omogućava da:
✅ Bolje praćuju promjene u vremenu (npr. u programiranju ili logičkim zadacima).
✅ Razumiju duge tekstove bez gubitka konteksta (ključno za pravne dokumente, znanstvene radove).
✅ Biju precizniji u zadacima koji zahtijevaju pamćenje više koraka (npr. programiranje, analiza podataka).
✅ Rade brže i učinkovitije na GPU-ima, što omogućava većim modelima da obrade više podataka.
Zašto je to važno za nas?
– Bolji AI asistenti koji će razumjeti vaše upute i zadatke bolje.
– Veće mogućnosti u programiranju – AI koji će pomagati kodiranju bez grešaka.
– Preciznija obrada dugačkih tekstova – od pravnih dokumenata do znanstvenih radova.
—
Kako će se PaTH Attention primijeniti u budućnosti?
PaTH Attention još uvijek nije u širokoj upotrebi, ali potencijal je ogroman. Evo kako se može primijeniti u realnom svijetu:
1. Programiranje i AI kodiranje
– AI koji pomže kodiranju će moći praćiti promjene u varijablama kroz više linija koda.
– Detekcija grešaka će postati preciznija, jer će AI bolje razumjeti kontekst koda.
2. Pravo i analiza dokumenta
– Pravni asistenti će moći bolje razumjeti duge ugovore i izvući relevantne informacije.
– Analiza finansijskih izvještaja će postati preciznija, jer će AI bolje razumjeti veze između podataka.
3. Zdravstvo i znanstvena istraživanja
– AI koji analizira medicinske podatke će moći praćiti promjene u pacijentovim podacima kroz vrijeme.
– Automatsko prevođenje će postati bolje, jer će AI bolje razumjeti kontekst u dugom tekstu.
4. Obrazovanje i edukacija
– AI tutor će moći bolje pratiti napredak učenika kroz više lekcija.
– Automatska korekcija će postati preciznija, jer će AI bolje razumjeti kontekst grešaka.
—
Prednosti i mane PaTH Attention
| Prednosti | Mane |
|—————|———-|
| ✅ Bolje praćenje promjena u vremenu – razumije kako se informacije mijenjaju. | ❌ Još u razvoju – nije u širokoj upotrebi. |
| ✅ Preciznije u dugom tekstu – bolje razumije veze između riječi daleko jedna od druge. | ❌ Zahtijeva više resursa – brže računanje na GPU-ima još uvijek nije optimalno za sve modele. |
| ✅ Bolje za programiranje – praćenje promjena u varijablama kroz kod. | ❌ Nije testiran na najnovijim modelima – rezultati su dobiveni na mid-size LLMs. |
| ✅ Efikasnija obrada dugačkih tekstova – ključno za pravne i znanstvene dokumente. | ❌ Potrebno više istraživanja – treba vidjeti kako će se primijeniti u realnim scenarijima. |
| ✅ Veća skalabilnost – može se koristiti u većim modelima bez gubitka performansi. | ❌ Nisu poznati troškovi – još uvijek nije jasno koliko će koštati implementacija. |
—
Zaključak: Kako će PaTH Attention promijeniti umjetnu inteligenciju?
PaTH Attention nije samo poboljšanje postojećih LLMs, nego revolucija u načinima na koje umjetna inteligencija razumije jezik i kod. Ovo otkriće otvara nova vrata za:
– Preciznije AI asistenate koji će razumjeti vaše upute bolje.
– Veće mogućnosti u programiranju – AI koji će pomagati kodiranju bez grešaka.
– Bolju obradu dugačkih tekstova – od pravnih dokumenata do znanstvenih radova.
Najzanimljivije je to što PaTH Attention ne samo poboljšava performanse, nego otvara mogućnosti koje smo ranije smatrali nemogućim. Nakon što su transformeri revolucionirali obradu jezika, PaTH Attention ih čini “pamćenijima” – što je ključno za budućnost umjetne inteligencije.
Kada ćemo vidjeti PaTH Attention u praksi?
– Najvjerojatnije će se pojaviti u većim modelima kao što su GPT-5 ili Llama 3.
– Prvi koraci su već napravljeni – istraživači rade na implementaciji u većim modelima.
– Očekujemo da će se u budućim mjesecima i godinama vidjeti bolje AI asistenate koji će razumjeti kontekst i promjene u vremenu.
PaTH Attention nije samo poboljšanje – to je novi način razmišljanja o umjetnoj inteligenciji.
—
Često postavljana pitanja
1. Što je PaTH Attention i kako razlikuje se od RoPE?
PaTH Attention je nova tehnika pozicijskog kodiranja koja ne koristi fiksne rotacije (kao RoPE), nego tretirati tekst kao putanju s malim koracima između riječi. RoPE dodjeljuje svakoj riječi istu rotaciju ovisno o udaljenosti, dok PaTH Attention razlikuje kontekst i pamti kako se informacije mijenjaju kroz tekst.
2. Zašto je PaTH Attention važan za umjetnu inteligenciju?
PaTH Attention pomaže LLMs da bolje praćuju promjene u vremenu, što je ključno za:
– Programiranje (praćenje promjena u varijablama).
– Duge tekstove (razumijevanje veza između riječi daleko jedna od druge).
– Logičko razmišljanje (višekorakno pamćenje).
Bez ove tehnike, LLMovi ne razumiju kako se informacije mijenjaju, što ograničava njihove mogućnosti.
3. Kako će PaTH Attention utjecati na ChatGPT ili druge asistenate?
Većina današnjih LLMs (kao ChatGPT, Bard ili Llama) koristi RoPE, što znači da neće odmah dobiti PaTH Attention. Međutim, očekuje se da će se u budućim verzijama modela (npr. GPT-5) koristiti slične tehnike kako bi poboljšali razumijevanje konteksta.
Kada ćemo vidjeti promjene?
– Najvjerojatnije u 2024. ili 2025. godini, kada će se razvijati novi modeli.
– Prvi koraci su već napravljeni – istraživači rade na implementaciji u većim modelima.
4. Može li se PaTH Attention koristiti na starijim modelima?
Teoretski da, ali praktično nije lako. PaTH Attention zahtijeva modifikaciju arhitekture transformera, pa bi se trebalo preoblikovati model. Najlakše će biti implementirati u novim modelima, kao što su GPT-5 ili Llama 3.
5. Kako će PaTH Attention utjecati na programiranje i AI kodiranje?
Većina grešaka u programiranju dolazi od toga što AI ne razumije kontekst koda. PaTH Attention će omogućiti da AI:
– Praćuje promjene u varijablama kroz više linija koda.
– Detektira greške koje su ranije bile neprimjetne.
– Pomaže kodiranju preciznijim predlozima.
Primjer:
– Ako pišete program koji mijenja vrijednost varijable, AI će moći zapamtiti tu promjenu i dati bolje savjete.
6. Koliko će PaTH Attention koštati?
Još nije jasno koliko će koštati implementacija, jer je tehnika još u razvoju. Međutim, očekuje se da će se u budućnosti smanjiti troškovi zbog efikasnijeg računanja na GPU-ima.
Za sada:
– Istraživači rade na optimizaciji, pa će se vjerojatno pojaviti jeftinije verzije.
– Veći modeli će biti skuplji, ali i precizniji.
7. Kako mogu sami isprobati PaTH Attention?
Još nije dostupan u komercijalnim modelima, ali možete:
– Slijediti istraživačke radove na MIT-u i IBM-u.
– Čekati nove verzije LLMs (npr. GPT-5, Llama 3).
– Pomoći u razvoju ako ste programer – tehnika je otvorena za zajednicu.
8. Je li PaTH Attention siguran za upotrebu?
Da, jer je razvijen od strane MIT-a i IBM-a, koji su poznati po sigurnim i etičkim pristupima. Međutim, kao i svaka nova tehnologija, treba je testirati kako bi se izbjegle potencijalne probleme.
Najveći rizik je:
– Prekomjerna ovisnost o AI-u – uvijek je dobro imati kritičko mišljenje.
9. Kako će se PaTH Attention razlikovati od drugih tehnika pozicijskog kodiranja?
PaTH Attention se razlikuje od RoPE i drugih tehnika jer:
✔ Ne koristi fiksne rotacije, nego kontekstno ovisne transformacije.
✔ Pamti “putanju” između riječi, a ne samo udaljenost.
✔ Bolje radi s dugom tekstom i kodiranjem.
Druge tehnike (kao RoPE) ne razlikuju kontekst, pa su manje efikasne u zadacima koji zahtijevaju pamćenje promjena.
10. Kada ćemo vidjeti prve komercijalne primjene PaTH Attention?
Najvjerojatnije u 2024. ili 2025. godini, kada će se razvijati novi modeli. Prve primjene možemo očekivati u:
– AI asistentima (preciznije odgovore).
– Programiranju (bolje pomaganje kodiranju).
– Analizi dugačkih tekstova (pravni, znanstveni dokumenti).
Slijedite najnovije vijesti na stranicama kao što su MIT, IBM i OpenAI, jer će biti najbrži izvor informacija.
—
Zanimljivo je da PaTH Attention otvara nova vrata za umjetnu inteligenciju – i to nije samo poboljšanje, nego potpuno novo razumijevanje jezika i koda. Kada će se to pojaviti u našem svakodnevnom životu? Vjerojatno brže nego što mislimo! 🚀
