Titans + MIRAS: Pomagamo AI imati dugoročni pamćenje

4. prosinca 2025. – Ali Behrouz, Student Istraživač, Meisam Razaviyayn, Istraživački Zaposlenik, i Vahab Mirrokni, VD i Google Fellow, Google Istraživanje

Predstavljamo arhitekturu Titans i okvir MIRAS, koji omogućuju AI modelima da rade mnogo brže i upravljaju ogromnim kontekstima ažurirajući svoje jezgro pamćenja dok je aktivno pokrenuto. Brzi linkovi: Titans članak, MIRAS članak

Arhitektura Transformer revolucionirala je modeliranje sekvenci uvođenjem mehanizma pažnje, koji modelima omogućuje da se vraćaju na ranije ulaze kako bi priorizirali relevantne podatke. Međutim, računski trošak drastično raste s duljinom sekvence, što ograničava mogućnost skaliranja Transformer modela na vrlo duge kontekste, kao što su potrebni za razumijevanje cijelih dokumenata ili genomsku analizu. Istraživačka zajednica istraživala je različite pristupe za rješenja, poput učinkovitih linearnih rekurzivnih neuronskih mreža (RNN) i modela prostora stanja (SSM) poput Mamba-2. Ovi modeli nude brzo, linearno skaliranje komprimirajući kontekst u fiksnu veličinu. Međutim, ova fiksna veličina kompresije ne može adekvatno uhvatiti bogatu informaciju u vrlo dugačkim sekvencama.

U dva nova članka, Titans i MIRAS, predstavljamo arhitekturu i teorijski nacrt koji kombiniraju brzinu RNN-ova s točnostju transformera. Titans je specifična arhitektura (alat), a MIRAS je teorijski okvir (nacrt) za općenitost ovih pristupa. Zajedno napreduju koncept testnog memoriranja, sposobnost AI modela da zadržava dugoročno pamćenje uklapajući jače “surprise” metrike (tj. neočekivane dijelove informacija) dok je model pokrenut i bez zasebnog izvanmrežnog ponovnog treniranja.

Okvir MIRAS, kao što ga demonstrira Titans, uvoditi je znatnu promjenu prema real-time prilagođavanju. Umjesto kompresije informacija u statičko stanje, ova arhitektura aktivno uči i ažurira svoje parametre dok se podaci šalju. Ovaj ključni mehanizam omogućuje modelu da odmah uključi nove, specifične detalje u svoje osnovno znanje. Titans: Učenje novog konteksta na letu

Efikasni sustav učenja zahtijeva odvojene, ali međusobno povezane memorijske module, što podsjeća na ljudski mozak koji razdvaja kratkoročno i dugoročno pamćenje. Dok mehanizmi pažnje izvanredno funkcioniraju za precizno, kratkoročno pamćenje, Titans uvodi novi neuronski modul dugoročnog pamćenja, koji, za razliku od fiksne veličine vektora ili matrice pamćenja u tradicionalnim RNN-ovima, djeluje kao duboka neuronska mreža (specifično, multi-layer perceptron). Ovaj memorijski modul pruža znatno veću ekspresivnu moć, omogućujući modelu da sažima velike količine informacija bez gubitka važnog konteksta. Model ne radi samo da bilježi; on razumije i sintetizira cijelu priču. Važno je da Titans ne pasivno pohranjuje podatke. On aktivno uči kako prepoznati i zadržati važne odnose i konceptualne teme koji spajaju tokene kroz cijeli ulaz. Ključni aspekt ove sposobnosti je ono što nazivamo “surprise metrika”. U ljudskoj psihologiji znamo da brzo i lako zaboravljamo rutinske, očekivane događaje, ali pamtimo stvari koje prekidaju uzorak – neočekivane, iznenađujuće ili izuzetno emocionalne događaje. Pregled arhitekture Titans (MAC). Koristi dugoročno pamćenje za kompresiju prošlih podataka, a zatim uključi sažetak u kontekst i prenesi ga pažnji. Pažnja može onda odlučiti je li potrebno pratiti sažetak prošlosti ili ne. U kontekstu Titans, “surprise metrika” je model koji otkriva veliku razliku između onoga što trenutačno pamti i onoga što mu novi ulaz govori. Nizak iznenađenje: Ako je nova riječ “mačka” i stanje pamćenja modela već očekuje riječ za životinju, gradijent (iznenađenje) je nizak. Može sigurno preskočiti pamćenje riječi “mačka” u trajno dugoročno stanje. Visoko iznenađenje: Ako stanje pamćenja modela sažima ozbiljni financijski izvještaj, a novi ulaz je slika banana, neočekivani događaj, gradijent (iznenađenje) bit će vrlo visok. To označava da je novi ulaz važan ili anomalan i mora se prioritetski pohraniti u modul dugoročnog pamćenja. Model koristi ovaj unutarnji signal pogreške (gradijent) kao matematički ekvivalent rečenice “Ovo je neočekivano i važno!” Ovo omogućuje arhitekturi Titans da selektivno ažurira svoje dugoročno pamćenje samo s najnovijim i kontekstualnim informacijama, čuvajući ukupan proces brzim i učinkovitim.

Titans usavršava ovaj mehanizam uklapajući dva kritična elementa: Impuls: Model razmatra i “trenutno iznenađenje” (trenutni ulaz) i “prošlo iznenađenje” (skoro kontekstualni tok). To osigurava da se relevantna naknadna informacija također uhvaća, čak i ako ti tokensi nisu pojedinačno iznenađujući. Zaboravljanje (težina otpada): Upravljanje konačnom kapacitetom pamćenja prilikom rukovanja ekstraduljom količinom podataka.

MIRAS: Teorijski okvir za dugoročno pamćenje

MIRAS je teorijski okvir koji pruža temelj za implementaciju dugoročnog pamćenja u AI modelima. On definira kako modeli mogu učinkovito upravljati dugoročnim pamćenjem, omogućujući im da se prilagođavaju novim podacima u realnom vremenu. MIRAS se sastoji od nekoliko ključnih komponenti:

1. Modul dugoročnog pamćenja

Modul dugoročnog pamćenja je centralni dio MIRAS-a. On je dizajniran da učinkovito pohranjuje i upravlja dugoročnim informacijama. Modul koristi duboke neuronske mreže kako bi sažimao velike količine podataka u kompaktnu formu, čuvajući samo najvažnije informacije.

2. Mehanizam iznenađenja

Mehanizam iznenađenja je ključni za odabir informacija koje će biti pohranjene u dugoročno pamćenje. On evaluira ulazne podatke i određuje koliko su oni iznenađujući u odnosu na postojeće znanje modela. Informacije koje su iznenađujuće i važne bit će pohranjene u dugoročno pamćenje.

3. Adaptivni algoritmi učenja

Adaptivni algoritmi učenja omogućuju modelu da se prilagođava novim podacima u realnom vremenu. Oni kontinuirano ažuriraju parametre modela na temelju novih ulaznih podataka, osiguravajući da model ostane relevantan i točan.

4. Upravljanje kapacitetom

Upravljanje kapacitetom je važno za održavanje učinkovitosti modula dugoročnog pamćenja. MIRAS uključuje mehanizme koji automatski upravljaju kapacitetom pamćenja, izbacujući manje važne informacije kako bi se oslobodilo mjesta za nove podatke.

Primjene Titans i MIRAS

Titans i MIRAS imaju širok spektar primjena u različitim područjima umjetne inteligencije. Ovdje su neke od najzanimljivijih primjena:

1. Obrada prirodnog jezika (NLP)

U NLP, Titans i MIRAS mogu poboljšati razumijevanje dugačkih tekstova, kao što su knjige ili naučni članci. Oni omogućuju modelima da pamte i razumiju duge sekvence teksta, što je ključno za zadatke kao što su sažimanje i prevođenje.

2. Genomska analiza

U genomskoj analizi, Titans i MIRAS mogu pomoći u razumijevanju dugačkih genomskih sekvenci. Oni omogućuju modelima da pamte i analiziraju velike količine genomskih podataka, što je važno za otkrivanje novih gena i mutacija.

3. Predviđanje vremena

U predviđanju vremena, Titans i MIRAS mogu poboljšati točnost predviđanja vremenskih uvjeta. Oni omogućuju modelima da pamte i analiziraju velike količine vremenskih podataka, što je ključno za točne predviđanja.

4. Autonoma vozila

U autonomnim vozilima, Titans i MIRAS mogu poboljšati sposobnost modela da pamte i analiziraju velike količine podataka o prometnim uvjetima. Oni omogućuju modelima da se brže i učinkovije prilagođavaju promjenjivim prometnim uvjetima.

Zaključak

Titans i MIRAS predstavljaju revolucionarni korak u svijetu umjetne inteligencije, omogućujući AI modelima da rade brže i učinkovije s ogromnim količinama podataka. Njihova sposobnost da pamte i analiziraju velike količine podataka u realnom vremenu otvara nove mogućnosti za razne primjene u umjetnoj inteligenciji. Kao što se tehnologija razvija, očekujemo da će Titans i MIRAS postati još važniji i utjecajniji u budućnosti.

Česta pitanja

1. Kako Titans i MIRAS rade zajedno?

Titans i MIRAS rade zajedno tako da Titans koristi MIRAS kao teorijski okvir za implementaciju dugoročnog pamćenja. Titans je specifična arhitektura koja koristi MIRAS za učinkovito upravljanje dugoročnim pamćenjem.

2. Može li Titans i MIRAS biti implementirani u postojeće AI modele?

Da, Titans i MIRAS mogu biti implementirani u postojeće AI modele. Oni su dizajnirani da se mogu integrirati u postojeće sisteme i poboljšati njihovu sposobnost da upravljaju dugoročnim pamćenjem.

3. Koliko je učinkovit Titans i MIRAS?

Titans i MIRAS su vrlo učinkoviti. Oni omogućuju AI modelima da rade brže i učinkovije s ogromnim količinama podataka, što ih čini idealnim za razne primjene u umjetnoj inteligenciji.

4. Koje su buduće primjene Titans i MIRAS?

Buduće primjene Titans i MIRAS su ogromne. Oni mogu biti korisni u mnogim područjima, uključujući obradu prirodnog jezika, genomsku analizu, predviđanje vremena i autonomna vozila.