Precizno predviđanje vrijeme-serijskih podataka osnova su savremenih poslovnih odluka – od planiranja inventara do upravljanja energijskim mrežama. Tradicionalno, svaki predviđački zadatak zahtijeva izradu posebnog modela, proces koji zahtijeva vrijeme, stručnost i računalne resurse. Googleov istraživački tim ranije je prekinuo zemlju s razvojem nultošot temeljnog modela TimesFM, koji je sposoban da daje snažna predviđanja za nepoznate serije bez ikakvog zadatak-specifičnog treninga. Međutim, perspektiva daljnjeg poboljšanja predviđanja uz samo nekoliko relevantnih primjera ostala je uglavnom neistražena.
U ovom članku ćemo razmotriti nedavno otkriven pristup koji pretvara TimesFM u nekolikošot učenika koristeći snažnu tehniku poznatu kao Učitavanje u kontekstu (ICF). Korištenjem kontekstualnih primjera i separatornih znakova, model se učini sposobnim za prilagodbu novim podacima tijekom inferencije – slično kao i u slučaju potpunog nadogradnje, bez povećanja inženjerskog opterećenja.
Od nultošot do nekolikošot predviđanja
Nultošot modeli kao TimesFM tretiraju svaku vrijeme-serijsku seriju kao novi zadatak. Oni generiraju predviđanja samo na temelju povijesnog uzorka te serije, dajući razumljive rezultate zahvaljujući velikom korpusu pre-treninga i moćnoj arhitekturi transformatora. Međutim, mnogi praktični problemi predviđanja koriste uvjete slične povijesne uzorke – na primjer, predviđanje prometa na autocestama može se poboljšati uzimanjem u obzir podataka s susjednih autocesta ili iste autoceste u prethodnim tjednim.
Konvencionalna nadogradnja u potpunosti otkriva potencijal uzimanjem u obzir slične povijesne uzorke. Međutim, ova metoda zahtijeva nadogradnju novog modela na kureiranim podacima za svaki domen, što uključuje ciklus intenzivnog rada s podacima, prilagođavanjem parametara i implementacijom. Nasuprot tome, ICF ugrađuje učenje prilagodbene adaptacije neposredno u modelov pre-trening, omogućavajući predviđaču da uključi nekoliko srodnih serija na letu.
Inženjerstvo nekolikošot temeljnog modela
Jezgra TimesFM sastoji se od patchiranog dekodera: svaki blok od 32 kontinuiranih vrijeme-poezda – nazvani time windows – služi kao jedan primjer. Pre-trening modela se odvija uz pomoć velikog korpusa vrijeme-serijskih podataka, koji sadrži različite tipove podataka, kao što su vrijeme prometa, vrijeme prodaje ili vrijeme upotrebe energije. ICF se koristi za nadogradnju modela uz samo nekoliko relevantnih primjera, što omogućava modelu da se prilagođava novim podacima tijekom inferencije.
Primjene nekolikošot predviđanja
Nekolikošot predviđanje omogućava predviđačima da se prilagode novim podacima bez potrebe za nadogradnjom modela. Ovo omogućava brže i efikasnije predviđanje, što je posebno važno u situacijama kada se podaci mijenjaju brzo ili kada je potrebno predviđanje za različite domene. Nekolikošot predviđanje također omogućava predviđačima da se prilagode novim podacima bez potrebe za nadogradnjom modela, što je posebno važno u situacijama kada se podaci mijenjaju brzo ili kada je potrebno predviđanje za različite domene.
FAQ
- Što je nekolikošot predviđanje? Nekolikošot predviđanje je pristup predviđanju koji omogućava modelu da se prilagodi novim podacima uz samo nekoliko relevantnih primjera, bez potrebe za potpunom nadogradnjom modela.
- Kako ICF poboljšava predviđanje? ICF omogućava modelu da uči iz kontekstualnih primjera tijekom inferencije, što poboljšava preciznost predviđanja bez potrebe za dodatnim treningom.
- Koji su glavni prednosti nekolikošot predviđanja? Glavne prednosti uključuju brže prilagođavanje novim podacima, smanjenje inženjerskog opterećenja i poboljšanu preciznost predviđanja.