U današnje vrijeme, predviđanje vremenskih serija postalo je ključno za uspjeh modernih poslovanja, omogućujući im da predviđaju sve, od potreba za zalihama do energetske potražnje. Tradicionalno, ovaj proces zahtijeva izgradnju posebnog modela za svaku pojedinu zadaću, što je često sporo i zahtijeva značajno znanje i stručnost.
Razvoj metoda zero-shot učenja ponudio je rješenje za ovaj problem. Naš prethodni model, TimesFM, bio je model temeljen na vremenskim serijama koji je mogao točno predviđati bez specifične obuke za zadatak. Međutim, postavlja se pitanje: što ako bi nekoliko primjera moglo dodatno poboljšati točnost predviđanja? Na primjer, predviđanje prometa na autocesti bilo bi preciznije ako bi model mogao uzeti u obzir podatke s drugih obližnjih autocesta ili s iste autoceste prije nekoliko tjedana. Standardno rješenje, supervizirano fino podešavanje, koje koristi odabrane podatke za prilagodbu postojećeg modela, ponovno uvodi složenost koju se nadao izbjeći s zero-shot učenjem.
U našem novom radu, “Fino podešavanje u kontekstu za modele temeljenih na vremenskim serijama”, predstavljenom na ICML 2025, uvodimo inovativan pristup koji transformira TimesFM u model koji može učiti iz nekoliko primjera. Ova metoda koristi nastavak pre-obuke kako bi model naučio kako učiti iz malog broja primjera tijekom inferencije. Rezultat je snažna nova sposobnost koja odgovara performansama superviziranog fino podešavanja, a da pritom ne zahtijeva dodatnu složenu obuku od korisnika.
Redizajn modela TimesFM
TimesFM je model koji koristi dekoder koji tokenizira svake 32 uzastopne vremenske točke (patch) kao ulazni token i primjenjuje transformer stog na sekvencu ulaznih tokena kako bi generirao izlazne tokene. Nakon toga, koristi se zajednički multilayer perceptron (MLP) za prevođenje svakog izlaznog tokena natrag u vremensku seriju od 128 vremenskih točaka.
Kako bismo stvorili TimesFM-ICF (Fino podešavanje u kontekstu), počinjemo s osnovnim modelom TimesFM i nastavljamo pre-obuku s novim kontekstom: povijest predviđanja plus svi primjeri u kontekstu. Prvi korak je osigurati da model ne zbunjuje povijest predviđanja i primjere u kontekstu. Zamislite da modelu dajete popis brojeva koji predstavljaju nekoliko različitih stvari, možda brojke prodaje sunčanih naočala iz jedne trgovine, a zatim brojke prodaje kišobrana iz druge. Ako jednostavno spojite sve te brojeve, model bi se mogao zbuniti, misleći da je to jedan kontinuirani tok podataka. Na primjer, ako su prodaje prve trgovine rasle, a prodaje druge trgovine opadale, model bi mogao pogrešno vidjeti to kao jedan jedinstveni obrazac rasta i opadanja, umjesto dva odvojena, jednostavna trenda.
Kako bismo to ispravili, dodali smo poseban, učljiv “zajednički separator token” — poput digitalnog “stop znaka” ili simbola “novog odlomka” — nakon svakog skupa brojeva. S ovim separatorima, čim model obrati pažnju na separator token primjera koji je već vidio, neće ga pomiješati s podacima koje trenutno pokušava predvidjeti. Ovo teoretski omogućuje modelu da uči iz obrazaca u tim prošlim primjerima i primijeni to znanje na trenutna predviđanja. Na primjer, model bi mogao naučiti da “sve prodaje trgovina pokazuju dosljedne, smjerne trendove u posljednje vrijeme, pa bih trebao predvidjeti rastući trend za prodaju krema za sunčanje u novoj trgovini.”
Testiranje modela TimesFM-ICF
Evaluirali smo TimesFM-ICF na 23 skupa podataka koje model nikada nije vidio tijekom bilo koje faze svoje obuke. Svaki skup podataka u ovoj benchmark analizi sadrži više vremenskih serija. Kada predviđamo vremensku seriju, počinjemo s njenom neposrednom poviješću, a zatim uzimamo uzorke sekvenci iz njene pune povijesti i povijesti drugih vremenskih serija u istom skupu podataka kao primjere u kontekstu. Ovo osigurava da su primjeri u kontekstu relevantni i da ne dođe do curenja podataka.
Grafikon ispod prikazuje geometrijsku sredinu (GM) agregacije srednjih apsolutnih skaliranih pogrešaka (MASE) normaliziranih prema naivnom ponavljanju posljednjeg sezonskog obrasca. Fokusiramo se na dva osnovna modela ovdje:
- TimesFM (Osnovni), koji je pre-obučeni model od kojeg smo krenuli.
- TimesFM-FT, što je TimesFM (Osnovni) s superviziranim fino podešavanjem koristeći trenirani skup podataka po skupu i zatim evaluiran na odgovarajućem testnom skupu. Ovo je snažna osnova koja odražava prethodnu najbolju praksu.
Zaključak
Inovacije u modelima temeljenim na vremenskim serijama, poput TimesFM-ICF, predstavljaju značajan korak naprijed u području predviđanja. Ovi modeli omogućuju korisnicima da koriste nekoliko primjera za poboljšanje točnosti predviđanja, čime se smanjuje potreba za složenim procesima obuke. Kako se tehnologija razvija, očekuje se da će ovakvi modeli postati standard u industriji, omogućujući brže i preciznije odluke.
Najčešća pitanja (FAQ)
Što su modeli temeljenih na vremenskim serijama?
Modeli temeljenih na vremenskim serijama koriste povijesne podatke za predviđanje budućih događaja, poput prodaje ili potražnje.
Kako funkcionira zero-shot učenje?
Zero-shot učenje omogućuje modelima da predviđaju bez prethodne specifične obuke za zadatak, koristeći opća znanja iz prethodnih podataka.
Što je fino podešavanje u kontekstu?
Fino podešavanje u kontekstu omogućuje modelima da uče iz nekoliko primjera tijekom predviđanja, čime se poboljšava točnost bez dodatne obuke.
Koje su prednosti korištenja modela TimesFM-ICF?
Prednosti uključuju poboljšanu točnost predviđanja, smanjenu potrebu za složenim procesima obuke i mogućnost učenja iz nekoliko primjera.
Kako se testira učinkovitost modela?
Učinkovitost modela testira se na skupovima podataka koje model nikada nije vidio, koristeći relevantne primjere u kontekstu za predviđanje.
