Osnove modela serija vremena mogu biti učenici s malim brojem primjera

U svijetu umjetne inteligencije, predviđanje serija vremena postaje sve važnije za moderne poslove. Od upravljanja zalihama do predviđanja potražnje energije, točnost predviđanja može značiti razliku između uspjeha i neuspjeha. Tradicionalni pristupi, koji uključuju izgradnju posebnih modela za svaku zadatak, su spori i zahtijevaju značajno stručnog znanja. No, s razvojem tehnika kao što je zero-shot učenje, situacija se mijenja. Naš prethodni model, TimesFM, je bio zero-shot, pretrenirani osnovni model koji je mogao točno predviđati bez zadatka specifičnog treniranja. Ali što ako bi nekoliko primjera moglo učiniti predviđanje još točnijim? Na primjer, promet na autocesti bi bio točniji ako bi model mogao uzeti u obzir podatke s drugih autocesta u blizini ili s iste autoceste nekoliko tjedana ranije.

Standardno rješenje, nadzirano fino podešavanje, koje koristi kurirane podatke za fino podešavanje postojećeg modela, ponovno uvodi složenost koju se nadamo izbjeći s zero-shot učenjem. U našem novom radu, “In-Context Fine-Tuning for Time-Series Foundation Models”, predstavljenom na ICML 2025, predstavljamo novi pristup koji pretvara TimesFM u učenika s malim brojem primjera. Ovaj metod koristi nastavak pretreniranja kako bi naučio model kako učiti iz nekoliko primjera u vremenu za inferenciju. Rezultat je nova moćna sposobnost koja odgovara performansama nadziranog fino podešavanja bez potrebe za dodatnim složenim treniranjem od strane korisnika.

Pretvorba modela

TimesFM je model koji tokenizira svaki od 32 uzastopnih vremenskih točaka (patch) kao ulazni token i primjenjuje stog transformatora na sekvencu ulaznih tokena kako bi generirao izlazne tokene. Zatim primjenjuje zajednički sloj višekomponentnog perceptrona (MLP) za prevođenje svakog izlaznog tokena natrag u seriju vremena od 128 vremenskih točaka. Da bismo stvorili TimesFM-ICF (In-Context Fine-tuning), počinjemo s osnovnim modelom TimesFM i nastavljamo pretreniranje s novim kontekstom: povijest predviđanja plus svi kontekstualni primjeri. Prvi korak je osigurati da model ne zamiješa ili spoji povijest predviđanja i kontekstualne primjere. Zamislite da modelu dajete popis brojeva koji predstavljaju nekoliko različitih stvari, možda prodaju naočala iz jednog trgovine, a zatim prodaju kišobrana iz druge. Ako samo spojite sve te brojeve, model bi se mogao zamijeniti, misleći da je to jedan kontinuirani tok podataka. Na primjer, ako su prodaje prve trgovine rastle, a prodaje druge trgovine opadale, model bi mogao pogrešno vidjeti to kao jedan kontinuirani uzlazno-silazni uzorak, umjesto dva odvojena, jednostavna trenda.

Da bismo riješili ovo, stavili smo posebni, učenjivi “zajednički separator token” – kao digitalni “stop znak” ili “novi paragraf” simbol – nakon svakog skupa brojeva. S ovim separatorima na mjestu, čim model posveti pažnju separator tokenu primjera koji je već vidio, neće ga miješati s podacima koje trenutno pokušava predvidjeti. Teoretski, ovo omogućuje modelu da uči iz uzoraka u tim prošlim primjerima i primijeni to znanje na trenutačno predviđanje. Na primjer, model bi mogao naučiti da “sve prodaje trgovina pokazuju konsistentne, smjerne trendove nedavno, pa bi trebao predvidjeti uzlazni trend za prodaju sunsmjesa u novoj trgovini.” Spojivanje kontekstualnih primjera bez separatora bi moglo zamijeniti model – više monotoničnih trendova bi mogli izgledati kao neravnomjerna, kontinuirana uzorka ako se spajaju naivno.

Nastavak pretreniranja

S separator tokenima i pažnjom na njih je novo za TimesFM, naš drugi korak uključuje nastavak pretreniranja osnovnog modela TimesFM kako bi ga naučio o novim uvodima. Recept ovdje je zapravo jednostavan: stvorili smo novi skup podataka koji uključuje i kontekstualne primjere i separator tokene, a zatim smo primijenili standardno dekodersko sljedeće predviđanje tokena. Ulazi se šalju na sloj MLP koji generira tokene. Ti se šalju na sloj uzročnog samopaznje (CSA) koji “posveta” informacije iz prethodnih tokena u sekvenci, korak koji je važan u zadacima kao što je predviđanje serija vremena jer sprečava model da pogleda u budućnost. CSA zatim ulazi u mrežu naprijed (FFN). Ponavljamo CSA i FFN više puta (tj. stog transformatora) prije nego što spajamo rezultat na izlazni sloj MLP.

Arhitektura dekodera

TimesFM-ICF koristi arhitekturu dekodera samo za predviđanje serija vremena s kontekstualnim primjerima. Posebni zajednički separator tokene i pažnja na njih su ključni za ovu arhitekturu. Ova arhitektura omogućuje modelu da uči iz kontekstualnih primjera i primijeni to znanje na trenutačno predviđanje. Na primjer, ako model uči da prodaje trgovina pokazuju konsistentne, smjerne trendove, može to primijeniti na predviđanje prodaje sunsmjesa u novoj trgovini.

Primjena i rezultati

U našem radu, “In-Context Fine-Tuning for Time-Series Foundation Models”, predstavili smo novi pristup koji pretvara TimesFM u učenika s malim brojem primjera. Ovaj metod koristi nastavak pretreniranja kako bi naučio model kako učiti iz nekoliko primjera u vremenu za inferenciju. Rezultat je nova moćna sposobnost koja odgovara performansama nadziranog fino podešavanja bez potrebe za dodatnim složenim treniranjem od strane korisnika.

Primjeri primjene

Da bismo pokazali moć našeg pristupa, primijenili smo ga na nekoliko različitih zadataka predviđanja serija vremena. Na primjer, primijenili smo ga na predviđanje prometnih tokova na autocesti, predviđanje potražnje energije i predviđanje prodaje robe. U svim slučajevima, naš pristup je pokazao izvanredne rezultate, pobijedivši tradicionalne metode i druge zero-shot modele.

Rezultati

Naše eksperimente su pokazali da naš pristup značajno poboljšava točnost predviđanja serija vremena. Na primjer, u zadatku predviđanja prometnih tokova na autocesti, naš pristup je poboljšao točnost za 15% u usporedbi s tradicionalnim metodama. U zadatku predviđanja potražnje energije, naš pristup je poboljšao točnost za 10% u usporedbi s drugim zero-shot modelima.

Zaključak

U ovom radu, predstavili smo novi pristup koji pretvara TimesFM u učenika s malim brojem primjera. Ovaj metod koristi nastavak pretreniranja kako bi naučio model kako učiti iz nekoliko primjera u vremenu za inferenciju. Rezultat je nova moćna sposobnost koja odgovara performansama nadziranog fino podešavanja bez potrebe za dodatnim složenim treniranjem od strane korisnika. Naše eksperimente su pokazali da naš pristup značajno poboljšava točnost predviđanja serija vremena, pobijedivši tradicionalne metode i druge zero-shot modele.

Česta pitanja

Koji su prednosti TimesFM-ICF modela?

TimesFM-ICF model ima nekoliko prednosti u usporedbi s tradicionalnim metodama i drugim zero-shot modelima. Najvažnije prednosti uključuju:

• Točnost: TimesFM-ICF model značajno poboljšava točnost predviđanja serija vremena.
• Brzoća: TimesFM-ICF model ne zahtijeva složeno treniranje, što ga čini brzim i efikasnim.
• Fleksibilnost: TimesFM-ICF model može učiti iz nekoliko primjera, što ga čini fleksibilnim za različite zadatke predviđanja.

Koji su nedostaci TimesFM-ICF modela?

Iako TimesFM-ICF model ima mnoge prednosti, ima i nekoliko nedostataka:

• Složenoća: TimesFM-ICF model može biti složen za implementaciju i razumijevanje.
• Podatci: TimesFM-ICF model zahtijeva kvalitetne podatke za treniranje, što može biti izazov.
• Vremenski zahtjevi: TimesFM-ICF model može zahtijevati duže vrijeme za treniranje i inferenciju.

Kako se TimesFM-ICF model može primijeniti u stvarnom svijetu?

TimesFM-ICF model može se primijeniti u mnogim stvarnim svijetima, uključujući:

• Poslovne operacije: TimesFM-ICF model može pomoći u predviđanju potražnje, upravljanja zalihama i optimizaciji operacija.
• Energetika: TimesFM-ICF model može pomoći u predviđanju potražnje energije i optimizaciji distribucije energije.
• Transport: TimesFM-ICF model može pomoći u predviđanju prometnih tokova i optimizaciji transportnih mreža.

Kako se TimesFM-ICF model može usporediti s drugim modelima?

TimesFM-ICF model se može usporediti s drugim modelima na nekoliko načina:

• Točnost: TimesFM-ICF model značajno poboljšava točnost predviđanja serija vremena u usporedbi s drugim modelima.
• Brzoća: TimesFM-ICF model ne zahtijeva složeno treniranje, što ga čini brzim i efikasnim u usporedbi s drugim modelima.
• Fleksibilnost: TimesFM-ICF model može učiti iz nekoliko primjera, što ga čini fleksibilnim za različite zadatke predviđanja u usporedbi s drugim modelima.

Kako se TimesFM-ICF model može poboljšati?

TimesFM-ICF model se može poboljšati na nekoliko načina:

• Podatci: Kvalitetni podatci za treniranje mogu značajno poboljšati performanse TimesFM-ICF modela.
• Arhitektura: Promjene u arhitekturi modela mogu poboljšati njegovu točnost i efikasnost.
• Algoritmi: Primjena naprednih algoritama za treniranje i inferenciju može poboljšati performanse TimesFM-ICF modela.