LSM-2: Učenje iz nepotpunih podataka nosivih senzora

Girish Narayanswamy i Maxwell A. Xu, studentski istraživači, Google Research

Predstavljamo LSM-2 s Adaptivnim i Naslijeđenim Maskiranjem (AIM), novu samonadzornu metodu učenja koja uči iz nepotpunih podataka nosivih senzora, postižući izvanredne rezultate u klasifikaciji, regresiji i generativnim zadacima bez eksplicitne imputacije. Brzi linkovi: Članak × Nosivi uređaji su revolucioniraju zdravstveno praćenje pružajući kontinuirane, multimodalne fizičke i ponašajne podatke – od srca signala i obrasaca spavanja do razine aktivnosti i indikatora stresa. Znanstvene napredak u senzorskoj tehnologiji omogućuje prikupljanje velikog volumena podataka, ali trošak označavanja ostaje visok, zahtijevajući real-time korisničke anotacije ili naporne kliničke studije. Samonadzorno učenje (SSL) rješava ovaj problem direktnim korištenjem neoznačenih podataka za učenje podložnih struktura, kao što su subtilne fizičke veze. Kada se primijeni na velikoj skali, SSL može omogućiti stvaranje osnovnih modela koji proizvode bogate i generalizabilne predstave korisne za širok spektar zadataka u zdravstvu. Međutim, kada se SSL primijeni na domenu nosivih uređaja, postoji kritična ograničenja: najnovije SSL metode pretpostavljaju potpune, neprekidne podatke – rijetkost u stvarnom svijetu nosivih senzorskih tokova gdje praznine neizbježno nastaju zbog uklanjanja uređaja, punjenja, povremenog slabljenja, pokretnih artefakata, režima štednje baterije ili okruženjske buke, koje kvantificiramo kao “nedostatak”. Uistinu, pronašli smo da nijedan uzorak među našim 1.6 milijuna dnevnih prozora nema 0% nedostatka. Historijski, izazov fragmentiranih podataka je prisilio istraživače da se oslanjaju na imputacijske metode za popunjavanje nedostajućih segmenata ili agresivno filtriranje za uklanjanje instanci s nepotpunim podacima. Nijedna od ovih metoda ne predstavlja optimalno rješenje, jer prva može uvesti neželjene bias-e, dok druga odbacuje vrijedne podatke.

Nedostajući podaci su uobičajeni u zapisima nosivih senzora. Uobičajeni načini nedostatka su istaknuti iznad u dnevnom uzorku multimodalnih nosivih senzorskih podataka. Primjećujemo da nijedan uzorak među našim 1.6 milijuna dnevnih prozora nema 0% nedostatka. U “LSM-2: Učenje iz nepotpunih podataka nosivih senzora”, predstavljamo Adaptivno i Naslijeđeno Maskiranje (AIM), novu SSL okvirnu metodu učenja koja uči iz nepotpunih podataka. Umjesto da tretira praznine podataka kao grešne mjere koje se moraju popuniti, AIM uči iz nepotpunih zapisa tretirajući nedostatak kao prirodni artefakt stvarnog svijeta. Koristeći AIM, razvili smo Veliki Senzorski Model (LSM-2) koji poboljšava naš prethodni osnovni model za nosive senzore (LSM-1, predstavljen na ICLR ’25). Pokazali smo da LSM-2 postiže izvanredne rezultate čak i kada senzori ne uspiju ili se vremenski prozori uklone, pokazujući znatno manje degradacije nego modeli trenirani na imputiranim podacima. Uzimajući AIM s adaptivnim naslijeđenim maskiranjem

U srcu AIM-ove inovacije nalazi se njegov jedinstveni pristup rukovanju neizbježnim prazninama u stvarnim senzorskim podacima. U suprotnosti s tradicionalnim SSL metodama koje ili odbacuju nepotpune podatke ili pokušavaju popuniti nedostajuće vrijednosti, AIM prihvaća ove praznine kao prirodne karakteristike nosivih podataka. Kao proširenje okvirne metode pretreniranja maskiranog autoenkoder (MAE), AIM uči podložnu strukturu senzorskih podataka rekonstruirajući maskirane ulazne uzorke. Međutim, dok tradicionalne MAE metode ovisne o fiksnom omjeru maskiranja za omogućavanje učinkovitog ispadanja maskiranih tokena (tj. fiksni broj maskiranih tokena ne prolazi kroz enkoder, što smanjuje složenost izračuna), fragmentacija u senzorskim podacima je nepredvidiva, rezultirajući varijabilnim brojem maskiranih tokena. AIM rješava ovaj fundamentalni izazov nosivih podataka uparivanjem ispadanja tokena s pažnjom maskiranjem. Tijekom pretreniranja skup tokena za maskiranje sastoji se od onih naslijeđenih i prisutnih u nosivim senzorskim podacima, kao i onih namjerno maskiranih za cilj rekonstrukcije. AIM prvo primjenjuje ispadanje na fiksni broj maskiranih tokena, poboljšavajući učinkovitost pretreniranja smanjenjem duljine sekvence koju procesira enkoder. AIM zatim adaptivno rukuje bilo kojim preostalim maskiranim tokenima – bilo prirodno nedostajućim ili dijelom zadatka rekonstrukcije – putem maskiranja pažnje u transformerskom bloku enkoder. Tijekom diskriminativnog zadatka finetuninga i procjene, gdje maskirani tokeni sastoje samo od prirodno nastalih praznina podataka, AIM primjenjuje maskiranje pažnje za sve maskirane tokene. Kroz ovaj dvostruki pristup maskiranja i tretiranjem prirodno nastalih i umjetno maskiranih tokena kao ekvivalentnih, AIM nauči model da radi s varijabilnom fragmentacijom urodne za nosive senzore. AIM pretreniranje (A) i procjena (B) za LSM-2. Tijekom pretreniranja, AIM koristi umjetnu masku za učenje rekonstrukcije i naslijeđenu masku za modeliranje r

Uvod u AIM

AIM je revolucioniran pristup koji se fokusira na učenje iz nepotpunih podataka, što je ključno za napredak u domeni nosivih senzora. Tradicionalne metode učenja iz neoznačenih podataka često se suočavaju s izazovima zbog nedostatka podataka, što može utjecati na kvalitetu modela. AIM rješava ovaj problem upotrebom adaptivnog i naslijeđenog maskiranja, što omogućuje modelima da uče iz varijabilno fragmentiranih podataka. Ovaj pristup je posebno važan za nosive senzore, gdje su praznine u podacima neizbježne zbog različitih razloga, uključujući uklanjanje uređaja, punjenje, pokretne artefakte i okruženjsku buku.

Prednosti AIM-a

AIM donosi nekoliko ključnih prednosti u odnosu na tradicionalne metode učenja iz neoznačenih podataka:

1. Učinkovitost: AIM smanjuje složenost izračuna upotrebom fiksnog broja maskiranih tokena, što poboljšava učinkovitost pretreniranja.
2. Adaptivnost: Adaptivno rukovanje preostalim maskiranim tokenima omogućuje modelima da se prilagođavaju varijabilnoj fragmentaciji podataka.
3. Generalizacija: Modeli trenirani s AIM-om pokazuju znatno manje degradacije čak i kada su podaci fragmentirani, što je ključno za real-world primjene.

Primjene LSM-2

LSM-2 s AIM-om ima širok spektar primjena u domeni nosivih senzora, uključujući:

1. Zdravstvena praćenja: LSM-2 može poboljšati preciznost dijagnostike bolesti putem kontinuiranog praćenja fizičkih signala.
2. Sportska analiza: Modeli mogu pružiti detaljne analize ponašanja i fizičke aktivnosti, što je korisno za sportsku rehabilitaciju i optimizaciju treninga.
3. Psihološko blagostanje: Praćenje stresa i emocionalnog stanja može pomoći u razvoju aplikacija koje podržavaju psihološko blagostanje.

Zaključak

LSM-2 s Adaptivnim i Naslijeđenim Maskiranjem (AIM) predstavlja revolucionaran korak naprijed u domeni nosivih senzora, omogućujući modelima da uče iz nepotpunih podataka bez uvođenja neželjenih bias-e ili gubitka vrijednih podataka. Ovaj pristup ima veliku potencijalnu primjenu u različitim područjima, od zdravstvene praćenja do sportskih analiza i psihološkog blagostanja. Budući da AIM rješava fundamentalne izazove fragmentiranih podataka, očekuje se da će postati standardna metoda učenja iz neoznačenih podataka u budućnosti.

Česta pitanja

1. Kako AIM rješava problem nedostatka podataka?

AIM rješava problem nedostatka podataka upotrebom adaptivnog i naslijeđenog maskiranja, što omogućuje modelima da uče iz varijabilno fragmentiranih podataka. Ovaj pristup tretira praznine kao prirodne karakteristike podataka, umjesto da ih pokušava popuniti.

2. Koliko je učinkovit AIM u poređenju s tradicionalnim metodama?

AIM je znatno učinkovitiji od tradicionalnih metoda zbog smanjenja složenosti izračuna i adaptivnog rukovanja maskiranim tokenima. Modeli trenirani s AIM-om pokazuju znatno manje degradacije čak i kada su podaci fragmentirani.

3. Koje su primjene LSM-2 u stvarnom svijetu?

LSM-2 s AIM-om ima širok spektar primjena, uključujući zdravstvenu praćenju, sportsku analizu i praćenje psihološkog blagostanja. Ovaj model može poboljšati preciznost dijagnostike bolesti, pružiti detaljne analize ponašanja i fizičke aktivnosti, te pomoći u razvoju aplikacija koje podržavaju psihološko blagostanje.

4. Kako se AIM razlikuje od tradicionalnih metoda učenja iz neoznačenih podataka?

AIM se razlikuje od tradicionalnih metoda učenja iz neoznačenih podataka upotrebom adaptivnog i naslijeđenog maskiranja, što omogućuje modelima da uče iz varijabilno fragmentiranih podataka. Ovaj pristup tretira praznine kao prirodne karakteristike podataka, umjesto da ih pokušava popuniti ili odbaci.

5. Koji su budući razvojni pravci za LSM-2?

Budući razvojni pravci za LSM-2 uključuju proširivanje primjena na nove domene, poboljšanje učinkovitosti modela i integraciju s drugim tehnologijama za praćenje i analizu podataka. Također, istraživanje novih metoda za rukovanje varijabilnom fragmentacijom podataka može donijeti dodatne poboljšanja.