SensorLM: Učenje jezika nosivih senzora

28. srpnja 2025. Yuzhe Yang, gostujući istraživač, i Kumar Ayuz, senior istraživački inženjer, Google Istraživanje

Predstavljamo SensorLM, novu obitelj modela temeljenih na senzorima i jeziku treniranih na 60 milijuna sati podataka, koji spaja multimodalne signale nosivih senzora s prirodnim jezikom kako bismo dobili dublje razumijevanje našeg zdravlja i aktivnosti. Brzi linkovi Paper × Nosivi uređaji, od pametnih satova do fitnes praćaka, postali su sveprisutni, neprestano zabilježavajući bogat tok podataka o našim životima. Zabilježavaju naš puls, broje naš korake, prate naš fitnes i san, i još mnogo toga. Ovaj pljusak informacija nosi ogromni potencijal za personalizirano zdravlje i dobrobit. Međutim, iako možemo lako vidjeti što naš tijelo radi (npr., puls od 150 otkucaja u minuti), kritični kontekst zašto (npr., “žestoki uzbrdo trčanje” vs. “stresno javno izlaganje”) često nedostaje. Razmak između sirove senzorske podatke i njihovog stvarnog značenja bio je glavni prepreka otključavanju punog potencijala ovih uređaja. Glavni izazov leži u rijetkosti velikih skupova podataka koji uparaju senzorske zapise s bogatim, opisnim tekstom. Ručno anotiranje milijuna sati podataka je previše skupo i vremenski zahtjevno. Da bismo riješili ovo i da bismo zaista dopustili da senzorska podatka “govore za sebe”, trebamo modele koji mogu naučiti složene veze između senzorskih signala i ljudskog jezika izravno iz podataka.

U “SensorLM: Učenje jezika nosivih senzora”, predstavljamo SensorLM, obitelj modela temeljenih na senzorima i jeziku koji popunjava tu prazninu. Pretreniran na neprecedentnih 59,7 milijuna sati multimodalnih senzorskih podataka od preko 103.000 pojedinaca, SensorLM uči interpretirati i generirati finih, ljudski čitljivih opisima iz visokodimenzionalnih nosivih senzorskih podataka, postavivši novi standard u razumijevanju senzorskih podataka.

Prevođenje složenih, multimodalnih senzorskih podataka u smisleni, prirodni jezik

SensorLM prevođenje složenih, multimodalnih senzorskih podataka u smisleni, prirodni jezik opisima kroz statističke, strukturalne i semantičke dimenzije. Treniranje modela SensorLM-a

Stvaranje senzorskog skupa podataka za SensorLM

Da bismo stvorili senzorski skup podataka potreban za SensorLM, uzorkovali smo skoro 2,5 milijuna osoba-dana deidentificiranih podataka od 103.643 ljudi iz 127 zemalja. Ovi podaci su prikupljeni između 1. ožujka i 1. svibnja 2024. godine od uređaja Fitbit ili Pixel Watch, s sudionicima koji su pristanuli na korištenje svojih deidentificiranih podataka za istraživanje kako bi doprinijeli općem znanju o zdravlju i znanosti. Da bismo preskočili prepreku anotiranja, razvili smo novu hijerarhijsku cijev koja automatski generira opisne tekstualne natpise računanjem statistika, identificiranjem trendova i opisivanjem događaja iz samih senzorskih podataka. Ovim procesom stvorili smo najveći poznati senzorski-jezik skup podataka do danas, redova veličine veći od onih korištenih u prethodnim studijama.

Pretreniranje SensorLM-a omogućuje nove mogućnosti za personalizirane uvide

Pretreniranje SensorLM-a omogućuje nove mogućnosti za personalizirane uvide, kao što su razumijevanje senzora u nuli, poravnanje i dohvat senzora-teksta, učenje u nekoliko koraka i generiranje natpisa senzora. Arhitektura SensorLM-a temelji se na i unificira dominantne multimodalne strategije pretreniranja, kao što su kontrastno učenje i generativno pretreniranje.

Kontrastno učenje

Model uči podudarati segment senzorskih podataka s njegovim odgovarajućim tekstualnim opisom iz skupa opcija. Ovo ga nauči razlikovati između različitih aktivnosti i stanja (npr., razlikovanje “laganog plivanja” od “jačine vježbanja”). Generativno pretreniranje Model uči generirati tekstualne natpise izravno iz senzorskih podataka. Ovo ga oprema mogućnošću stvaranja bogatih, kontekstualno svjesnih opisima iz razumijevanja visokodimenzionalnih senzorskih signala. Integriranjem ovih pristupa u jedan kohezivni okvir, SensorLM razvija duboko multimodalno razumijevanje odnosa između senzorskih signala i jezika.

Ključne sposobnosti i ponašanje skaliranja

Evaluirali smo SensorLM na širokom rasponu stvarnih zadataka u prepoznavanju ljudskih aktivnosti i zdravstvu. Rezultati pokazuju znatne napredke u odnosu na prethodne modela najnovijeg standarda. Prepoznavanje aktivnosti i dohvat SensorLM sjaji u zadacima s ograničenim označenim podacima. Postigao je izvanrednu klasifikaciju u nuli za aktivnost, točno klasificirajući od 20 aktivnosti bez finog podešavanja, i izvanredno se izučava u nekoliko koraka, brzo učeći iz samo nekoliko primjera. To čini model vrlo prilagodljivim novim zadacima i korisnicima s minimalnim podacima. Nadalje, SensorLM omogućuje moćnu multimodalnu dohvat, omogućujući multimodalno razumijevanje između senzorskih podataka i jezikovnih opisima. To nam omogućuje upit opisima pomoću senzorskog ulaza ili pronalazak određenih senzorskih uzoraka pomoću prirodnog jezika, olakšavajući analizu vođenju stručnjaka (vidjeti daljnje rezultate).

Značaj SensorLM-a za budućnost zdravlja i fitnesa

SensorLM ima potencijal transformirati način na koji razumijemo i koristimo senzorske podatke u zdravstvu i fitnesu. Njegove sposobnosti za generiranje natpisa senzora i razumijevanje senzora u nuli mogu olakšati liječnicima i stručnjacima da brže i preciznije dijagnosticiraju i tretiraju zdravstvene probleme. Također može pomoći u personaliziranom fitnes planiranju, pružajući korisnicima detaljne uvide u svoje fizičke aktivnosti i stanje zdravlja.

FAQ

Koje su glavne prednosti SensorLM-a?

SensorLM pruža nekoliko ključnih prednosti, uključujući sposobnost generiranja natpisa senzora, razumijevanje senzora u nuli, poravnanje i dohvat senzora-teksta, i učenje u nekoliko koraka. Ove sposobnosti čine ga izvanrednim alatom za razumijevanje i analizu senzorskih podataka u zdravstvu i fitnesu.

Može li SensorLM biti korišten u drugim područjima osim zdravlja i fitnesa?

Da, SensorLM ima široku primjenu i može se koristiti u drugim područjima, kao što su promet, sigurnost i industrija. Njegove sposobnosti za razumijevanje i interpretaciju senzorskih podataka mogu biti korisne u mnogim drugim kontekstima.

Koliko je SensorLM točan u prepoznavanju aktivnosti?

SensorLM je pokazao izvanredne rezultate u prepoznavanju aktivnosti, točno klasificirajući od 20 aktivnosti bez finog podešavanja i brzo učeći iz samo nekoliko primjera. Njegova sposobnost za prepoznavanje aktivnosti u nuli čini ga izuzetno prilagodljivim novim zadacima i korisnicima s minimalnim podacima.

Može li SensorLM biti korišten za personalizirano fitnes planiranje?

Da, SensorLM ima potencijal za personalizirano fitnes planiranje, pružajući korisnicima detaljne uvide u svoje fizičke aktivnosti i stanje zdravlja. Njegove sposobnosti za generiranje natpisa senzora i razumijevanje senzora u nuli mogu olakšati personalizirano fitnes planiranje, pomagajući korisnicima da postignu svoje ciljeve i poboljšaju svoje zdravlje.

Koje su buduće smjernice za SensorLM?

Buduće smjernice za SensorLM uključuju daljnje poboljšanje njegovih sposobnosti za razumijevanje i interpretaciju senzorskih podataka, kao i proširenje njegove primjene na nova područja. Također se očekuje da će SensorLM biti dalje integriran u različite aplikacije i uređaje, pružajući još više vrijednih uvida i mogućnosti za korisnike.