Sensible Agent: Okvir za neprimjetno interagiranje s proaktivnim AR…

18. rujna 2025. – Ruofei Du, voditelj interaktivnog osjetanja i grafike, i Geonsun Lee, student istraživač, Google XR

Sensible Agent je istraživački prototip koji omogućuje AR agentima da proaktivno prilagođavaju svoje preporuke i način interakcije, koristeći kontekst u stvarnom vremenu, uključujući pogled, dostupnost ruku i okružujući bučni glas. Brzi linkovi: Članak × Najnovije inovacije, poput Googleovog projekta Astra, ilustriraju potencijal proaktivnih agenata uokvirjenih u AR naočale za pružanje inteligentne pomoći koja predviđa potrebe korisnika i bezbrižno se uklapa u svakodnevni život. Ovi agenti obećavaju izuzetnu udobnost, od jednostavnog navigiranja nepoznatim prometnim čvorovima do diskretnog pružanja prikladnih prijedloga u gušćim prostorima. Ipak, današnji agenti su ograničeni značajnom manjkavosti: pretežito se oslanjaju na eksplicitne verbalne naredbe od korisnika. Ovo zahtijevanje može biti neugodno ili narušavajuće u društvenim okruženjima, kognitivno opterećujuće u vremenski kritičnim scenarijima ili jednostavno neupotrebljivo. Da bismo riješili ove izazove, predstavljamo Sensible Agent, objavljen na UIST 2025, okvir dizajniran za neprimjetno interagiranje s proaktivnim AR agentima. Sensible Agent je napredak našeg prijašnjeg istraživanja u Human I/O i fundamentalno preobražava ovu interakciju predviđajući namjere korisnika i određujući najbolji način za pružanje pomoći. Koristi real-time multimodalno osjetanje konteksta, subtlane pokrete, ulazak u pogled i minimalne vizualne signale za pružanje neprimjetne, kontekstualno-primjerenih pomoći. To je važan korak prema pravo ujedinjenim, društveno svjesnim AR sustavima koji poštuju kontekst korisnika, minimiziraju kognitivne prekinuće i čine proaktivnu digitalnu pomoć praktičnom za svakodnevni život. Poglejte film Link to Youtube Video

Sensible Agent okvir

Na čelu Sensible Agent okvira se nalaze dva međusobno povezana modula za (1) razumijevanje “čega” pomoći i (2) određivanje “kako” pružiti pomoć. Najprije, Sensible Agent iskorištava napredno multimodalno osjetanje koristeći egocentrične kamere i detekciju konteksta okoline kako bi razumio trenutne potrebe korisnika za pomoću. Bilo da se krećete kroz gušću muzeja ili trčite kroz trgovinu, agent proaktivno odlučuje najpogodniju radnju, kao što je pružanje brzih prevoda, preporučivanje popularnih jela u novom restoranu ili tiho prikazivanje liste namirnica. Jednako važno, Sensible Agent pametno odabire najmanje intruzivni i najprikladniji način interakcije na temelju društvenog konteksta. Na primjer, ako su vaše ruke zauzete kuhanjem, agent može omogućiti potvrdu pokretom glave. U bučnom okruženju, može diskretno prikazati vizualne ikone umjesto glasovnog iznošenja. Ova adaptivna selekcija modaliteta osigurava da je pomoć uvijek dostupna bez značajnih prekinuća.

Sensible Agent Demo: AR agent (lijevo) otkriva kontekst, (sredina) proaktivno predlaže radnje, a (desno) omogućuje korisnicima da odgovore neprimjetno pokretom “thumbs up”.

Izrada Sensible Agent prototipa

Da bismo ovaj koncept učinili stvarnošću, implementirali smo Sensible Agent kao potpuno funkcionalni prototip koji radi na Android XR i WebXR, integriran s moćnim multimodalnim AI modelima. Prototip uključuje četiri komponente: (1) parser konteksta koji omogućuje razumijevanje scene, (2) generator proaktivnih upita koji određuje koju pomoć je potrebna, (3) modul interakcije koji odlučuje kako najbolje pružiti pomoć i (4) generator odgovora koji dostavlja pomoć.

Parser konteksta: Razumijevanje scene

Prvo, sustav pokreće parser konteksta kako bi razumio trenutnu situaciju korisnika. Parser konteksta koristi model vid-jezik (VLM) za analizu ulaznog okvira iz kamere naočala i YAMNet, pretrenirani klasifikator događaja zvuka, za obradu razine buke u okruženju. Ovaj proces rezultira skupom parsiranih konteksta, kao što su visoko razina aktivnosti ili lokacija korisnika.

Generator proaktivnih upita: Odlučivanje “čega” učiniti

Na temelju parsiranog konteksta, generator proaktivnih upita identificira najpogodniju radnju. Koristi razmišljanje u lancu razmišljanja (CoT) za poticanje modela da raspravi višestruke korake problema na međustupnje. Ovo razmišljanje voditi šest primjerima izvedenih iz studije prikupljanja podataka (few-shot učenje). Izlaz modela je potpuna agentova preporuka, uključujući radnju (npr. Preporuči Jelo), format upita (Višekratni odabir/Binarni odabir/Ikona) i modalitet prezentacije (Samo zvuk/Samo vizualno/Oba).

Modul interakcije: Odlučivanje “kako” interagirati

Ovaj modul upravlja “kako” interakcije, upravljajući i ulazom i izlazom. UI Manager uzima preporuku i prikazuje je korisniku. Ili renderira vizualnu ploču na ekranu ili koristi tekst-u-govor (TTS) za generiranje audio prompta. Menadžer ulaznog modaliteta zatim omogućuje najprikladniji način.

Zaključak

Sensible Agent predstavlja revolucionarni korak u razvoju proaktivnih AR agenata koji su u stanju pružiti neprimjetnu i kontekstualno-primjerenu pomoć. Njegova sposobnost da proaktivno prilagodi interakcije na temelju real-time konteksta i multimodalnog osjetanja čini ga neprocjenjivim alatom za budućnost AR tehnologije. Kako se tehnologija razvija, očekujemo da će Sensible Agent i slični okviri postati standard u pružanju inteligentne pomoći koja je neprimjetna i praktična za svakodnevni život.

Česta pitanja

1. Kako Sensible Agent razlikuje od tradicionalnih AR agenata?

Sensible Agent se ističe po svojoj sposobnosti da proaktivno prilagodi interakcije na temelju real-time konteksta, dok tradicionalni AR agenti uglavnom ovisne o eksplicitnim verbalnim naredbama.

2. Koje su glavne komponente Sensible Agent prototipa?

Glavne komponente su parser konteksta, generator proaktivnih upita, modul interakcije i generator odgovora.

3. Kako Sensible Agent određuje najprikladniji način interakcije?

Na temelju društvenog konteksta, Sensible Agent pametno odabire najmanje intruzivni i najprikladniji način interakcije, kao što je potvrda pokretom glave u situacijama kada su ruke zauzete.

4. Može li Sensible Agent koristiti se u različitim okruženjima?

Da, Sensible Agent je dizajniran da se prilagodi različitim okruženjima, od bučnih prostorija do mirnih okolina, pružajući kontekstualno-primjerenu pomoć.

5. Kako se Sensible Agent integrira s postojećim AR naočalama?

Sensible Agent prototip je implementiran na Android XR i WebXR, što ga čini kompatibilnim s većinom postojećih AR naočala koji podržavaju ove platforme.