XR Blocks: Ubrzavanje inovacija u AI i XR

10. listopada 2025. – Ruofei Du, voditelj interaktivnog osjetanja i grafike, i Benjamin Hersh, voditelj proizvoda, Google XR

XR Blocks je otvoreni okvir za razvoj immersivnih iskustava na webu, s naglaskom na realnost XR, interakcije u XR i aplikacije AI + XR s uživo demo na xrblocks.github.io. Brzi linkovi: GitHub, Paper, Video ×

Kombinacija umjetne inteligencije (AI) i proširenog stvarnog (XR) potencijalno otvara novi paradigma immersivnog pametnog računarstva. Međutim, postoji značajan razmak između ekosustava ovih dva polja danas. AI istraživanje i razvoj se ubrzavaju zrelim okvirima poput JAX, PyTorch, TensorFlow i benchmarkovima poput ImageNet i LMArena. S druge strane, prototipiranje novih AI-pokrećenih XR interakcija ostaje proces s visokim trenjem, često zahtijevajući praktičare da ručno integriraju raznolike, niskorazinu sustave za osjet, renderiranje i interakciju.

Da bi popunili ovaj razmak, predstavljamo XR Blocks (predstavljeno na ACM UIST 2025), multiplatformski okvir dizajniran za ubrzavanje ljudsko-centrirane AI + XR inovacije. To je značajan korak od našeg prijašnjeg istraživanja u Visual Blocks za ML, koji se fokusira na ne-XR slučajeve i olakšava prototipiranje machine learning cjevovoda s vizualnim programiranjem.

XR Blocks pruža modularnu arhitekturu s priključivim komponentama za osnovnu apstrakciju u AI + XR: korisnik, svijet, sučelje, AI i agenti. Ključno je, dizajniran je s misijom ubrzati brzo prototipiranje perceptivnih AI + XR aplikacija. Zasnovan na pristupačnim tehnologijama (WebXR, threejs, LiteRT, Gemini), naš alatni skup snižava prag ulaska za XR kreatore. Demonstiramo njegovu korist kroz skup otvorenih predložaka, uživo demo i izvorni kod na GitHubu, s ciljem da omogućimo zajednici da brzo pređu od koncepata do interaktivnih prototipova.

Možete pronaći pregled ovih mogućnosti u našem smjernom papiru i teaser videu. Pogledajte film Link to Youtube Video Uvodni video XR Blocks.

Principi dizajna

Naše arhitektonske i API dizajnerske odredbe vodite se tri principa:

Uvjetuj jednostavnost i čitljivost

Uspjeh je u detaljima. Inspiracija dolazi iz Pythonovog Zena, prioritetiziramo čiste, ljudski čitljive apstrakcije. Skripta programera bi trebala glasiti kao visoko-nivo opis željenog iskustva. Jednostavne zadatke treba lako implementirati, a složene logike ostati eksplicitne i razumljive.

Prioritetizirajte iskustvo kreatora

Naš glavni cilj je učiniti autorstvo pametnih i perceptivnih XR aplikacija što glatkim mogućim. Vjerujemo da kreatori trebaju fokusirati na korisničko iskustvo, a ne na niskorazinu “vodovodnu” logiku fuzije senzora, integracije AI modela ili logiku interakcije s više platformi.

Pragmatizam nad potpunošću

Slijedimo dizajnerski filozofiju pragmatizma, jer su polja AI i XR u brzom razvoju. Kompletan, složen okvir koji pokušava biti savršen bit će zastario prilikom objave. Preferiramo jednostavnu, modularnu i prilagodljivu arhitekturu koja radi na stolnim i Android XR uređajima za širok raspon aplikacija.

XR Blocks okvir

Nazivamo se inspiriranim Visual Blocks za ML i InstructPipe, dizajnirali smo XR Blocks okvir da pruži visokorazinu, ljudsko-centriranu apstrakciju koja odvajaju što je interakcija (označena kao Skripta, opisano više dolje) od načina niskorazinog implementiranja. XR Blocks ubrzava prototipiranje real-time AI + XR aplikacija na stolnim simulatorima i Android XR uređajima.

Primjeri:

(a) XR Realnost: Prototypujte dubinsko-svjesne, fizikalno-pokrivene interakcije u simulaciji i implementirajte isti kod u stvarni XR uređaji.

(b) XR Interakcije: Glatko integrirajte prilagođene modela pokreta na stolni simulator i na-uređaj XR implementaciju.

(c) AI + XR Integracija: Izgradite pametne, kontekstno-svjesne asistente, poput Sensible Agent prototipa koji pruža proaktivne prijedloge s neprimjetnim interakcijama.

Apstrakcije

Predlažemo novi Model Realnosti sastavljen od visokorazinskih apstrakcija da bi vodio implementaciju XR Blocks okvira. U suprotnosti s Modelom Svijeta dizajniranim za krajnje nesupervizirano treniranje, naš Model Realnosti sastoji se od zamjenjivih modula za XR interakciju. U srcu našeg dizajna je Skripta, narativni i logički centar aplikacije. Skripta djeluje na šest prvih klasa primitiva (opisano i vizualizirano dolje):

Korisnik i fizički svijet:

Naš model je centriran na Korisnika, koji uključuje ruke, pogled i avatar. Fizički svijet dopušta Skripti da upita osjetnu stvarnost kao što su dubina (demo), procijenjeno osvjetljenje (demo) i predmeti (demo).

Virtualna sučelja i kontekst:

Model proširuje mješovitu stvarnost s virtualnim UI elementima, od 2D panela (demo) do potpuno 3D resursa (demo). Percepcijski cjevovod analizira kontekst okoline, aktivnosti i povijesti interakcija. Primjer aplikacije možete pronaći u S Odgovori.

FAQ

Koje su prednosti XR Blocks?

XR Blocks pruža modularnu arhitekturu s priključivim komponentama za osnovnu apstrakciju u AI + XR. To ubrzava brzo prototipiranje perceptivnih AI + XR aplikacija i snižava prag ulaska za XR kreatore.

Može li XR Blocks raditi na svim XR uređajima?

XR Blocks radi na stolnim simulatorima i Android XR uređajima, pružajući širok raspon aplikacija.

Je li XR Blocks besplatan?

Da, XR Blocks je otvoreni okvir i besplatan za korištenje. Možete pronaći izvorni kod na GitHubu.

Koje su primjene XR Blocks?

XR Blocks se može koristiti za razvoj immersivnih iskustava na webu, s naglaskom na realnost XR, interakcije u XR i aplikacije AI + XR. Primjeri uključuju dubinsko-svjesne, fizikalno-pokrivene interakcije, prilagođene modela pokreta i pametne, kontekstno-svjesne asistente.

Kako mogu početi s XR Blocks?

Možete početi s XR Blocks preuzimanjem izvornog koda s GitHuba i slijedeći upute u dokumentaciji. Također, pružamo skup otvorenih predložaka, uživo demo i video uvod za brzo učenje.