MIT istraživači “govorom stvaraju predmete” koristeći AI i robotiku

Generativna umjetna inteligencija i robotika sve više nas približavaju danu kada ćemo moći zatražiti predmet i da se on stvori unutar nekoliko minuta. Stvarno, MIT istraživači su razvili sustav govor-u-realnost, AI-om vođen radni tok koji im omogućuje unos podataka u robotsku ruku i “govorom stvarati predmete”, stvarajući stvari poput namještaja za samo pet minuta. … sustav govor-u-realnost, robotska ruka postavljena na stol je u stanju primiti govorni unos od čovjeka, kao što je “Želim jednostavnu stolicu”, a zatim konstruirati predmete od modularnih komponenti. Do sada su istraživači koristili ovaj sustav za izradu stolica, polica, stolaca, male stolice i čak dekorativnih predmeta kao što je kip psa.

“Povezujemo obradu prirodnog jezika, 3D generativnu AI i robotsku montagu,” kaže Alexander Htet Kyaw, student diplomskog studija na MIT-u i Morningside Academy for Design (MAD). “To su brzo napredujuća područja istraživanja koja nisu prije bila spojena na način da se mogu stvarati fizički predmeti samo iz jednostavnog govornog podsticaja.” … ideja je počela kada je Kyaw — student diplomskog studija na odjelima Arhitektura i Elektrotehnika i računarstvo — pohađao predavanja profesora Neila Gershenfelda, “Kako napraviti skoro sve.” Na tom je predavanju izgradio govor… sustav. Nastavio je raditi na projektu u MIT Center for Bits and Atoms (CBA), kojeg vodi Gershenfeld, surađujući s diplomcima studija Se Hwan Jeonom s Odjela za mehanički inženjering i Miana Smithom s CBA.

Sustav govor-u-realnost počinje s prepoznavanjem govora koji obrađuje korisnikov zahtjev pomoću velikog modela jezika, zatim 3D generativna AI koja stvara digitalnu mrežu predstavljanja predmeta i algoritam voxelizacije koji razlaže 3D mrežu u komponente za montagu.

Nakon toga, geometrijska obrada mijenja AI-generiranu montagu da bi se računalo o izradi i fizičkim ograničenjima povezanim s stvarnim svijetom, kao što su broj komponenti, preklapanja i povezanost geometrije. To je zatim slijedilo stvaranje moguće sekvence montage i automatizirano planiranje putanje za robotsku ruku da montira fizičke predmete iz korisnikovih podsticaja.

Iskoristivši prirodni jezik, sustav čini dizajn i proizvodnju pristupačnijima ljudima bez stručnosti u 3D modeliranju ili robotskom programiranju. I, za razliku od 3D printanja, koje može potrajati sate ili dani, ovaj sustav gradi unutar minuta.

“Ovaj projekt je sučelje između ljudi, AI i robota za ko-kreiranje svijeta oko nas,” kaže Kyaw. “Zamislite scenarij gdje reknete ‘Želim stolac’ i unutar pet minuta fizički stolac se materializira pred vama.”

Tim ima odmah planove za poboljšanje nosivosti namještaja mijenjanjem načina povezivanja kocki s magneta na jače veze. Također su razvili cijevi za pretvaranje voxel struktura u moguće sekvence montage za male, distribuirane mobilne robote, što bi moglo pomoći u prevođenju ovog rada na strukture bilo kojeg veličinskog razmjera,” kaže Smith.

Svrha korištenja modularnih komponenti jest eliminirati otpad koji se nastaje pri izradi fizičkih predmeta raspadom i zatim ponovnom montagom u nešto drugo, na primjer pretvaranjem sofa u krevet kada više ne trebate sofa.

Jer Kyaw također ima iskustvo korištenja prepoznavanja pokreta i proširenoj stvarnosti za interakciju s robotima u procesu izrade, trenutačno radi na uklapanju i govornog i pokretnog kontrole u sustav govor-u-realnost.

Uspravivši se na svoje sjećanje na replikator u franšizi “Star Trek” i robote u animiranom filmu “Big Hero 6,” Kyaw objašnjava svoju viziju.

“Želim povećati pristup ljudima za izradu fizičkih predmeta na brz, pristupačan i održiv način,” kaže. “Radim na budućnosti gdje je sam esencija tvari u vašem kontroli. Jedan gdje se realnost može generirati po zahtjevu.”

Tim je predstavio svoj članak “Speech to Reality: On-Demand Production using Natural Language, 3D Generative AI, and Discrete Robotic Assembly” na simpoziju Association for Computing Machinery (ACM) Symposium on Computational Fabrication (SCF ’25) održanom na MIT-u 21. studenoga.

Kako sustav govor-u-realnost funkcionira

Sustav govor-u-realnost se sastoji od nekoliko ključnih koraka koji ga čine funkcionalnim. Prvo, sustav koristi prepoznavanje govora da bi obradio korisnikov zahtjev pomoću velikog modela jezika. Ovaj model je treniran na ogromnim količinama teksta kako bi razumio i interpretirao prirodni jezik.

Nakon toga, 3D generativna AI stvara digitalnu mrežu predstavljanja predmeta na temelju korisnikovog zahtjeva. Ovaj korak je ključan jer omogućuje sustavu da vizualizira predmet prije nego što se počne izvoditi.

Sljedeći korak je voxelizacija, algoritam koji razlaže 3D mrežu u manje komponente ili voxel-e. Ovo je važno jer omogućuje robotskoj ruki da precizno montira predmet iz modularnih komponenti.

Nakon toga, geometrijska obrada mijenja AI-generiranu montagu da bi se računalo o izradi i fizičkim ograničenjima. Ovo uključuje promjenu broja komponenti, preklapanja i povezanosti geometrije kako bi se osiguralo da je montaga moguća.

Zatim se stvara moguća sekvenca montage i automatizirano planiranje putanje za robotsku ruku. Ovo omogućuje robotskoj ruki da precizno montira predmet iz korisnikovih podsticaja.

Na kraju, robotska ruka izvršava montagu i stvara fizički predmet. Ovaj proces može potrajati samo nekoliko minuta, što ga čini mnogo bržim od tradicionalnih metoda izrade.

Primjeri predmeta stvorenih pomoću sustava govor-u-realnost

Sustav govor-u-realnost je već korišten za izradu različitih predmeta. Istraživači su koristili ovaj sustav za izradu stolica, polica, stolaca, male stolice i čak dekorativnih predmeta kao što je kip psa. Ovi predmeti su izgrađeni iz modularnih komponenti koje su lako raspoređene i montirane.

Osim namještaja, sustav je također korišten za izradu drugih predmeta. Na primjer, istraživači su koristili ovaj sustav za izradu male stolice koja je izgrađena iz samo nekoliko modularnih komponenti. Ova stolica je izgrađena unutar nekoliko minuta, što je mnogo brže od tradicionalnih metoda izrade.

Sustav je također korišten za izradu dekorativnih predmeta. Na primjer, istraživači su koristili ovaj sustav za izradu kipa psa koji je izgrađen iz samo nekoliko modularnih komponenti. Ovaj kip je izgrađen unutar nekoliko minuta, što je mnogo brže od tradicionalnih metoda izrade.

Prednosti i nedostaci sustava govor-u-realnost

Sustav govor-u-realnost ima mnoge prednosti. Najvažnija prednost je brzina izrade. Ovaj sustav može izgraditi predmet unutar nekoliko minuta, što ga čini mnogo bržim od tradicionalnih metoda izrade. Također, sustav čini dizajn i proizvodnju pristupačnijima ljudima bez stručnosti u 3D modeliranju ili robotskom programiranju.

Međutim, sustav također ima neke nedostatke. Najvažniji nedostatak je ograničena veličina predmeta koji se može izgraditi. Ovaj sustav trenutno može izgraditi predmete do određene veličine, ali ne i veće predmete. Također, sustav može biti skup za izradu, što ga čini nedostupnim za neke korisnike.

Budućnost sustava govor-u-realnost

Sustav govor-u-realnost ima veliku budućnost. Istraživači na MIT-u nastavljaju raditi na poboljšanju ovog sustava i proširenju njegovih mogućnosti. Na primjer, istraživači planiraju poboljšati nosivost namještaja mijenjanjem načina povezivanja kocki s magneta na jače veze.

Također, istraživači planiraju razviti cijevi za pretvaranje voxel struktura u moguće sekvence montage za male, distribuirane mobilne robote. Ovo bi moglo pomoći u prevođenju ovog rada na strukture bilo kojeg veličinskog razmjera.

Na kraju, istraživači planiraju uklopiti i govorni i pokretni kontrolu u sustav govor-u-realnost. Ovo bi moglo omogućiti korisnicima da interagiraju s sustavom na više načina, što bi moglo poboljšati njegovu funkcionalnost.

Zaključak

Sustav govor-u-realnost predstavlja revolucionarni napredak u području umjetne inteligencije i robotike. Ovaj sustav omogućuje korisnicima da zatraže predmet i da se on stvori unutar nekoliko minuta, što ga čini mnogo bržim od tradicionalnih metoda izrade. Također, sustav čini dizajn i proizvodnju pristupačnijima ljudima bez stručnosti u 3D modeliranju ili robotskom programiranju.

Međutim, sustav također ima neke nedostatke. Najvažniji nedostatak je ograničena veličina predmeta koji se može izgraditi. Ovaj sustav trenutno može izgraditi predmete do određene veličine, ali ne i veće predmete. Također, sustav može biti skup za izradu, što ga čini nedostupnim za neke korisnike.

Iako ima nedostataka, sustav govor-u-realnost ima veliku budućnost. Istraživači na MIT-u nastavljaju raditi na poboljšanju ovog sustava i proširenju njegovih mogućnosti. Na primjer, istraživači planiraju poboljšati nosivost namještaja mijenjanjem načina povezivanja kocki s magneta na jače veze.

Također, istraživači planiraju razviti cijevi za pretvaranje voxel struktura u moguće sekvence montage za male, distribuirane mobilne robote. Ovo bi moglo pomoći u prevođenju ovog rada na strukture bilo kojeg veličinskog razmjera.

Na kraju, istraživači planiraju uklopiti i govorni i pokretni kontrolu u sustav govor-u-realnost. Ovo bi moglo omogućiti korisnicima da interagiraju s sustavom na više načina, što bi moglo poboljšati njegovu funkcionalnost.

Česta pitanja

Koliko dugo traje izrada predmeta pomoću sustava govor-u-realnost?

Izrada predmeta pomoću sustava govor-u-realnost traje samo nekoliko minuta. Ovaj sustav može izgraditi predmet unutar nekoliko minuta, što ga čini mnogo bržim od tradicionalnih metoda izrade.

Koji su predmeti koji se mogu izgraditi pomoću sustava govor-u-realnost?

Sustav govor-u-realnost može izgraditi različite predmete, uključujući namještaj, male stolice i dekorativne predmete. Istraživači su koristili ovaj sustav za izradu stolica, polica, stolaca, male stolice i čak dekorativnih predmeta kao što je kip psa.

Je li sustav govor-u-realnost skup za izradu?

Sustav govor-u-realnost može biti skup za izradu, što ga čini nedostupnim za neke korisnike. Međutim, istraživači na MIT-u nastavljaju raditi na poboljšanju ovog sustava i smanjenju njegovih troškova.

Može li sustav govor-u-realnost izgraditi veće predmete?

Sustav govor-u-realnost trenutno može izgraditi predmete do određene veličine, ali ne i veće predmete. Istraživači na MIT-u nastavljaju raditi na proširenju mogućnosti ovog sustava i omogućavanju izrade većih predmeta.

Može li sustav govor-u-realnost interagirati s korisnicima na više načina?

Sustav govor-u-realnost trenutno koristi samo govorni unos za interakciju s korisnicima. Međutim, istraživači na MIT-u planiraju uklopiti i pokretni kontrolu u sustav govor-u-realnost. Ovo bi moglo omogućiti korisnicima da interagiraju s sustavom na više načina, što bi moglo poboljšati njegovu funkcionalnost.