U posljednje tri godine, chatboti poput ChatGPT-a i Claude-a doživjeli su nevjerojatan porast popularnosti zbog svoje sposobnosti da pomažu u raznim zadacima. Bilo da pišete sonete u stilu Shakespearea, ispravljate kod ili tražite odgovor na neobično trivia pitanje, čini se da sustavi umjetne inteligencije pokrivaju sve vaše potrebe. Izvor ove svestranosti? Milijarde, pa čak i trilijuni tekstualnih podataka dostupnih na internetu.
Međutim, ti podaci nisu dovoljni da robotu omoguće da postane koristan pomoćnik u kućanstvu ili tvornici. Da bi razumjeli kako rukovati, slagati i postavljati različite aranžmane objekata u raznim okruženjima, robotima su potrebne demonstracije. Možete zamisliti podatke za obuku robota kao zbirku video uputa koje ih vode kroz svaki korak zadatka. Prikupljanje ovih demonstracija na stvarnim robotima je dugotrajno i ne može se savršeno ponoviti, stoga su inženjeri stvorili podatke za obuku generiranjem simulacija pomoću umjetne inteligencije (koje često ne odražavaju stvarnu fiziku) ili mukotrpnim ručnim oblikovanjem svakog digitalnog okruženja od nule.
Istraživači iz MIT-ovog Laboratorija za računalne znanosti i umjetnu inteligenciju (CSAIL) i Toyota Research Institute možda su pronašli način za stvaranje raznolikih, realističnih trening okruženja koja robotima trebaju. Njihov pristup “usmjerivo generiranje scena” stvara digitalne scene poput kuhinja, dnevnih boravaka i restorana koje inženjeri mogu koristiti za simulaciju mnogih interakcija i scenarija iz stvarnog života. Ova metoda je obučena na više od 44 milijuna 3D prostorija ispunjenih modelima objekata poput stolova i tanjura, a alat smješta postojeće resurse u nove scene, zatim svaku od njih usavršava u fizički točno, životno okruženje.
Usmjerivo generiranje scena stvara ove 3D svjetove “usmjeravanjem” difuzijskog modela — AI sustava koji generira vizual iz nasumične buke — prema sceni koju biste mogli pronaći u svakodnevnom životu. Istraživači su koristili ovaj generativni sustav za “popunjavanje” okruženja, dodajući određene elemente kroz scenu. Možete zamisliti prazno platno koje se iznenada pretvara u kuhinju razbacanu 3D objektima, koji se postupno preuređuju u scenu koja imitira stvarnu fiziku. Na primjer, sustav osigurava da vilica ne prolazi kroz zdjelu na stolu — uobičajena greška u 3D grafici poznata kao “preklapanje”, gdje se modeli preklapaju ili međusobno isprepliću.
Kako funkcionira usmjerivo generiranje scena?
Način na koji usmjerivo generiranje scena vodi svoju kreaciju prema realističnosti ovisi o strategiji koju odaberete. Njegova glavna strategija je “Monte Carlo pretraživanje stabla” (MCTS), gdje model stvara niz alternativnih scena, ispunjavajući ih na različite načine prema određenom cilju (poput povećanja fizičke realističnosti scene ili uključivanja što više jestivih predmeta). Ova strategija koristi se i u AI programu AlphaGo koji pobjeđuje ljudske protivnike u igri Go (slična šahu), dok sustav razmatra potencijalne sekvence poteza prije nego što odabere najpovoljniji.
“Mi smo prvi koji primjenjuju MCTS na generiranje scena, oblikujući zadatak generiranja scena kao proces donošenja odluka”, kaže doktorand MIT-a iz Odjela za elektrotehniku i računalne znanosti (EECS) Nicholas Pfaff, koji je istraživač u CSAIL-u i vodeći autor na radu koji predstavlja ovo istraživanje. “Neprestano gradimo na djelomičnim scenama kako bismo tijekom vremena proizveli bolje ili poželjnije scene. Kao rezultat toga, MCTS stvara scene koje su složenije od onoga na čemu je difuzijski model bio obučen.”
U jednom posebno ilustrativnom eksperimentu, MCTS je dodao maksimalan broj objekata u jednostavnu restoran scenu. Na stolu se našlo čak 34 predmeta, uključujući velike hrpe jela dim suma, nakon što je trenirao na scenama s prosječno samo 17 objekata.
Generiranje raznolikih trening scenarija
Usmjerivo generiranje scena također omogućuje generiranje raznolikih trening scenarija putem učenja pojačanjem — u osnovi, podučavanje difuzijskog modela da ispuni cilj putem pokušaja i pogrešaka. Nakon što se obučite na početnim podacima, vaš sustav prolazi kroz drugu fazu obuke, gdje definirate nagradu (u osnovi, željeni ishod s ocjenom koja pokazuje koliko ste blizu tom cilju). Model automatski uči stvarati scene s višim ocjenama, često proizvodeći scenarije koji su prilično različiti od onih na kojima je bio obučen.
Korisnici također mogu izravno potaknuti sustav unosom specifičnih vizualnih opisa (poput “kuhinja s četiri jabuke i zdjelom na stolu”). Tada usmjerivo generiranje scena može oživjeti vaše zahtjeve s preciznošću. Na primjer, alat je točno slijedio korisničke upute u 98 posto slučajeva kada je gradio scene polica s namirnicama, i 86 posto za neuredne stolove za doručak. Ove brojke predstavljaju poboljšanje od najmanje 10 posto u odnosu na usporedive metode poput “MiDiffusion” i “DiffuScene.”
Sustav također može dovršiti specifične scene putem poticaja ili laganih uputa (poput “dođite do drugačijeg rasporeda scene koristeći iste objekte”). Na primjer, mogli biste ga zamoliti da postavi jabuke na nekoliko tanjura na kuhinjskom stolu ili da stavi društvene igre i knjige na policu. U suštini, to je “popunjavanje praznine” smještanjem predmeta u prazne prostore, ali uz očuvanje ostatka scene.
Prednosti i izazovi usmjerivog generiranja scena
Prema istraživačima, snaga njihovog projekta leži u sposobnosti stvaranja mnogih scena koje robotičari zapravo mogu koristiti. “Ključni uvid iz naših otkrića je da je u redu da scene na kojima smo prethodno trenirali ne izgledaju točno kao scene koje zapravo želimo”, kaže Pfaff. “Koristeći naše metode usmjeravanja, možemo ići izvan te široke distribucije i uzimati uzorke iz ‘bolje’.” Drugim riječima, generiranje raznolikih scena omogućuje robotima da se bolje pripreme za stvarne situacije.
Zaključak
Usmjerivo generiranje scena predstavlja značajan korak naprijed u razvoju robota koji mogu učinkovito raditi u raznim okruženjima. Ova tehnologija ne samo da omogućuje stvaranje realističnih simulacija, već i diverzificira trening scenarije, čime se povećava sposobnost robota da se prilagode i obavljaju zadatke u stvarnom svijetu. Kako se tehnologija nastavlja razvijati, možemo očekivati još naprednije metode koje će dodatno poboljšati obuku robota i njihovu primjenu u svakodnevnom životu.
Česta pitanja (FAQ)
Što je usmjerivo generiranje scena?
Usmjerivo generiranje scena je metoda koja koristi umjetnu inteligenciju za stvaranje digitalnih scena koje simuliraju stvarne interakcije i okruženja, omogućujući robotima da se bolje obučavaju.
Kako se koristi Monte Carlo pretraživanje stabla u ovoj tehnologiji?
Monte Carlo pretraživanje stabla (MCTS) koristi se za generiranje alternativnih scena, pomažući modelu da odabere najpovoljnije opcije za postizanje željenog cilja.
Koje su prednosti usmjerivog generiranja scena za robote?
Prednosti uključuju stvaranje raznolikih i realističnih trening okruženja, poboljšanje sposobnosti robota da se prilagode različitim situacijama i povećanje učinkovitosti u izvršavanju zadataka.
Kako korisnici mogu utjecati na generiranje scena?
Korisnici mogu izravno utjecati na generiranje scena unosom specifičnih vizualnih opisa, čime se omogućuje precizno oblikovanje željenih okruženja.
Koje su buduće perspektive za ovu tehnologiju?
Kako se tehnologija nastavlja razvijati, očekuje se daljnje poboljšanje u metodama obuke robota, što će omogućiti još sofisticiranije i prilagodljivije sustave.
