Kada čovjek pogleda kartu trgovačkog centra, tematskog parka ili postaje podzemne željeznice, gotovo trenutačno obrađuje vizualne informacije. Mozak bez napora prepoznaje naš trenutni položaj, tumači linije kao zidove ili staze te iscrtava najučinkovitiji put do željenog odredišta. Ova vještina, poznata kao fino prostorno rasuđivanje, ljudima je urođena. Međutim, čak i najnapredniji višemedijski jezični modeli (MLLM-ovi), unatoč sposobnosti opisivanja sadržaja slike, i dalje se iznenađujuće teško nose sa zadatkom razumijevanja složenih geometrijskih i topoloških odnosa koji definiraju prostor kojim se može kretati.
Tipičan MLLM možda će uspješno identificirati fotografiju zoološkog vrta i nabrojiti životinje koje se na njoj nalaze, ali ako ga se zamoli da iscrta put od ulaza do određenog staništa, vjerojatno će zanemariti ograničenja karte, povlačeći liniju kroz izložbeni prostor ili suvenirnicu. Ovaj jaz naglašava značajno ograničenje: suvremena umjetna inteligencija izvrsna je u prepoznavanju objekata, ali često zataji u prostornoj navigaciji. Kako bi se riješio taj problem, predstavljen je MapTrace, novi okvir i skup podataka osmišljeni za podučavanje MLLM-ova preciznom iscrtavanju ruta na kartama. Korištenjem sintetičkih podataka, ovaj projekt pokazuje da se prostorna inteligencija može izričito podučiti modelima, čak i kada ona nije njihova urođena sposobnost.
Izazov nedostatka podataka u prostornoj umjetnoj inteligenciji
Glavni razlog zašto modeli umjetne inteligencije imaju poteškoća s praćenjem ruta jest nedostatak odgovarajuće podloge. MLLM-ovi uče iz goleme količine podataka, gdje se riječ “put” može povezati sa slikama staza ili nogostupa. Međutim, rijetko nailaze na podatke koji objašnjavaju “prostornu gramatiku” navigacije – pravila koja nalažu da put mora imati povezanost, da postoje prepreke i da je ruta niz povezanih točaka. Ručno bi trebalo označiti milijune putova na kartama s preciznošću na razini piksela, što je iznimno dugotrajan i praktički neizvediv zadatak.
Bez takvih podataka, model ne može naučiti razliku između prolaska kroz zid i prolaska kroz otvor. Stoga, iako može prepoznati da se na karti nalazi zoološki vrt i nabrojiti životinje, ne može pravilno iscrtati put od ulaza do određenog staništa, često prolazeći kroz izložbene prostore ili prodavaonice.
Sintetički podaci kao rješenje za učenje prostornog rasuđivanja
Rješenje leži u generiranju sintetičkih podataka – umjetno stvorenih karata i pripadajućih putanja koje se mogu proizvesti u velikim količinama i s potpunom kontrolom nad detaljima. Istraživači su razvili okvir nazvan MapTrace, koji kombinira generiranje karata, automatsko označavanje putova i učenje modela na tim podacima. Na taj način modelu se izričito pokazuje kako izgleda ispravna ruta, koje su prepreke i kako ih treba izbjegavati.
Glavne prednosti korištenja sintetičkih podataka su:
- Skalabilnost: Moguće je proizvesti milijune različitih scenarija bez potrebe za dodatnim ljudskim radom.
- Raznolikost: Kartografski stilovi, veličine prostora i vrste prepreka mogu se mijenjati prema potrebi, osiguravajući obuku na širokom spektru situacija.
- Preciznost oznaka: Svaka točka na putu precizno je definirana, što omogućuje modelu da uči iz savršeno označenih primjera.
- Kontrola složenosti zadatka: Moguće je postupno uvoditi sve složenije situacije, od jednostavnih hodnika do zamršenih mreža ulica, čime se osigurava postupno usvajanje vještina.
MapTrace: Okvir za poboljšanje prostorne inteligencije AI
MapTrace nije samo skup podataka, već cjeloviti okvir koji obuhvaća tri ključne komponente: generiranje sintetičkih karata, automatsko označavanje putova i obuku modela. Proces započinje stvaranjem raznolikih karata koje simuliraju stvarne prostore, od jednostavnih do složenih. Nakon gener