Vizualni podaci u razini ulice postali su neizostavan dio naše svakodnevice. Zahvaljujući njima, turisti mogu istraživati hotele iz daljine, dostavljači potvrđivati lokacije isporuke, a urbanisti analizirati širinu nogostupa bez napuštanja ureda. Međutim, za 285 milijuna ljudi diljem svijeta koji su slijepi ili slabovidni, ove bogate vizualne baze podataka ostaju uglavnom nedostupne. Standardni čitači zaslona ne mogu obraditi panoramske snimke, a opisni tekstovi (alt text) često izostaju. Googleov novi prototip, StreetReaderAI, nastoji premostiti taj jaz. Spajanjem multimodalne umjetne inteligencije temeljene na Gemini modelu s intuitivnim kontrolama za navigaciju, pretvara Google Street View u iskustvo koje prioritet daje zvuku i omogućuje konverzacijsko istraživanje.
Zašto je Google Street View trebao temeljitu prilagodbu pristupačnosti?
Google Street View obuhvaća više od 220 milijardi slika iz 110 zemalja i teritorija. Dok korisnici s dobrim vidom lako pregledavaju ulice, slijepe osobe ne mogu unaprijed pregledati rutu, identificirati znamenitosti ili procijeniti ima li autobusna stanica nadstrešnicu. Tradicionalna rješenja, poput dodavanja opisnog teksta svakoj slici, neizvediva su u ovakvom opsegu. StreetReaderAI, s druge strane, generira opise u stvarnom vremenu samo kada je to potrebno, uzimajući u obzir lokaciju i trenutno vidno polje korisnika. Ovaj sustav razvijan je iterativno, uz sudjelovanje slijepih i slabovidnih istraživača pristupačnosti, te crpi pouke iz audio igara poput ‘Shades of Doom’ i navigacijskih aplikacija kao što su ‘BlindSquare’ i ‘SoundScape’.
Ključne mogućnosti prototipa StreetReaderAI
StreetReaderAI nudi tri glavne funkcionalnosti koje ga čine revolucionarnim alatom:
- Opisi scena u stvarnom vremenu: Dok se korisnik „kreće“ i „gleda“ oko sebe, Gemini model integrira geografske podatke sa slikom iz Street Viewa kako bi opisao što se nalazi ispred, sa strane ili iza korisnika.
- Konverzacijski AI agent: Korisnici mogu postavljati pitanja slobodnim oblikom, poput „Ima li ovdje pješački prijelaz?“, i dobivati trenutačne, kontekstualno relevantne odgovore.
- Prilagođeno kretanje: Pomoću tipki sa strelicama, glasovnih naredbi ili njihove kombinacije, korisnici mogu pomicanjem kamere, koračanjem naprijed, skakanjem ili teleportacijom istraživati prostor bez potrebe za vidom.
Kako funkcionira AI opisivač scena?
Podsustav AI opisivača djeluje poput vodiča na zahtjev. Prima statički upit (fokusiran na navigaciju ili turizam), neobavezni kontekstualni unos i trenutnu lokaciju korisnika. Zatim koristi Gemini model kako bi analizirao panoramsku sliku i generirao detaljan, ali sažet opis okoline. Ovaj opis uključuje ključne elemente poput zgrada, prometnih znakova, pješačkih prijelaza, pa čak i potencijalnih opasnosti ili zanimljivosti. Cilj je pružiti korisniku dovoljno informacija kako bi se mogao sigurno i samostalno kretati te steći dojam o lokaciji.
Budućnost pristupačnog istraživanja
StreetReaderAI predstavlja značajan korak naprijed u osiguravanju digitalne pristupačnosti. Omogućujući slijepim i slabovidnim osobama da istraže svijet putem Google Street Viewa na način koji im je prilagođen, otvara nove mogućnosti za neovisnost, putovanja i sudjelovanje u društvu. Iako je još uvijek u fazi prototipa, potencijal ovog alata je golem. Može se zamisliti njegova primjena u obrazovanju, pri planiranju putovanja ili čak kao pomoć u svakodnevnom snalaženju u nepoznatom okruženju. Google nastavlja s razvojem i usavršavanjem tehnologije, s nadom da će ovakvi alati postati standard u budućnosti digitalnih interakcija.
Često postavljana pitanja (FAQ)
Pitanje 1: Je li StreetReaderAI dostupan za javnu upotrebu?
Trenutno je StreetReaderAI u fazi prototipa i nije javno dostupan. Google Research radi na daljnjem razvoju i testiranju.
Pitanje 2: