Uvod u interaktivnu segmentaciju na uređaju u Snapseedu

U svibnju 2025. godine, Ben Hahn i Florian Kübler, inženjeri softvera u Google Cloudu, predstavili su novu mobilnu tehnologiju koja omogućuje real-time segmentaciju slika, poboljšavajući korisničko iskustvo pri uređivanju fotografija unutar aplikacije Snapseed. Ova inovacija rješava problem koji je dugo vremena bio izuzetno frustrirajući i složen: precizno odvajanje specifičnih elemenata slika.

Kako Snapseed mijenja uređivanje fotografija

Snapseed je aplikacija za uređivanje fotografija koja je postigla milione preuzimanja, a sada je na putu da postane još bolja. Novost u Snapseedu je alat za uređivanje objekata, koji omogućuje intuitivno uređivanje slika na uređajima s iOS operativnim sustavom. Ovaj alat, nazvan Object Brush, nalazi se u sekciji “Adjust” (Uredi) i omogućuje korisnicima da jednostavno nacrtaju liniju na objekt koji žele urediti, a zatim ga prilagode kako žele, odvojene od ostatka slike.

Kako Object Brush radi

Object Brush je pokretan moćnim AI modelom nazvanim Interactive Segmenter, koji se potpuno izvodi na uređaju. S jednostavnim pokretom prsta — samo dodir ili brzo crtanje linije — korisnik može odabrati objekt ili osobu u kadru. Model će tada odmah detektirati i odabrati cijeli objekt ili osobu, u manje od 20 milisekundi. Model generira masku za objekt, koja točno odgovara njegovim granicama, bilo da je to osoba, kućni ljubimac ili oblaci na nebu. Ova real-time povratna informacija omogućuje korisniku da refinira odabir na letu, lako dodajući ili oduzimajući područja dok ne bude savršeno. Cijeli proces je pokretan GPU akceleracijom MediaPipe i LiteRT, što omogućuje brz i glatki korisnički doživljaj.

Primjeri uporabe Object Brusha

Object Brush može se koristiti za razne namjene, od poboljšavanja portreta do kreiranja fantastičnih vizualnih efekata. Na primjer, možete poboljšati izraz lica osobe u pozadini, promijeniti boju odjeće ili čak ukloniti nepotrebne elemente iz slike. Sada je uređivanje slika više nego ikad dostupno, zabavno i precizno, sve dok se izvodi na vašem vlastitom uređaju.

Kako je Interactive Segmenter razvijen

Interactive Segmenter je dizajniran kao univerzalni model segmentacije, ne ograničen na određene klase objekata ili scena. Da bi izbjegli potrebu za anotiranjem velikih količina podataka kako bi pokrili sve područja, pratili smo Big Transfer pristup i koristili generalni pretrenirani kodirač slika za pseudo-annotaciju kako bi dopunili male količine ručno anotiranih slika.

Učenje Interactive Segmentera

Počeli smo s pretreniranim i visoko generalizabilnim modelom, koji je finetuniran za interaktivnu segmentaciju. Uzorkovali smo primjere za više od 350 različitih kategorija objekata i zatražili od anotatora da precizno anotiraju maske objekata s pixel-perfect kvalitetom. Kroz ovaj proces dobili smo oko 30.000 visokokvalitetnih maski slika za ove kategorije. Dok su ovi podaci bili nedovoljni za direktno treniranje malog mobilnog modela, veliki pretrenirani modeli su uspješno finetunirani na ovim podacima kako bi predvidjeli maske visokog točnosti. Koristeći ovaj skup podataka trenirali smo interaktivni model segmentacije, koji nazivamo “Interactive Segmenter: Teacher”.

Distilacija znanja

Interactive Segmenter: Teacher proizvodi visokokvalitetne maske segmentacije; međutim, njegova brzina i veličina ometaju njenu upotrebu u scenarijima na uređaju. Da bismo riješili ovaj problem, razvili smo “Interactive Segmenter: Edge”, specijalizirani model prilagođen za upotrebu na uređajima, koristeći znanje distilirano iz originalnog modela Interactive Segmenter: Teacher.

Distilacija je proces prenošenja znanja iz jednog modela u drugi, a u ovom slučaju, iz Interactive Segmenter: Teacher u Interactive Segmenter: Edge. Mali model na uređaju ima ograničene mogućnosti generalizacije, a 30.000 anotiranih slika koje smo koristili za finetuning nisu dovoljne za treniranje novog modela. Istovremeno, mala veličina modela neće donijeti značajne dobiti od pretreniranja na različitim domenama ili zadacima. Da bismo prenijeli znanje iz Interactive Segmenter: Teacher u Interactive Segmenter: Edge, trebali smo milijune slika i realističnih podsticaja za raznovrsne kategorije objekata. Koristili smo veliki, slabije anotirani skup podataka, koji sadrži preko 2 milijuna slika s maskama za stotine različitih kategorija. Interactive Segmenter: Edge daje sličan kvalitet kao Interactive Segmenter: Teacher za fiksni ulazni podsticaj, mjeren prema metrici IOU (intersection over union).

Zaključak

Interaktivna segmentacija na uređaju u Snapseedu predstavlja revoluciju u svijetu uređivanja fotografija. Object Brush i Interactive Segmenter omogućuju korisnicima da precizno i intuitivno uređuju objekte na sliku, sve dok se cijeli proces odvija na njihovom uređaju. Ova inovacija čini uređivanje slika više nego ikad dostupnim, zabavnim i preciznim, a sve to u realnom vremenu. Snapseed nastavlja da se razvija i poboljšava, pružajući korisnicima još više alata za kreiranje savršenih fotografija.

Česta pitanja

Koji uređaji podržavaju Object Brush?

Object Brush trenutno podržava iOS uređaje. Planiramo proširiti podršku na druge platforme u budućim ažuriranjima.

Možem li koristiti Object Brush za uređivanje video zapisa?

Trenutno, Object Brush je dizajniran za uređivanje statičnih slika. Uređivanje video zapisa nije podržano u ovoj verziji alata.

Koliko je brzo Interactive Segmenter?

Interactive Segmenter je izuzetno brz. Može detektirati i odabrati cijeli objekt ili osobu u manje od 20 milisekundi, omogućujući korisnicima real-time uređivanje slika.

Možem li trenirati svoj vlastiti Interactive Segmenter model?

Trenutno, Interactive Segmenter je dostupan samo kao dio Snapseed aplikacije. Treniranje vlastitog modela nije podržano u ovoj verziji alata.

Kako se Object Brush koristi za poboljšanje portreta?

Object Brush se može koristiti za poboljšavanje portreta tako što se odabere lice osobe i zatim primijeni željene izmjene, kao što su poboljšanje izražaja lica ili promjena boje kože.