Uvod u 3D prodajne proizvode s generativnom umjetnom inteligencijom

Svakodnevno milijarde ljudi kupuju online, nastojeći pronaći najbolje dijelove iskustva kupovine u trgovini. Vidjeti nešto što vas privlači, uzeti ga u ruke i ispitati ga osobno može biti ključni dio toga kako se povezujemo s proizvodima. Međutim, replikacija intuicije i rukovati prirodom trgovinskog iskustva na ekranu može biti osetljiv i izazovan zadatak. Tehnologija može pomoći da se stvori most između ova dva iskustva, donoseći ključne detalje na vaše prste s brzim pomakom. Ali, ovi alati mogu biti skupi i zahtjevni za vrijeme za tvrtke da ih stvore na velikoj razini.

Da bi riješili ovaj problem, razvili smo nove generativne AI tehnike za stvaranje visokokvalitetnih i prodajnih 3D vizualizacija proizvoda iz samo tri slike proizvoda. Danas smo uzbuđeni da podijelimo najnovije dostignuće, pokrenuto Googleovim najsuvremenijim modelom za generiranje videa, Veo. Ova tehnologija već omogućava generiranje interaktivnih 3D pogleda za širok raspon kategorija proizvoda na Google Shopping.

Prva generacija: Neuralna polja zračenja (NeRF)

Godine 2022., istraživači iz cijelog Googlea su se okupili da razviju tehnologije koje čine vizualizaciju proizvoda više imersivnom. Prvi napori se fokusirali na korištenje Neuralnih polja zračenja (NeRF) za učenje 3D predstave proizvoda da renderira nove poglede (tj. sintezu novih pogleda), kao što su 360° okretanja, iz pet ili više slika proizvoda. To je zahtijevalo rješavanje mnogih pod-problema, uključujući odabir najinformativnijih slika, uklanjanje neželjenih pozadina, predviđanje 3D priora, procjenjivanje položaja kamere iz retkog skupa slika usmjerenih na objekt i optimizaciju 3D predstave proizvoda.

Iste godine objavili smo ovo dostignuće i pokrenuli prvu miljaku, interaktivne 360° vizualizacije cipele na Google pretraživaču. Dok je ova tehnologija bila obećavajuća, patila je od šumskih ulaznih signala (npr. neprecizni položaji kamere) i neodređenosti iz retkih ulaznih pogleda. Ovaj problem je postao očitan kada je pokušano rekonstruirati sandale i potkovice, čija su tanka struktura i složenija geometrija bila teška za rekonstruirati iz samo nekoliko slika.

Prvi korak: Neuralna polja zračenja (NeRF)

Prvi korak našeg pristupa koristio je neuralna polja zračenja (NeRF) za renderiranje novih pogleda, kombinirajući nekoliko 3D tehnika kao što su NOCS za XYZ predikciju, CamP za optimizaciju kamere i Zip-NeRF za najsuvremeniju sintezu novih pogleda iz retkog skupa pogleda.

Druga generacija: Skaliranje s pogledom uvjetovanog difuzijskog priora

Godine 2023. predstavili smo drugi generacijski pristup koji je koristio pogled uvjetovan difuzijski prior da bi riješili ograničenja prvog pristupa. Biti pogled uvjetovan znači da možete dati slici vrha cipele i reći modelu “Kako izgleda prednja strana ove cipele?” Na taj način, možemo koristiti pogled uvjetovan difuzijski model da bismo pomogli predvidjeti kako će cipele izgledati s bilo kojeg pogleda, čak i ako imamo samo fotografije ograničenih pogleda.

U praksi, koristimo varijantu score distillation sampling (SDS), prvi put predloženu u DreamFusion. Tijekom treniranja, renderiramo 3D model iz nasumičnog pogleda kamere. Zatim koristimo pogled uvjetovan difuzijski model i dostupne postavljene slike da bismo generirali cilj iz istog pogleda kamere. Na kraju, izračunavamo ocjenu upoređujući renderiranu sliku i generirani cilj. Ova ocjena direktno informira proces optimizacije, poboljšavajući parametre 3D modela i njegovu kvalitetu i realizam.

Drugi generacijski pristup doveo je do značajnih prednosti skaliranja, omogućavajući generiranje 3D predstava za mnoge cipele koje se svakodnevno vide na Google Shopping. Danas možete pronaći interaktivne 360° vizualizacije za sandale, potkovice, čizme i druge kategorije obuće kada kupujete na Google, većinu kojih stvara ova tehnologija!

Drugi korak: Pogled uvjetovan difuzijski model

Drugi korak našeg pristupa koristio je pogled uvjetovan difuzijski model temeljen na arhitekturi TryOn. Difuzijski model djeluje kao naučeni prior koristeći score distillation sampling predložen u DreamFusion da bi poboljšao kvalitetu i vjerodostojnost novih pogleda.

Treća generacija: Generalizacija s Veo

Naše najnovije dostignuće temelji se na Veo, Googleovom najsuvremenijem modelu za generiranje videa. Ključna snaga Veo je njegova sposobnost generiranja videa koji hvata složene interakcije između svjetlosti, materijala, teksture i geometrije. Njegova moćna difuzijska arhitektura i njegova sposobnost finetuninga na raznim multimodalnim zadacima omogućavaju mu da se ističe u sintezi novih pogleda.

Da bismo finetunirali Veo da bismo transformirali slike proizvoda u c, koristili smo Veo da bismo generirali video koji prikazuje proizvod iz različitih pogleda. Zatim smo koristili ove videe da bismo trenirali 3D model koji može generirati nove poglede proizvoda iz bilo kojeg pogleda.

Treći korak: Finetuning Veo

Treći korak našeg pristupa koristio je Veo da bismo generirali video koji prikazuje proizvod iz različitih pogleda. Zatim smo koristili ove videe da bismo trenirali 3D model koji može generirati nove poglede proizvoda iz bilo kojeg pogleda.

Zaključak

Generativna umjetna inteligencija je revolucionirala način na koji se proizvodi prikazuju online. Od Neuralnih polja zračenja do pogled uvjetovanih difuzijskih modela, naš tim je stvorio inovativne rješenja koja poboljšavaju korisničko iskustvo i omogućavaju tvrtkama da se natječu na tržištu. Naše najnovije dostignuće s Veo otvara nove mogućnosti za interaktivne 3D vizualizacije, pružajući kupcima još bolje iskustvo kupovine.

Česta pitanja

Kako se generiraju 3D vizualizacije proizvoda?

3D vizualizacije proizvoda generiraju se koristeći generativne AI tehnike koje kombiniraju Neuralna polja zračenja (NeRF), pogled uvjetovane difuzijske modele i najsuvremenije modele za generiranje videa kao što je Veo.

Koliko slika je potrebno za generiranje 3D vizualizacije?

Za generiranje visokokvalitetnih 3D vizualizacija proizvoda potrebno je samo tri slike proizvoda.

Koji proizvodi se mogu vizualizirati u 3D?

Naše tehnologije mogu se primijeniti na širok raspon kategorija proizvoda, uključujući obuću, odjeću, kućne artikle i više.

Kako se 3D vizualizacije proizvoda koriste na Google Shopping?

3D vizualizacije proizvoda koriste se na Google Shopping da bismo pružili kupcima interaktivne i imersivne poglede na proizvode, što poboljšava njihovo iskustvo kupovine.

Koliko je skupo stvoriti 3D vizualizacije proizvoda?

Naše generativne AI tehnike omogućavaju tvrtkama da stvore 3D vizualizacije proizvoda na velikoj razini bez velikih troškova ili vremena.

Kako se 3D vizualizacije proizvoda mogu koristiti za marketing?

3D vizualizacije proizvoda mogu se koristiti za marketing da bismo pružili kupcima vizualno zanimljive i imersivne poglede na proizvode, što poboljšava njihovu konverziju i zadovoljstvo.