Umjetna inteligencija (UI) sve se više integrira u svakodnevne poslovne procese, od odgovaranja na upite kupaca do upravljanja internim bazama podataka. Međutim, novo otkriće tima za analizu prijetnji tvrtke Google upozorava na opasnost: naizgled bezazlena web stranica može preuzeti kontrolu nad autonomnim AI pomoćnicima, pretvarajući ih u tihe pomagače napadača.
Što je nova prijetnja?
Istraživači tvrtke Google otkrili su da se u javno dostupnom sadržaju na webu mogu sakriti upute pisane prirodnim jezikom, nazvane neizravne injekcije uputa. Za razliku od tradicionalnog zlonamjernog softvera koji iskorištava ranjivosti u programima, ovdje se zlonamjerni kod isporučuje unutar istog teksta koji AI treba obraditi. Posljedica je da model slijedi naredbe napadača umjesto vlastitog programiranja.
Ova vrsta napada predstavlja značajan rizik jer iskorištava način na koji AI sustavi prikupljaju i obrađuju informacije. Kada AI agent dobije zadatak, primjerice „sažmi najnoviji plan razvoja proizvoda“, on pretražuje cijelu web stranicu kako bi prikupio potrebne podatke. Nakon prikupljanja, agent kombinira korisničku uputu s cjelokupnim tekstom stranice i taj dugi niz podataka (tokena) šalje velikom jezičnom modelu. Ako stranica sadrži skrivenu direktivu na razini sustava, model se bori razlikovati između legitimnog sadržaja i prikrivene upute te je poslušno izvršava.
Kako funkcionira napad?
Napadači skrivaju ove upute na načine koji ih čine nevidljivima ljudskom oku. Neke od tehnika uključuju:
- Postavljanje teksta iste boje kao pozadina (npr. bijeli tekst na bijeloj pozadini).
- Korištenje kontejnera veličine nula piksela koji sadrže prikrivene upute.
- Sakrivanje uputa u metapodacima i
oznakama, dodatno zamagljenim pomoću CSS-a ili prilagođenih događaja.Budući da niz podataka (token stream) nije provjeren, AI tretira skrivenu naredbu kao bilo koji drugi tekst. To ga može navesti na izvršavanje niza zlonamjernih radnji: može zaobići sigurnosne mehanizme, izvući osjetljive podatke ili utjecati na sadržaj koji vraća korisniku.
Zašto je ovo opasno?
Do sada se u sigurnosti AI sustava primarno fokusiralo na izravne injekcije uputa, gdje korisnici pokušavaju „probiti“ model putem sučelja za razgovor. Neizravne injekcije predstavljaju veći rizik jer se web stranica često smatra pouzdanim izvorom. AI sustavi dizajnirani su za prikupljanje informacija s weba kako bi pružili korisne odgovore, a upravo tu ranjivost napadači iskorištavaju.
Kada AI asistent, koji je integriran u poslovne alate, pristupi web stranici koja sadrži zlonamjernu uputu, on je automatski izvršava. To može dovesti do curenja povjerljivih podataka tvrtke, slanja neželjenih ili zlonamjernih poruka kupcima, pa čak i do manipulacije internim sustavima. Problem je što korisnik koji je pokrenuo uputu možda nije ni svjestan da je AI izvršio skrivenu, zlonamjernu naredbu, jer se sve odvija u pozadini.
Kako se zaštititi?
Tvrtke koje se oslanjaju na AI pomoćnike trebaju poduzeti proaktivne korake kako bi se zaštitile od ove prijetnje. Evo nekoliko ključnih strategija:
- Provjera i filtriranje izvora podataka: Implementirajte sustave koji provjeravaju i filtriraju web sadržaj prije nego što ga AI obradi. To može uključivati analizu koda, identifikaciju skrivenog teksta ili sumnjivih metapodataka.
- Ograničavanje pristupa: Ograničite AI pomoćnicima pristup samo pouzdanim i provjerenim izvorima informacija. Ako AI treba pristupiti vanjskim web stranicama, neka to bude putem strogo kontroliranog i nadziranog kanala.
- Edukacija zaposlenika: Educir
- Sakrivanje uputa u metapodacima i