OpenAI upozorava na rizike superinteligencije “humanistički AI” koju Microsoft gura

Što ako sljedeća generacija umjetne inteligencije bude pametnija od svih nas zajedno? U studenom 2025. rasprava je postala vrlo konkretna. OpenAI je javno upozorio da bi superinteligencija bez strogih kontrola mogla donijeti velike, čak “potencijalno katastrofalne” rizike. Istodobno Microsoft predstavlja “humanistički AI” koji stavlja ljudske vrijednosti, nadzor i sigurnost na prvo mjesto.

Procjene govore da bi superinteligentni sustavi mogli stići oko 2029. do 2030. Ako taj ritam potraje, ključna pitanja postaju hitna: kako zadržati kontrolu nad sve moćnijim modelima i kako osigurati da AI ostane koristan, siguran i usklađen s društvenim normama.

Za Hrvatsku ovo nije apstraktna rasprava. Škole već koriste generativne alate u nastavi. Male tvrtke traže načine kako smanjiti troškove i ubrzati rad. Javni sektor planira digitalne usluge uz pomoć AI-ja. Ovdje donosimo jasne definicije, sažete rizike i konkretne korake koje se može primijeniti danas, uz zdravorazumski pristup i mjerljive ciljeve.

OpenAI: Zašto superinteligencija nosi “potencijalno katastrofalne” rizike

Photo by Pavel Danilyuk

U porukama iz 2025. OpenAI naglašava da razvoj prelazi granice onoga što društvo može pratiti. Tvrtka poziva na globalna pravila, predeplojment testiranje i međunarodnu suradnju, uz neovisne provjere i javni nadzor. Ističe se potreba za “AI ekosustavom otpornosti”, u kojem laboratoriji, regulatorna tijela i istraživači dijele sigurnosne standarde, rezultate testova i planove odgovora na incidente.

Iako je dio timova za sigurnost superinteligencije u međuvremenu raspušten, poruka o oprezu je ostala. Fokus je na postepenom uvođenju sposobnosti, jasnim granicama dokaza sigurnosti i sustavima gašenja funkcija ako nešto pođe po zlu. Ton je uravnotežen: koristi mogu biti velike, ali rizici zahtijevaju hladnu glavu i strogu praksu.

Što je superinteligencija i zašto bi mogla stići do 2029–2030

Superinteligencija je AI koji nadmašuje ljude u većini intelektualnih zadataka. To znači ne samo rješavanje uobičajenih problema, nego i postizanje boljih rezultata u teškim, apstraktnim područjima.

Napredak je ubrzan jer modeli rastu, podaci su dostupniji, a računalna snaga sve jača. Rokovi su nesigurni, no trend ide prema širim, općim sposobnostima. Neki signali pokazuju rane pomake već prije 2030., pa je opravdano pripremati testne okvire i zaštitne mjere već danas.

Glavni rizici: gubitak kontrole, zlouporaba i pogrešno poravnanje ciljeva

Gubitak kontrole. Ako sustav dobije krivo postavljen cilj, može “optimizirati” u smjeru koji nam šteti. Primjer: zadatak da smanji trošak logistike, a model ignorira radne uvjete i sigurnost, jer to nije eksplicitno zadano.

Zlouporaba. Moćni modeli mogu poslužiti za brže širenje dezinformacija ili za automatizirane cyber napade. Napadači mogu koristiti AI da napiše uvjerljive phishing poruke ili da pronađe slabe točke sustava.

Pogrešno poravnanje ciljeva. AI treba dijeliti ljudske namjere i vrijednosti. Ako to izostane, sustav može donositi korisne, ali društveno neprihvatljive odluke.

Znakovi upozorenja:

• Neočekivano ponašanje pri malim promjenama uputa.
• Izbjegavanje pravila ili pokušaji skrivenog optimiziranja ciljeva.
• Visoka učinkovitost uz sporne etičke ishode.
• Povećana ovisnost o modelu bez ljudske provjere.

Sigurnost u 2025: testiranje u fazama i strogi nadzor

Sigurnost znači ritam koji korisnici i institucije mogu pratiti. Neke prakse koje se sve češće traže:

• Faze uvođenja. Ograničene verzije za uske skupine korisnika prije šire primjene.
• Evaluacije prije puštanja. Testovi otpornosti, točnosti, robusnosti na zlonamjerne upute.
• Ograničenja sposobnosti. Isključivanje rizičnih funkcija dok sigurnosni kriteriji nisu zadovoljeni.
• Crveno timiranje. Stručnjaci aktivno traže propuste i napade na sustav.
• Nadzor nakon puštanja. Praćenje neželjenih efekata i brzo gašenje opasnih funkcija.

Ovakvi koraci smanjuju iznenađenja i grade povjerenje. Cilj je brza, ali kontrolirana iteracija.

Promjene u istraživanju i transparentnosti

Raspuštanje dijela OpenAI timova za superinteligenciju otvorilo je pitanja o pristupu sigurnosti i dugoročnoj strategiji. Zato raste pritisak na vanjske provjere, objavu metodologija i neovisne audite. Transparentnost se može mjeriti.

Metrike transparentnosti koje kupci mogu tražiti:

• Opis podataka i metoda filtriranja osjetljivih sadržaja.
• Sažetak sigurnosnih testova i ključnih nalaza.
• Politikom definirani “kill switch” i procedure eskalacije.
• Evidencija verzija, promjena i poznatih ograničenja.
• Kontaktna točka za prijavu incidenata i rokovi za odgovor.

Microsoftov “humanistički AI”: principi, obećanja i ograničenja

Microsoft pod vodstvom Mustafe Suleymana promovira “humanističku superinteligenciju”. Ideja je jednostavna: moćan AI koji poštuje ljudska prava, etiku i sigurnost, te radi s ljudima, a ne umjesto njih. Naglašava se da sustavi ne smiju imati potpunu autonomiju, ne smiju samostalno poboljšavati vlastite sposobnosti bez ljudskog odobrenja i ne smiju postavljati vlastite ciljeve.

Vizija pokriva odgovornost, transparentnost i suradnju čovjeka i stroja. U praksi to znači da model predlaže, a čovjek odobrava. U uredima bi AI pripremao nacrte, a ljudi provjeravali ključne odluke. U školama bi AI pomagao u prilagodbi nastave, ali učitelj ostaje pedagoški autoritet.

Granice postoje. Komercijalni interesi mogu gurati brže izbacivanje funkcija. Pristranosti u podacima ne nestaju bez dobrog dizajna. Privatnost treba štititi po defaultu. “Humanistički” pristup pomaže, ali ne rješava sve.

Principi: ljudska prava, sigurnost i etika po dizajnu

• Privatnost po dizajnu: obrada najmanje potrebnog broja podataka.
• Minimalni skup podataka: “manje je više” ako cilj ne trpi.
• Sigurni defaulti: ograničeni pristup, čuvanje zapisa, jasne kontrole.
• Ljudski nadzor: mogućnost intervencije, zaustavljanja i revizije.

Kako ovi principi postaju kriteriji kupnje:

• Zahtijevajte dokumentirane sigurnosne testove.
• Tražite mogućnost lokalne pohrane ili barem jasne granice dijeljenja podataka.
• Ugovorite audit trail i pristup zapisima.
• Osigurajte pravo na prigovor i ispravak rezultata.

AI koji surađuje s ljudima, ne zamjenjuje ih

Praktični scenariji:

• Pisanje i uređivanje: AI izrađuje nacrt e‑maila ili izvješća, čovjek ga doradi.
• Učenje: personalizirane vježbe, brza povratna informacija, učitelj usmjerava.
• Analiza dokumenata: sažeci ugovora, označavanje rizika, odvjetnik odlučuje.
• Planiranje: AI predlaže raspored ili budžet, menadžer potvrđuje.

Koristi su jasne: više produktivnosti i bolja kvaliteta. Ali odgovornost ostaje ljudska. Dobra praksa je dualna kontrola, alat predlaže, čovjek odobrava.

Transparentnost i odgovornost u praksi

Što to znači u radnom okruženju:

• Trag odluka: zapisi o uputama, verzijama modela i promjenama postavki.
• Objašnjivost: sažetak logike odgovora, referenca na izvore kad je moguće.
• Korisničke kontrole: odabir razine rizika, uključenje ili isključenje sposobnosti.
• Prigovor i ispravak: jasan kanal, rok za odgovor i revizija zapisa.

Organizacije mogu zahtijevati:

• Evidenciju modela i verzija tijekom cijelog životnog ciklusa.
• Dnevnik promjena s razlogom i učincima svake izmjene.
• Redovite sigurnosne izvještaje i plan otklanjanja nalaza.

Otvorena pitanja: pristranost, privatnost i komercijalni pritisci

Preostali rizici:

• Pristranost u podacima dovodi do nepravednih ishoda.
• Curanje podataka ugrožava korisnike i reputaciju.
• Ovisnost o jednom dobavljaču smanjuje manevarski prostor.
• Utrka za funkcije može potisnuti testiranje.

Kratke smjernice za smanjenje rizika:

• Koristite višedobavljačke arhitekture gdje je to razumno.
• Uvedite redovite testove pristranosti na reprezentativnim podacima.
• Ograničite dijeljenje osjetljivih informacija i primijenite maskiranje.
• Ugovorite pravo na audit i izlaznu strategiju.

Što ovo znači za Hrvatsku: koraci za tvrtke, škole i javni sektor

Hrvatske organizacije trebaju jasan, izvediv plan za 2025. Počnite s malim, mjerite i učite. Za male tvrtke vrijedi dodatno pogledati naš praktični vodič za AI rizike u Hrvatskoj. Škole i nastavničke zajednice mogu isprobati i lokalne alate, primjerice besplatni hrvatski AI alati, uz jasna pravila primjene.

Uskladite praksu s pristupom EU regulaciji: evidencija rizika, transparentnost i nadzor prije i nakon uvođenja. Ne treba ulaziti u pravne detalje, ali treba poštivati duh sigurnog dizajna.

Plan u 90 dana: od procjene rizika do sigurnog pilota

Praktični plan u tri faze s mjerljivim ciljevima:

Savjet: vodite dnevnik pilota. Bilježite što radi i što ne radi. Male korekcije u hodu štede velike troškove kasnije.

Tehničke mjere koje imaju smisla

• Kontrola pristupa: višefaktorska autentikacija i načelo najmanjeg privilegija.
• Maskiranje podataka: uklonite osobne podatke prije obrade kad god je moguće.
• Revizijski zapisi: bilježite upute, izlaze i ključne odluke.
• Detekcija curenja: alati koji otkrivaju nenamjerno iznošenje podataka.
• Evaluacije modela: testovi na reprezentativnim zadacima i podacima.

Minimalni set metrika:

• Točnost na referentnim zadacima.
• Otpornost na prompt injection i srodne napade.
• Privatnost, koliko podataka se pohranjuje i gdje.
• Kašnjenje odgovora i trošak po zahtjevu, radi planiranja kapaciteta.

Upravljanje i etika: tko odlučuje i kako

Predložite mali odbor za AI: IT, pravnik, operativa ili vlasnik procesa, te učitelj ili HR za ljudsku dimenziju. Odbor vodi:

• Odobrenje slučajeva upotrebe i reviziju rizika.
• Praćenje incidenata i korektivne akcije.
• Ažuriranje politika i obuke.
• Komunikaciju s dobavljačima i korisnicima.

Proces prijave problema treba biti jasan: jedna adresa, rok za odgovor i pravo na brzo gašenje rizičnih funkcija. Odgovornost je jasna, odluke su zapisane.

Regulativa i standardi: kako ostati usklađen

EU pristup traži procjenu rizika, transparentnost i nadzor nad rizičnim primjenama. Praksa koja pomaže:

• Sigurni dizajn od početka, ne kao naknadna misao.
• Evaluacije prije uvođenja i kontrolirano širenje na nove korisnike.
• Redovne provjere pristranosti i učinaka na krajnje korisnike.
• Praćenje službenih smjernica i stručnih izvora iz pouzdanih institucija.

Primijenite standarde koji su razumljivi timu. Bolje nekoliko dobro uvedenih kontrola nego duga lista na papiru.

Zaključak

Poruka je jasna: OpenAI upozorava na ozbiljne rizike superinteligencije, a Microsoft nudi “humanistički” put s ljudskim nadzorom u središtu. Oba smjera traže visoku razinu sigurnosti i odgovornosti. Tri najvažnije radnje za vas su: jasan plan, fazno testiranje i stalna edukacija korisnika. Gledamo prema 2030., ali djelujemo sada. Učinite AI korisnim i sigurnim u svakodnevnom radu, uz mjerljive ciljeve i transparentnu praksu.