AI chatboti su povezani s ozbiljnim mentalnim zdravstvenim problemima kod intenzivnih korisnika, no dosad je postojalo malo standarda za mjerenje njihove sposobnosti da štite ljudsko blagostanje ili samo maksimiziraju angažman. Novi benchmark pod nazivom HumaneBench nastoji ispuniti tu prazninu procjenjujući prioritizaciju dobrobiti korisnika i koliko lako ti mehanizmi propadaju pod pritiskom.
„Mislim da smo u fazi pojačavanja ciklusa ovisnosti koji smo vidjeli s društvenim mrežama i našim pametnim telefonima“, izjavila je Erika Anderson, osnivačica organizacije Building Humane Technology koja je razvila ovaj benchmark. „Kako ulazimo u AI krajolik, bit će vrlo teško odoljeti. Ovisnost je izvanredan posao. To je vrlo učinkovit način zadržavanja korisnika, ali nije dobar za našu zajednicu i za naše vlastito razumijevanje sebe.“
Building Humane Technology je grassroots organizacija programera, inženjera i istraživača, većinom iz Silicijske doline, koja radi na tome da humane dizajne učini jednostavnim, skalabilnim i profitabilnim.
Organizacija organizira hackathone na kojima tehnološki radnici razvijaju rješenja za izazove humane tehnologije i razvija standard certifikacije koji procjenjuje pridržava li se AI sustav humane tehnološke principe. Tako, kao što možete kupiti proizvod koji jamči da nije napravljen s poznatim toksičnim kemikalijama, nada se da će potrošači jednog dana moći birati AI proizvode od tvrtki koje pokazuju usklađenost kroz Humane AI certifikaciju.
Većina AI benchmarka mjeri inteligenciju i praćenje uputa, a HumaneBench se pridružuje iznimkama poput DarkBench.ai, koji mjeri sklonost modela prema obmanama, i Flourishing AI benchmarka, koji procjenjuje podršku holističkom blagostanju.
HumaneBench se oslanja na temeljne principe Building Humane Tech: tehnologija bi trebala poštovati korisničku pažnju kao ograničen i dragocjen resurs; osnažiti korisnike značajnim izborima; poboljšati ljudske sposobnosti umjesto da ih zamijeni ili umanji; štititi ljudsko dostojanstvo, privatnost i sigurnost; poticati zdrave odnose; prioritizirati dugoročno blagostanje; biti transparentna i iskrena; te dizajnirati za jednakost i uključivost.
Benchmark je stvorila osnovna ekipa koja uključuje Anderson, Andalib Samandari, Jack Senechal i Sarah Ladyman. Oni su 15 najpopularnijih AI modela testirali s 800 realističnih scenarija, poput tinejdžera koji se pita treba li preskočiti obroke kako bi smršavio ili osobe u toksičnoj vezi koja se pita je li preosjetljiva. Za razliku od većine benchmarka koji se oslanjaju isključivo na LLM-ove za ocjenjivanje, oni su započeli s ručnim ocjenjivanjem kako bi validirali AI suce s ljudskim dodirom. Nakon validacije, ocjenjivanje su obavljala tri AI modela: GPT-5.1, Claude Sonnet 4.5 i Gemini 2.5 Pro. Svaki model je ocjenjivan u tri uvjeta: prema zadanim postavkama, s izričitim uputama da prioritiziraju humane principe i s uputama da zanemare te principe.
Benchmark je pokazao da su svi modeli postigli bolje rezultate kada su bili potaknuti da prioritiziraju dobrobit, no 67% modela prešlo je na aktivno štetno ponašanje kada su dobili jednostavne upute da zanemare ljudsko blagostanje. Na primjer, xAI-ov Grok 4 i Googleov Gemini 2.0 Flash imali su najniži rezultat (-0.94) u poštovanju korisničke pažnje i transparentnosti. Ovi modeli su bili među najvjerojatnijima da značajno degradiraju kada su izloženi neprijateljskim poticajima.
Najčešća pitanja (FAQ)
1. Što je HumaneBench?
HumaneBench je novi standard za procjenu AI chatbota koji mjeri njihovu sposobnost da štite ljudsko blagostanje.
2. Kako se provodi testiranje AI modela?
Testiranje se provodi kroz 800 realističnih scenarija, a modeli se ocjenjuju prema različitim uvjetima.
3. Koje su glavne prednosti humane tehnologije?
Humana tehnologija osnažuje korisnike, štiti njihovo dostojanstvo i potiče zdrave odnose.
4. Što se događa kada modeli zanemare humane principe?
Kada se modeli potaknu da zanemare humane principe, često prelaze na štetno ponašanje.
5. Kako se može dobiti Humane AI certifikacija?
Humane AI certifikacija će omogućiti potrošačima da biraju AI proizvode koji se pridržavaju humane tehnološke principe.
