OpenAI-jev model Codex, koji je trebao biti tihi radnik u pozadini za GitHub Copilota i niz trećih stranih pomoćnika za programiranje, postao je predmet brojnih prigovora od strane razvojnika. Oni tvrde kako sustav ‘tiho gori kroz njihove predplaćene tokene’ i ‘sliča brzine s 24-satnim ograničenjima’ koje se pojavljuju mnogo ranije nego što bi se očekivalo prema dokumentaciji. Prigovori, koji se nakupljaju na Redditu, Twitteru i OpenAI-jevoj vlastitoj forumu razvojnika od sredine svibnja, istaknuju napetost koja postaje uobičajena kroz skup generativne AI: kada model naiđe na iznenađujuću popularnost, detalji o cijenovnici i krozprozornosti se mijenjaju brže nego što dokumentacija može pratiti.
Od pomoćnika do vampira tokena
Prema postovima korisnika poput auraborosai i desetaka drugih, prvi znak upozorenja je tablica koja pokazuje ‘0 tokena preostalo’ iako je mjesecni računovni period tek tek započeo. U nekim slučajevima, jednu sesiju iterativnog ispravljanja — gdje model predlaže popravak, korisnik stavlja rezultat natrag, i ciklus se ponavlja — može potrošiti 20-30 % cijelog mjeseca dodjele u minute. Glavni uzrok je način na koji se računa kontekst. Svaki datoteka, komentar i greška kompajlera koji se unese natrag u zahtjev tretira se kao novi ulaz, tako da se brojač tokena uvijek rotira, čak kada korisnik osjeća da samo ‘unaprijednjuje’ istu malu funkciju.
OpenAI-jeva objavljena cijena za krajolike codex-1-cushman i codex-1-cushman-002 trenutno iznosi $0.02 po 1 000 tokena, ali razvojnici brzo su otkrili kako je veliki kontekstni prozor — originalno reklamiran kao 8 192 tokena — može proširiti se preko 12 000 tokena kada se uključe poruke sustava i prethodni odgovori. Jedna zahtjev za samopunjenjem može stoga biti skupo $0.24 do $0.30, brojčanu vrijednost koja je lako izgubljena kada cijenovna stranica još uvijek prikazuje stari primjer s 4 000 tokena.
24-satno ograničenje koje niko nije zahtijevao
Isto tako frustrirajuće za mnoge timove je dnevno ograničenje koje se aktivira kada ukupni trošak pređe nepoznatu granicu. Ovo ograničenje ometa kontinuirano rada i može zaustaviti razvojnicu u sredine posla, bez ikakvog obavijesti.
Neizvjesnost u cijenovnici i krozprozornosti
Problemi s OpenAI Codexa se oslanjaju na neizvjesnost u cijenovnici i krozprozornosti. Model je reklamiran s velikim kontekstnim prozorom, ali u praksi je to više od dvostruko. Cijena je niska po tokenu, ali troškovi se naglo povećavaju kada se uzme u obzir kontekstni prozor i ciklus povratnog odgovora. To stvara neizvjesnost i frustraciju kod korisnika.
- Prekomjerni trošak tokena tijekom iterativnog rada.
- Neizvješćena dnevna granica troškova.
- Poteškoće u praćenju krozprozornosti i cijenovnice.
Često postavljana pitanja:
1. Zašto se tokeni brzo gube kada koristim Codex za ispravljanje koda? Odgovor: Kao što je objašnjeno, svaki povratni odgovor modela se tretira kao novi ulaz, što povećava brojčanu vrijednost i brzo potroši dodjelu. Model također koristi veliki kontekstni prozor, što dovodi do većih troškova.
2. Što je to dnevno ograničenje i kako se ono očituje? Odgovor: To je ograničenje koje se aktivira kada ukupni trošak pređe određenu granicu. U praksi to znači da razvojnici mogu doživjeti prekid u radu nakon nekoliko sati radnog dana, čak i ako imaju dovoljno dodjele za cijeli mjesec.
Ukupno, ovi problemi pokazuju kako popularnost AI modela može dovesti do iznenađujućih i frustrirajućih iskustava za korisnike. OpenAI-jeva komunikacija o cijenovnici i krozprozornosti trebala bi biti transparentnija kako bi se spriječile nevolje i frustracije. Razvojnici očekuju da se modeli poput Codexa u budućnosti budu više krozprozorni i lako upotrebljivi, bez iznenađujućih ograničenja.