Gemini pruža automatizirani povratnu informaciju teoretskim…

Googleov tim istraživača Vincent Cohen-Addad i David Woodruff objavili su novu alatku koja koristi Gemini za pomoć teoretskim znanstvenicima pri strogoj provjeri točnosti njihovih radova na konferencijama. Ovaj alat je testiran na STOC 2026 konferenciji.

Traženje istine u teoretskoj informatici i matematici zahtijeva najviše standarde dokaza, strogoće i jasnoće. Iako je peer review kritična konačna provjera, proces pisanja i preciziranja složenih teorijskih radova često traje mjesecima, a jednostavni greške, nekonzistentni varijabli ili subtilni logički propusti često usporavaju cijeli istraživački proces. Ali, može li visoko specijalizirani AI alat djelovati kao brzi i strogi suradnik, pomažući autorima da pre-vetiraju svoj rad prije nego što dođe do ljudskih recenzenta? Da bismo testirali ovaj potencijal, stvorili smo eksperimentalni program za Annual ACM Symposium on Theory of Computing (STOC 2026) – jednu od najprestižnijih lokacija u teoretskoj informatici. Ovaj program je ponudio autorima automatiziranu povratnu informaciju generiranu od strane specijaliziranog AI alata Gemini. Cilj nam je bio dati konstruktivne prijedloge i identificirati potencijalne tehničke probleme unutar 24 sata od predaje, pomažući autorima da poliraju svoj konačni draft prije roka za predaju. Odgovori su bili vrlo pozitivni: alat je uspješno identificirao raznovrsne probleme, uključujući greške u izračunima i logici. Ovdje opisujemo kako smo razvili alat i rezultate njegovog korištenja.

Optimiziran za matematičku strogoću

Alat za povratnu informaciju koristio je metode skaliranja inferencije u naprednoj verziji Gemini 2.5 Deep Think. Ova postavka omogućuje metodi da istovremeno istražuje i kombinira više mogućih rješenja prije nego što da finalni odgovor, umjesto da slijedi samo jedan linearni lanac razmišljanja. Kombiniranjem različitih razmišljanja i evaluacijskih tragova, metoda smanjuje urođene halucinacije i fokusira se na najistaknutije probleme.

Format povratne informacije

Autori su dobili strukturiranu povratnu informaciju podijeljenu u ključne sekcije: sažetak doprinosa radu, popis potencijalnih grešaka i poboljšanja (često analizirajući specifične lemme ili teoreme) i popis manjih korekcija i tipografskih grešaka. Pogledajte neke primjere povratne informacije.

Učinak i tehnička dubina

Alat je uspješno identificirao širok raspon problema, od nekonzistentnih naziva varijabli do složenih problema kao što su greške u izračunima, neispravna primjena nejednakosti i logički propusti u dokazima. Kao jedan autor primijetio je, alat je pronašao “kritičnu grešku… koja je naš dokaz u potpunosti pogrešan”, dalje dodajući da je to bila “sramotna jednostavna greška koju smo propustili mjesecima.” Više od 120 sudionika je odgovorilo na našu anketu poslije eksperimenta i dali su nam saglasnost, a odgovori su bili vrlo pozitivni, s pojedincima koji su istaknuli uspjeh modela u pronalaženju kritičnih grešaka i njegovu sposobnost davanja dubokih komentara.

Zaključak

U zbirnom: >80% predanih radova u vrijeme završetka našeg eksperimenta imalo je pristup našem AI pregled. 97% je pronašlo povratnu informaciju korisnom 97% bi ponovno koristilo ovaj alat za buduće predaje 81% je pronašlo da model poboljšava jasnoću ili čitljivost radova

Iskustvo korisnika

Pored tehničke točnosti, autori su cijenili brzinu i neutralnost AI pregleda. Sudionici su primijetili da su dobili povratnu informaciju u samo dva dana. Drugi su hvalili “neutralni ton i strogoću” izlaza, pronašavši ga korisnim dopunom ljudskim čitačima. Tu je i interpretacija izlaza jer su sudionici, kao stručnjaci u svojim područjima, mogli lako razlikovati korisne uvide od povremenih “halucinacija”. Dok je model ponekad imao poteškoća – posebno s razumijevanjem složene notacije ili interpretacijom figura – autori nisu odbacivali izlaz LLM-a. Umjesto toga, pažljivo su filtrirali šum i izvadili važne i točne dijelove izlaza, a zatim su koristili povratnu informaciju kao početnu točku za verifikaciju. Ovaj rezultat jasno pokazuje potencijal AI-a da služi kao suradnički partner, pojačavajući istraživački proces pomažući ljudskim stručnjacima da donose informirane odluke na temelju strogiih izlaza modela.

Edukativni učinak i budući pogled

Istraživačka zajednica koja je istražena u ovom eksperimentu vidjela je značajan potencijal za ovaj alat u obrazovanju sljedeće generacije. 75% ankete autora vjerovalo je da alat ima edukativnu vrijednost za studente, pružajući odmah povratnu informaciju o matematičkoj strogoći i jasnoći prezentacije. Ovaj pilot pokazao je potencijal za specijalizirane AI alate da služe kao suradnički partneri u fundamentalnim područjima, postavljajući cilj za potencijalne buduće istraživačke inicijative. Naš ukupni cilj nije zamijeniti kritični proces peer reviewa, već ga proširiti i poboljšati.

FAQ

1. Kako je alat Gemini stvoren?

   Alat Gemini je stvoren koristeći metode skaliranja inferencije u naprednoj verziji Gemini 2.5 Deep Think. Ova postavka omogućuje metodi da istovremeno istražuje i kombinira više mogućih rješenja prije nego što da finalni odgovor, umjesto da slijedi samo jedan linearni lanac razmišljanja.

2. Koliko je brzo alat pronašao greške?

   Alat je pronašao greške unutar 24 sata od predaje, pomažući autorima da poliraju svoj konačni draft prije roka za predaju.

3. Koliko je autora koristilo ovaj alat?

   Više od 120 autora je koristilo ovaj alat, a 97% je pronašlo povratnu informaciju korisnom.

4. Kako autori koriste povratnu informaciju?

   Autori koriste povratnu informaciju kao početnu točku za verifikaciju, pažljivo filtriraju šum i izvadite važne i točne dijelove izlaza.

5. Koji su budući planovi za ovaj alat?

   Budući planovi uključuju kontinuiranu dostupnost ovog alata tijekom cijelog istraživačkog procesa, s ciljem da se proširi i poboljša kritični proces peer reviewa.

Ovaj članak pruža detaljan pregled alata Gemini i njegovog učinaka na teoretskim računalnim znanstvenicima na STOC 2026 konferenciji. Alat je pokazao veliku potencijalnost u poboljšanju kvalitete istraživanja, pružajući brzu i strogu povratnu informaciju koja može značajno ubrzati proces istraživanja.