U svibnju 2025., Turan Bulmus, voditelj GenAI Blackbelts i Solution Architects u Google Cloudu, te Dr. Fiorenzo Stoppa, Newtonov međunarodni fellow Kraljevskog društva iz Oxforda, objavili su u časopisu Nature Astronomy kako Googleov model Gemini može biti pretvoren u stručnog astronomskog asistenta koji s visokom točnošću klasificira kozmičke događaje i objasni svoje razmišljanje na jednostavan način. Model je postigao 93% točnosti na tri skupa podataka, učeći samo od 15 anotiranih primjera po anketi.
U modernoj astronomiji, svaki dan se teleskopi širom svijeta bave potragom za kratkotrajnim događajima poput eksplodirajućih zvijezda (supernovae), koji nam daju ključne uvide u funkcioniranje svemira. Ove ankete generiraju milijune upozorenja o potencijalnim otkrićima, ali većina njih nisu pravi kozmički događaji, već “lažni” signali od satelitskih tragova, kozmičkih zraka ili drugih instrumentalnih artefakata. Godinama, astronomi su koristili specijalizirane modele strojnog učenja, poput konvolucijskih neuronskih mreža (CNN), za pročišćavanje ovih podataka. Iako su učinkoviti, ovi modeli često djeluju kao “crne kutije”, dajući jednostavan “pravi” ili “lažni” oznaku bez objašnjenja. To prisiljava znanstvenike ili da slijepo vjeruju u izlaz ili da provode neprekidno sate ručnim provjeravanjem kandidata – uski grlo koje će postati nepremostivo s novim teleskopima poput Vera C. Rubin Observatory, koji će generirati 10 milijuna upozorenja noću.
Ova izazov nas je potakao da postavimo osnovno pitanje: može li opći, multimodalni model, dizajniran da razumije tekst i slike zajedno, ne samo da postigne točnost specijaliziranih modela, nego i da objasni što vidi? U našoj publikaciji “Textual interpretation of transient image classifications from large language models”, objavljenoj u Nature Astronomy, pokazali smo da je odgovor potvrdan. Prikazali smo kako se Googleov model Gemini može pretvoriti u stručnog astronomskog asistenta koji s visokom točnošću klasificira kozmičke događaje i, kritično, objasni svoje razmišljanje na jednostavan način. Postigli smo to upotrebom tehnike few-shot učenja s Geminijem, dajući mu samo 15 anotiranih primjera za svaku od tri glavne astronomskih ankete: Pan-STARRS, MeerLICHT i ATLAS. Svaki primjer sastojao se od tri male slike: nove slike upozorenja za tranzit, referentne slike istog dijela neba iz prethodnog promatranja i razlikovne slike koja ističe promjenu između dvije. Uz ove slike, pružili smo kratak skup instrukcija, kratku stručnu bilješku o klasifikaciji i interesnu ocjenu (npr. “visok interes” za vjerojatnu supernovu, “niski interes” za varijabilnu zvijezdu ili “bez interesa” za lažni signal) zajedno s objašnjenjem te ocjene. Modelu je bilo potrebno naučiti klasificirati tranzite iz raznovrsnog skupa teleskopa, svaki s različitim rezolucijama, pikselima i karakteristikama kamera. Kao što je prikazano u nastavku, isti nebeski objekt može izgledati vrlo drugačije ovisno o anketi, ali Gemini je mogao generalizirati iz malog broja primjera koji su mu bili dostavljeni.
Novi pristup: Učenje iz malog broja primjera
Umjesto treniranja specijaliziranog modela na milijunima označenih slika, upotrijebili smo tehniku few-shot učenja na općem modelu. Geminiju smo dali samo 15 anotiranih primjera za svaku od tri glavne astronomskih ankete: Pan-STARRS, MeerLICHT i ATLAS. Svaki primjer sastojao se od tri male slike: nove slike upozorenja za tranzit, referentne slike istog dijela neba iz prethodnog promatranja i razlikovne slike koja ističe promjenu između dvije. Uz ove slike, pružili smo kratak skup instrukcija, kratku stručnu bilješku o klasifikaciji i interesnu ocjenu (npr. “visok interes” za vjerojatnu supernovu, “niski interes” za varijabilnu zvijezdu ili “bez interesa” za lažni signal) zajedno s objašnjenjem te ocjene. Modelu je bilo potrebno naučiti klasificirati tranzite iz raznovrsnog skupa teleskopa, svaki s različitim rezolucijama, pikselima i karakteristikama kamera. Kao što je prikazano u nastavku, isti nebeski objekt može izgledati vrlo drugačije ovisno o anketi, ali Gemini je mogao generalizirati iz malog broja primjera koji su mu bili dostavljeni.
Gemini operira kroz ankete s raznovrsnim pikselima i rezolucijama
Isti tranzit se promatra u tri različite ankete, s redovima koji odgovaraju Pan-STARRS (gore), MeerLICHT (sredina) i ATLAS (dolje). Svaki red uključuje, s lijeva na desno, novu sliku, referentnu sliku i razlikovnu sliku. Slike su sve iste veličine u pikselima (100 × 100), ali se razlikuju u kutu pokrivenog neba zbog piksela specifičnih za ankete: Pan-STARRS (0,25″ po pikselu), MeerLICHT (0,56″ po pikselu) i ATLAS (1,8″ po pikselu).
Rezultati i primjena
Samo uz ovu minimalnu ulaznu informaciju, zatražili smo od Geminija da klasificira tisuće novih upozorenja. Model je postigao prosječnu točnost od 93% na tri skupa podataka, što je na nivou specijaliziranih CNN-ova koji zahtijevaju ogromne, kurirane skupove podataka za treniranje. Ali dok tradicionalni klasifikator samo izlazi oznaku, mi smo podstaknuli Geminija ne samo da ispiše oznaku, nego i da generira tekstualno objašnjenje za svaki kandidat koji opisuje značajke koje je promatrao i logiku iza svoje odluke. Također je generirao interesnu ocjenu koja pomaže astronomima da prioriziraju daljnja promatranja. Time se model pretvara iz crne kutije u transparentan, interaktivni partner. Znanstvenici mogu pročitati objašnjenje kako bi razumjeli modelovo razmišljanje, stvorivši povjerenje i omogućivši finiju donošenje odluka.
Gemini pruža čitljivim ljudima klasifikacije tranzita i prioritete za daljnja promatranja
Svaki primjer sastoji se od nove, referentne i razlikovne slike, uz kratak skup instrukcija, kratku stručnu bilješku o klasifikaciji i interesnu ocjenu. Model je naučio klasificirati tranzite iz raznovrsnog skupa teleskopa, svaki s različitim rezolucijama, pikselima i karakteristikama kamera. Kao što je prikazano u nastavku, isti nebeski objekt može izgledati vrlo drugačije ovisno o anketi, ali Gemini je mogao generalizirati iz malog broja primjera koji su mu bili dostavljeni.
Zaključak
Učimo Gemini da Primjećuje Eksplodirajuće Zvijezde s Malim Brojem Primjera je dokaz da opći, multimodalni modeli mogu postati stručnjaci u specijaliziranim poljima s minimalnim podacima. Ovaj pristup ne samo da poboljšava točnost klasifikacije, nego i stvara transparentan, interaktivni partner koji pomaže znanstvenicima u donošenju odluka. Kao što se očekuje, budućnost astronomije leži u suradnji između ljudskog i umjetnog uma, gdje svaki doprinosi drugom kako bi se otkrili novi nebeski tajni.
Česta pitanja
Koliko je podataka potrebno za treniranje Geminija?
Za ovaj eksperiment, Geminiju smo dali samo 15 anotiranih primjera po anketi. Ovo je primjer few-shot učenja, gdje model uči iz malog broja primjera umjesto ogromnih skupova podataka.
Kako je Geminiju objasnio svoje odluke?
Gemini je generirao tekstualna objašnjenja koja opisuju značajke koje je promatrao i logiku iza svoje odluke. Ovo je omogućilo znanstvenicima da razumiju modelovo razmišljanje i stvorili povjerenje.
Kolika je točnost Geminija?
Gemini je postigao prosječnu točnost od 93% na tri skupa podataka, što je na nivou specijaliziranih CNN-ova koji zahtijevaju ogromne, kurirane skupove podataka za treniranje.
Može li Geminija raditi s drugim tipovima kozmičkih događaja?
Da, Geminija je moguće trenirati za klasifikaciju drugih tipova kozmičkih događaja, kao što su galaktičke kolizije ili crne rupe. Ključ je u tome da se pruži dovoljan broj anotiranih primjera i instrukcija.
Kako se Geminija može primijeniti u budućnosti?
Gemini može biti koristan alat za astronomičke ankete, posebno one koje generiraju velike količine podataka. Može pomoći u bržem i preciznijem klasificiranju kozmičkih događaja, oslobađajući znanstvenike da se koncentriraju na interpretaciju podataka.
