MLE-STAR: Najsavremeniji agent za inženjerstvo strojnog učenja

Jinsung Yoon, istraživač nauke, i Jaehyun Nam, student istraživač, Google Cloud
1. kolovoza 2025.

MLE-STAR je najsavremeniji agent za inženjerstvo strojnog učenja koji je sposoban automatizirati različite zadatke strojnog učenja kroz raznovrsne podatkovne modalitete, pri čemu postiže vrhunske performanse. Brzi linkovi: Članak ×

Rast strojnog učenja (ML) potaknuo je razvoj visokoperformansnih aplikacija u širokom nizu stvarnih scenarija, od klasifikacije tabličnih podataka do uklanjanja šuma s slike. Međutim, izrada tih modela ostaje teška zadaca za inženjere strojnog učenja, zahtijevajući obimnu iterativnu eksperimentaciju i inženjerstvo podataka. Da bi se ova zahtjevna radna tijeka ubrzala, nedavne istraživanja su se fokusirala na korištenje velikih modela jezika (LLM) kao agenata za inženjerstvo strojnog učenja (MLE). Iskoristivši njihove prirodne vještine kodiranja i razmišljanja, ovi agenti koncipiraju ML zadatke kao probleme optimizacije koda. Zatim istražuju potencijalna rješenja koda, konačno generirajući izvršivi kod (kao što je Python skripta) na temelju opisa zadatka i skupova podataka.

Agenti za inženjerstvo strojnog učenja razvijeni su da rade na raznovrsnim izazovima strojnog učenja analizirajući opis zadatka i skupove podataka koji mogu obuhvaćati različite modalitete. Njihov konačni cilj je pronaći najbolje rješenje za dati problem. Iako su napravili obećavajuće početne korake, trenutačni MLE agenti imaju nekoliko ograničenja koja ograničavaju njihovu učinkovitost. Prvo, njihova velika ovisnost o postojećem LLM znanju često dovodi do predrasuda prema poznatim i često korištenim metodama (npr. biblioteka scikit-learn za tablične podatke), zaboravljajući na potencijalno superiorne zadatak-specifične pristupe. Također, ovi agenti obično koriste strategiju istraživanja koja mijenja cijeli kod u svakoj iteraciji. To često dovodi do toga da agenti prekasno promijene fokus na druge faze (npr. odabir modela ili podešavanje hiperparametara) jer nemaju kapacitet za duboku, iterativnu istraživanja unutar specifičnih komponenti cjevovoda, kao što je iscrpno eksperimentiranje s različitim opcijama inženjerstva značajki.

U našem nedavnom članku, predstavili smo MLE-STAR, novog ML inženjerskog agenta koji integrira web pretraživanje i ciljano usavršavanje blokova koda. U suprotnosti s alternativama, MLE-STAR rješava ML izazove prvo pretražujući web za odgovarajuće modele kako bi dobio čvrstu osnovu. Zatim pažljivo poboljšava ovu osnovu testiranjem koji dijelovi koda su najvažniji. MLE-STAR također koristi novu metodu za miješanje nekoliko modela za još bolje rezultate. Ovaj pristup je vrlo uspješan – osvojio je medalje u 63% natjecanja na Kaggle-u u MLE-Bench-Lite, značajno nadmašujući alternative.

Uvod u MLE-STAR

Da bi generirao početni kod rješenja, MLE-STAR koristi web pretraživanje za dohvaćanje relevantnih i potencijalno najsavremenijih pristupa koji bi mogli biti učinkoviti za izgradnju modela. [da8046] Da bi poboljšao rješenje, MLE-STAR izvlači specifičan blok koda koji predstavlja pojedinačni komponentu ML cjevovoda, kao što je inženjerstvo značajki ili gradnja ansambla. Zatim se koncentrira na istraživanje strategija prilagođenih tom komponentu, razmišljajući o prethodnim pokušajima kao povratnoj informaciji. Da bi identificirao blok koda s najvećim utjecajem na performanse, MLE-STAR provodi studiju uklanjanja koja procjenjuje doprinos svakog ML komponente. Ovaj proces usavršavanja se ponavlja, modificirajući različite blokove koda.

Pregled

(a) MLE-STAR počinje korištenjem web pretraživanja da pronađe i uključi zadatak-specifične modele u početno rješenje. (b) Za svaki korak usavršavanja, provodi studiju uklanjanja da identificira blok koda s najvećim utjecajem na performanse. (c) Identificirani blok koda zatim podliježe iterativnom usavršavanju na temelju planova predloženih od strane LLM-a, koji istražuju različite strategije koristeći povratne informacije iz prethodnih eksperimenata. Ovaj proces odabira i usavršavanja ciljanih blokova koda ponavlja se, gdje poboljšano rješenje iz (c) postaje početna točka za sljedeći korak usavršavanja u (b).

Dodatno, predstavili smo novu metodu za generiranje ansambala. MLE-STAR prvo predlaže više kandidata rješenja. Zatim, umjesto da se oslanja na jednostavni mehanizam glasovanja na temelju ocjena validacije, MLE-STAR spaja ove kandidata u jedno poboljšano rješenje koristeći strategiju ansambla koju sam agent predlaže. Ova strategija ansambla iterativno se usavršava na temelju performansi prethodnih strategija.

Usavršavanje ansambala: MLE-STAR refinira svoje strategije ansambla kroz više pokušaja, učinkovito spajajući više paralelno generiranih rješenja u jedno poboljšano rješenje.

Konačno, MLE-STAR uključuje tri dodatna modula da bi poboljšao svoju otpornost: (i) agent za otklanjanje pogrešaka, (ii) provjera za utjecaj podataka i (iii) provjera korištenja podataka. Za agenta za otklanjanje pogrešaka, ako izvršavanje Python skripte pokrene pogrešku, što dovede do zapisa pogreške, agent za otklanjanje pogrešaka analizira zapis pogreške i predlaže popravke. Provjera za utjecaj podataka provjerava da li se podaci iz skupa za testiranje pojavljuju u skupu za treniranje, što bi moglo utjecati na performanse modela. Provjera korištenja podataka provjerava da li se podaci iz skupa za testiranje pojavljuju u skupu za treniranje, što bi moglo utjecati na performanse modela.

Zaključak

MLE-STAR predstavlja revolucionarni korak u automatizaciji inženjerstva strojnog učenja, pružajući inženjerima ML alate koji mogu značajno ubrzati i poboljšati njihove radne procese. Njegova sposobnost da integrira web pretraživanje i ciljano usavršavanje blokova koda, zajedno s novim metodama za generiranje ansambala, čini ga izuzetno učinkovitim u rješavanju raznovrsnih izazova strojnog učenja. Budući da je MLE-STAR pokazao izvanredne rezultate u natjecanjima kao što je MLE-Bench-Lite, očekuje se da će postati standard u industriji za automatizaciju inženjerstva strojnog učenja.

Česta pitanja

Koji su glavni prednosti MLE-STAR-a?

MLE-STAR pruža nekoliko ključnih prednosti, uključujući integraciju web pretraživanja za dohvaćanje najsavremenijih pristupa, ciljano usavršavanje blokova koda za poboljšanje performansi, i novu metodu za generiranje ansambala koja kombinira više rješenja u jedno poboljšano rješenje. Također, uključuje module za otklanjanje pogrešaka, provjeru za utjecaj podataka i provjeru korištenja podataka.

Kako MLE-STAR poboljšava performanse modela?

MLE-STAR poboljšava performanse modela kroz iterativno usavršavanje specifičnih blokova koda koji imaju najveći utjecaj na performanse. To uključuje studiju uklanjanja koja procjenjuje doprinos svakog ML komponente i usavršavanje strategija prilagođenih tim komponentama. Također, koristi novu metodu za miješanje nekoliko modela za još bolje rezultate.

Koliko je MLE-STAR učinkovit u rješavanju raznovrsnih izazova strojnog učenja?

MLE-STAR je pokazao izvanredne rezultate u natjecanjima kao što je MLE-Bench-Lite, osvojivši medalje u 63% natjecanja. Njegova sposobnost da integrira web pretraživanje i ciljano usavršavanje blokova koda čini ga izuzetno učinkovitim u rješavanju raznovrsnih izazova strojnog učenja.

Koji su ograničenja MLE-STAR-a?

Trenutačni MLE agenti, uključujući MLE-STAR, imaju ograničenja kao što je ovisnost o postojećem LLM znanju, što može dovesti do predrasuda prema poznatim metodama. Također, njihova strategija istraživanja koja mijenja cijeli kod u svakoj iteraciji može dovesti do prekasnog promjene fokusa na druge faze. Međutim, MLE-STARova integracija web pretraživanja i ciljanog usavršavanja blokova koda, zajedno s novom metodom za generiranje ansambala, čini ga izuzetno učinkovitim u rješavanju raznovrsnih izazova strojnog učenja.

Kako se MLE-STAR može primijeniti u stvarnim scenarijima?

MLE-STAR se može primijeniti u raznim stvarnim scenarijima, od klasifikacije tabličnih podataka do uklanjanja šuma s slike. Njegova sposobnost da integrira web pretraživanje i ciljano usavršavanje blokova koda, zajedno s novom metodom za generiranje ansambala, čini ga izuzetno učinkovitim u rješavanju raznovrsnih izazova strojnog učenja. Očekuje se da će MLE-STAR postati standard u industriji za automatizaciju inženjerstva strojnog učenja.