ECLeKTic: Novi Benchmark za Ocjenjivanje Prijenosa Znanja Između…

ECLeKTic je novi benchmark dizajniran za ocjenjivanje sposobnosti velikih jezika modela (LLMs) da prenose znanje između različitih jezika. Koristi zadatak pitanja i odgovora bez knjige, gdje modeli moraju ovisiti o svojoj unutrašnjoj znanju da odgovore na pitanja temeljena na informacijama relevantnim za određeni jezik.

Uvod u ECLeKTic

Predstavljamo vam ECLeKTic, novi benchmark dizajniran za ocjenjivanje sposobnosti velikih jezika modela (LLMs) da prenose znanje između različitih jezika. Ovaj benchmark koristi zadatak pitanja i odgovora bez knjige, gdje modeli moraju ovisiti o svojoj unutrašnjoj znanju da odgovore na pitanja temeljena na informacijama relevantnim za određeni jezik. Omer Goldman, student istraživač, i Uri Shaham, istraživački znanstvenik iz Google Researcha, su ključne figure iza ovog inovativnog projekta.

Zašto je ECLeKTic Važan?

Veliki jezici modeli (LLMs) su revolucionirali način na koji mi razumijemo i komuniciramo s računalima. Međutim, jedan od njihovih najvećih ograničenja je nedostatak sposobnosti da prenose znanje između različitih jezika. ECLeKTic je dizajniran da popuni tu prazninu, pružajući standard za ocjenjivanje i poboljšanje ove važne sposobnosti.

Kako Funkcionira ECLeKTic?

ECLeKTic koristi zadatak pitanja i odgovora (QA) temeljen na člancima s Wikipedia koji postoje samo na jednom jeziku. Na primjer, članak o Sarwadharma natpisu, drevnom artefaktu iz vremena kralja Kertanagare, postoji samo na indonezijskoj Wikipediji. Modeli moraju odgovoriti na pitanja temeljena na ovom znanju, bez pristupa samom članku. Ovo omogućuje jednostavno primjenjivanje na komercijalne modele.

Jezici i Podaci

ECLeKTic pokriva 12 jezika: engleski, francuski, njemački, hebrejski, hindi, indonezijski, talijanski, japanski, korejski, mandarinski kineski, portugalski i španjolski. Podaci su stvoreni na temelju člankima s Wikipedia koji postoje samo na jednom jeziku, a pitanja i odgovori su provjereni od strane natjecateljskih anotatora.

Rezultati i Performanse

ECLeKTic je korišten za benchmarkiranje različitih LLMs, uključujući i open-source i komercijalne modele. Najbolji rezultat je postigao Gemini 2.0 Pro s 41.6% uspjeha. Nakon objave radova, novi model, Gemini 2.5 Pro, je poboljšao ovaj rezultat na 52.6%. Ovi rezultati pokazuju da još uvijek postoji prostor za poboljšanje u prijenosu znanja između jezika.

Stvaranje i Verifikacija Podataka

Stvaranje ECLeKTica počelo je odabiranjem člankama s Wikipedia koji postoje samo na jednom jeziku. Odabrani su članci s najmanje 200 znakova i najmanje 100 pregleda tijekom 2023. godine. Iz ovih člankama izvučeni su prvih deset rečenica, a na temelju toga stvoreni su pitanja i odgovori. Anotatori, koji su bili rodom u relevantnim jezicima, provjerili su da li su pitanja odgovarajuća i da li se odnose na informacije koje su posebno važne za govornike tog jezika.

Budućnost ECLeKTica

ECLeKTic predstavlja prvi korak u pravcu poboljšanja prijenosa znanja između jezika u LLMs. Budući da je open-source, nadamo se da će zajednica istraživača doprinijeti njegovom daljnjem razvoju i primjeni. S vremenom, nadamo se da će ECLeKTic postati standard za ocjenjivanje i poboljšanje ove važne sposobnosti u LLMs.

Zaključak

ECLeKTic predstavlja revolucionaran korak u svijetu umjetne inteligencije, pružajući standard za ocjenjivanje i poboljšanje prijenosa znanja između jezika u velikim jezicima modelima. Svoju primjenu na komercijalnim modelima, ECLeKTic pokazuje da još uvijek postoji prostor za poboljšanje, a njegov open-source pristup nudi mogućnost daljnjeg razvoja i primjene od strane istraživačke zajednice.

Česta Pitanja

1. Koje jezike pokriva ECLeKTic?

ECLeKTic pokriva 12 jezika: engleski, francuski, njemački, hebrejski, hindi, indonezijski, talijanski, japanski, korejski, mandarinski kineski, portugalski i španjolski.

2. Kako se stvoreni podaci za ECLeKTic?

Podaci su stvoreni na temelju člankima s Wikipedia koji postoje samo na jednom jeziku. Odabrani su članci s najmanje 200 znakova i najmanje 100 pregleda tijekom 2023. godine. Iz ovih člankama izvučeni su prvih deset rečenica, a na temelju toga stvoreni su pitanja i odgovori.

3. Koje LLMs su testirani na ECLeKTicu?

Na ECLeKTicu su testirani 8 vodećih LLMs, uključujući i open-source i komercijalne modele. Najbolji rezultat je postigao Gemini 2.0 Pro s 41.6% uspjeha, a novi model, Gemini 2.5 Pro, je poboljšao ovaj rezultat na 52.6%.

4. Je li ECLeKTic dostupan javnosti?

Da, ECLeKTic je dostupan kao open-source benchmark na Kaggleu, što omogućuje istraživačima da ga koriste i doprinose njegovom daljnjem razvoju.

5. Koji su budući planovi za ECLeKTic?

Budući da je ECLeKTic open-source, nadamo se da će zajednica istraživača doprinijeti njegovom daljnjem razvoju i primjeni. S vremenom, nadamo se da će ECLeKTic postati standard za ocjenjivanje i poboljšanje prijenosa znanja između jezika u LLMs.