U današnje vrijeme, generacija obogaćena pretraživanjem (RAG) predstavlja značajan napredak u razvoju velikih jezičnih modela (LLM). Ova tehnologija omogućava modelima da koriste relevantan vanjski kontekst kako bi poboljšali točnost svojih odgovora. U ovom članku istražujemo koncept “dovoljnog konteksta” i njegovu važnost u RAG sustavima, analiziramo izazove s kojima se susreću te predlažemo načine za smanjenje pogrešaka u generiranim odgovorima.
Što je generacija obogaćena pretraživanjem?
Generacija obogaćena pretraživanjem (RAG) kombinira sposobnosti velikih jezičnih modela s vanjskim izvorima informacija. Na primjer, kada se koristi RAG sustav za zadatak pitanja i odgovora (QA), LLM prima kontekst koji može uključivati informacije iz više izvora, poput javnih web stranica, privatnih dokumenata ili grafova znanja. Idealno, LLM bi trebao dati točan odgovor ili reći “ne znam” ako ključne informacije nedostaju.
Izazovi RAG sustava
Jedan od glavnih izazova s RAG sustavima je mogućnost da korisnika obmanu s “haluciniranim” (neispravnim) informacijama. Osim toga, većina prethodnih istraživanja fokusira se samo na relevantnost konteksta u odnosu na korisničko pitanje. Međutim, smatramo da je relevantnost konteksta sama po sebi nedovoljna — važno je utvrditi pruža li kontekst dovoljno informacija za LLM da odgovori na pitanje.
Definicija dovoljnog konteksta
U našem istraživanju, definiramo kontekst kao “dovoljan” ako sadrži sve potrebne informacije za pružanje definitvnog odgovora na upit, dok je “nedovoljan” ako mu nedostaju ključne informacije, ako je nepotpun, nejasan ili sadrži proturječne informacije.
Primjeri dovoljnog i nedovoljnog konteksta
Primjer upita:
Koji je kod pogreške za “Stranica nije pronađena” i za koju poznatu laboratoriju je nazvan?
Dovoljan kontekst:
Kod pogreške “Stranica nije pronađena”, često prikazan kao 404, nazvan je po Sobi 404 u CERN-u, Europskoj organizaciji za nuklearna istraživanja. Ova soba je bila mjesto gdje je pohranjena središnja baza podataka poruka o pogreškama, uključujući onu za stranicu koja nije pronađena.
Nedovoljan kontekst:
404 pogreška, ili pogreška “Stranica nije pronađena”, označava da web poslužitelj ne može pronaći traženu stranicu. To se može dogoditi iz raznih razloga, uključujući tipfelere u URL-u, premještanje ili brisanje stranice ili privremene probleme s web stranicom.
Drugi kontekst je vrlo relevantan za korisničko pitanje, ali ne odgovara na pitanje, stoga je nedovoljan.
Razvoj automatskog ocjenjivača za dovoljan kontekst
Na temelju ove definicije, razvili smo automatski ocjenjivač (autorater) koji koristi LLM za procjenu parova upit-kontekst. Kako bismo ocijenili autorater, stručnjaci su analizirali 115 primjera pitanja i konteksta kako bi utvrdili je li kontekst dovoljan za odgovor na pitanje. Ova analiza postala je “zlatni standard” s kojim smo usporedili ocjene LLM-a.
Nakon toga, LLM je ocijenio iste upite i kontekste, dajući odgovor “točno” za dovoljan kontekst ili “netočno” za nedovoljan kontekst. Kako bismo optimizirali sposobnost modela za rješavanje ovog zadatka, poboljšali smo upit s različitim strategijama, poput “chain-of-thought” upita i pružanja jednog primjera.
Točnost klasifikacije dovoljnog konteksta
Naš automatski sustav ocjenjivanja omogućuje nam da skalabilno označimo primjere i analiziramo odgovore modela na temelju dovoljnog i nedovoljnog konteksta. Pokazali smo da možemo klasificirati dovoljan kontekst s vrlo visokom točnošću (barem 93% vremena). Najbolji rezultat postigao je model Gemini 1.5 Pro, bez dodatnog podešavanja.
Ključni uvidi u RAG sustave
Korištenjem našeg autoratera za dovoljan kontekst, analizirali smo performanse različitih LLM-ova i skupova podataka, što je dovelo do nekoliko ključnih saznanja:
- Modeli najnovije generacije: Modeli poput Gemini, GPT i Claude obično su izvrsni u odgovaranju na upite kada imaju dostatan kontekst, ali im nedostaje sposobnost prepoznavanja i izbjegavanja generiranja netočnih odgovora kada je kontekst nedovoljan.
- Manji open-source modeli: Naša analiza otkriva specifične probleme s manjim modelima koji se ne mogu nositi s kompleksnijim upitima bez dovoljnog konteksta.
Zaključak
Generacija obogaćena pretraživanjem predstavlja značajan korak naprijed u razvoju jezičnih modela, ali izazovi poput halucinacija i nedovoljnog konteksta ostaju ključni problemi. Razvijanje metoda za procjenu dovoljnog konteksta može značajno poboljšati točnost i pouzdanost RAG sustava. U budućnosti, očekujemo daljnji razvoj ovih tehnologija kako bi se osigurala veća preciznost i korisnost u raznim aplikacijama.
Najčešća pitanja (FAQ)
Što je generacija obogaćena pretraživanjem?
Generacija obogaćena pretraživanjem (RAG) je tehnika koja kombinira velike jezične modele s vanjskim izvorima informacija kako bi poboljšala točnost odgovora na upite.
Što znači “dovoljan kontekst”?
Dovoljan kontekst označava da kontekst sadrži sve potrebne informacije za pružanje točnog odgovora na postavljeno pitanje.
Koji su izazovi s RAG sustavima?
Glavni izazovi uključuju mogućnost generiranja netočnih informacija (halucinacija) i nedostatak prepoznavanja kada je kontekst nedovoljan za odgovor.
Kako se ocjenjuje dovoljan kontekst?
Dovoljan kontekst se ocjenjuje pomoću automatskog ocjenjivača koji koristi LLM za analizu parova upit-kontekst i određivanje njihove točnosti.
Koji su modeli najnovije generacije u RAG sustavima?
Modeli poput Gemini, GPT i Claude su među najnovijim i najuspješnijim modelima u generaciji obogaćenoj pretraživanjem.
