Veliki jezikovni modeli (VLM) se iz pasivnih pisateljev besed spreminjajo v aktivne sogovornike, ki se znajo pogovarjati z ljudmi in odzivati na zapletene dogodke v svetu. Zaupanje v take sisteme zahteva, da razvijejo notranjo slico okolice in — kar je še pomembneje — da ocenijo, kako zanesljiva je ta slika. To je ključno za naloge, kot so prilagojeni predlogi, kjer mora model iz vsake nove izjave sklepati, kaj uporabnik želi. Bayesovo sklepanje ponuja matematično najboljši okvir za takšna posodabljanja prepričanj. Če bi ga VLM znale uporabljati, bi z vsako novo informacijo bolje razumele posameznega uporabnika. Brez ciljnega učenja pa se modeli pogosto zatekajo k preprostim pravilom, denimo da vsakomur ponudijo najcenejšo možnost, namesto da bi se naučile prepoznavati osebni okus.
Raziskava z naslovom Bayesian teaching enables probabilistic reasoning in large language models predlaga novo pot: naučiti VLM, da posnemajo napovedi optimalnega Bayesovega modela. Metoda ne izboljša le uspešnosti na danih nalogah, temveč se naučene sposobnosti sklepanja prenesejo tudi na povsem nove domene. To pomeni, da lahko VLM postanejo prilagodljivejše in manj odvisne od slepega prepoznavanja vzorcev.
Zakaj verjetnostno sklepanje ni samoumevno
VLM morajo ves čas posodabljati verjetnosti, kako verjetno je, da uporabnik misli ali želi določeno stvar. Ključno vprašanje je, ali se obnašajo, kot da imajo ta stalno ažurirana prepričanja, in če ne, kako daleč so od optimalnega Bayesovega ravnanja. Brez posebnega usmerjanja modeli pogosto delujejo, kot da poznajo le statistično povprečje vseh podatkov, na katerih so se učili, in ne znajo prilagajati verjetnosti posameznemu primeru.
Kako poteka Bayesovo učenje pri VLM
Bayesova logika pravi: verjetnost hipoteze po opaženih podatkih je sorazmerna verjetnosti podatkov, če hipoteza drži, pomnoženi s predhodno verjetnostjo hipoteze. V jeziku modela to pomeni, da mora prejšnje prepričanje prilagoditi glede na to, kako presenetljivi so novi podatki.
Raziskovalci so namesto tega, da bi model prisilili v težka izračunavanja, uporabili Bayesovo učenje po zgledu: generator ustvari množico situacij, za vsako izračuna optimalno Bayesovo odločitev in te pare (situacija, Bayesova odločitev) da VLM kot učne podatke. Model se tako uči, da posnema ravnanje idealnega sklepalnika, ne da bi moral izvajati zapletene račune v času pogovora.
Kaj so pokazali eksperimenti
- Po tisočih učnih primerov VLM dosežejo več kot 90 % ujemanja z optimalnim Bayesovim modelom na istih nalogah.
- Ko se jih preizkusi na povsem novih domenah (npr. zamenjava teme pogovora ali drugačen nabor izdelkov), se njihova točnost zniža le za nekaj odstotkov, kar pomeni dobro posploševanje.
- Modeli naučeni po tej metodi presegajo tako klasične pristope kot večje, a neusmerjene modele, kar dokazuje, da je prav učna strategija tista, ki prinaša razliko.
Praktični učinki za uporabnike in razvijalce
Za uporabnike to