Budućnost AI: Sigurniji odgovori i brže razmišljanje

Uvođenje novih alata i tehnologija događa se kada korisnici uglavnom smatraju da su oni pouzdani, dostupni i da predstavljaju poboljšanje u odnosu na dostupne metode i radne tokove za trošak. Pet doktoranda iz prvog razreda MIT-IBM Watson AI Lab Summer Program koriste najsuvremenije resurse, ublažavaju AI probleme i stvaraju nove mogućnosti i funkcionalnosti kako bi promovisali korisnost i implementaciju AI-a — od učenja kada je model koji predviđa točnost drugog pouzdan do učinkovitijeg razmišljanja o bazi znanja. Zajedno, napori studenata i njihovih mentora formiraju kontinuiranu liniju, gdje praktična i tehnički strogi istraživački rad vodi do pouzdanijih i vrijednijih modela u različitim domenama.

Radovi studenata obuhvaćaju izradu sondi, rutera, novih mehanizama pažnje, sintetskih skupova podataka i programskih sinteza cijevi, što se odnosi na sigurnost, učinkovitost inferencije, multimodalne podatke i znanje temeljeno na razmišljanju. Njihove tehnike naglašavaju skaliranje i integraciju, s uvijek prisutnim utjecajem.

Učenje vjerovati i kada

Doktorski student matematike na MIT-u Andrey Bryutkin fokusira se na pouzdanost modela. Traži unutarnje strukture unutar problema, kao što su jednadžbe koje upravljaju sustavom i zakoni očuvanja, kako bi razumio kako ih iskoristiti za proizvodnju pouzdanijih i robustnijih rješenja. Naoružan tim i u suradnji s laboratorijem, Bryutkin je razvio metodu za proučavanje ponašanja velikih učenih modela (LLM). Zajedno s Veronikom Thost iz IBM Researcha i Marzyeh Ghassemi — asocijiranim profesorom i Germeshausen Career Development profesorom na MIT-u u Odjelu za elektrotehniku i računarstvo (EECS) i članicom Instituta za medicinske inženjerske znanosti i Laboratorija za informacije i odluke — Bryutkin je istraživao “neodređenost neodređenosti” LLM-a.

Tiny feed-forward neuralne mreže duboke dvije do tri sloja, zvane sondi, treniraju se uz LLMe i koriste se za označavanje nepouzdanih odgovora iz većeg modela za programere; međutim, ovi klasifikatori također mogu proizvesti lažne negativne rezultate i pružaju samo točnu procjenu, što ne pruža puno informacija o tome kada LLM ne uspijeva. Istražujući sigurne/nesigurne podsticaje i zadatke pitanja-odgovora, MIT-IBM tim je koristio parove podsticaja-oznake, kao i skrivene stanja poput vektora aktivacije i zadnjih tokena iz LLM-a, kako bi mjereni gradijentni rezultati, osjetljivost na podsticaje i podatke izvan raspona kako bi se utvrdilo koliko je sonda pouzdana i naučila područja podataka koja su teška za predviđanje. Njihova metoda također pomaže identificirati potencijalni šum u označenim podacima. To je kritična funkcija, jer se pouzdanost AI sustava potpuno oslanja na kvalitetu i točnost označenih podataka na kojima su građeni.

Drugi način osiguravanja pouzdanih odgovora na upite iz LLM-a jest njihovo nadogradnja vanjskim, pouzdanim bazama znanja kako bi se eliminirale halucinacije. Za struktuirane podatke, kao što su veze na društvenim mrežama, financijske transakcije ili korporativne baze podataka, znanje grafovi (KG) su prirodni izbor; međutim, komunikacije između LLM-a i KG-a često koriste fiksne, višestruke cijevi agenata koje su računalno neefikasne i skupo. Adresirajući ovo, fizički student Jinyeop Song, zajedno s istraživačima laboratorija Yada Zhu iz IBM Researcha i EECS Asocijiranog Profesora Juliana Shuna, stvorio je okvir jednog agenta, višestrukog, učinkovito učenja po jačanju koji optimizira ovaj proces. Ovdje je grupa dizajnirala API poslužitelj koji hostira Freebase i Wikidata KG-e, koji se sastoje od općih web-baziranih podataka o znanju, i LLM agenta koji izdaje ciljane radnje za dohvaćanje relevantnih informacija s poslužitelja. Zatim, kroz kontinuiranu razmjenu, agent dodaje prikupljene podatke iz KG-a u kontekst i odgovara na upit. Ključno je da se sustav koristi učinkovitim učenjem po jačanju kako bi se trenirao da isporuči odgovore koji balansiraju točnost i potpunost. Okvir uparuje API poslužitelj s jednim učinkovitim učenjem po jačanju agenta kako bi orahstirao razmišljanje temeljeno na podacima s poboljšanom točnošću, prozirnošću, učinkovitosti i prenosi.

Vremenska ispravnost i potpunost odgovora modela nose sličnu težinu kao i važnost njegove točnosti. To je posebno istinito za rukovanje dugim ulaznim tekstovima i onima gdje se elementi, kao što je subjekt priče, mijenjaju s vremenom, tako da EECS student Songlin Yang reenginira što modeli mogu rukovati na svakom koraku inferencije. Fokusirajući se na ograničenja transformatora, kao što su u LLM-ima, laboratorij Rameswar Panda iz IBM Researcha i Yoon Kim, NBX profesor i asocijirani profesor u EECS, pridružili su se Yangu kako bi razvili sljedeću generaciju modela koji mogu obraditi duge ulazne tekstove i one gdje se elementi mijenjaju s vremenom.

Skaliranje i integracija

Skaliranje i integracija su ključni aspekti u razvoju AI modela. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju novih tehnika i alata koji omogućavaju skaliranje i integraciju AI modela u različitim domenama. Njihovi napori uključuju razvoj novih mehanizama pažnje, sintetskih skupova podataka i programskih sinteza cijevi.

Novosti mehanizama pažnje

Mehanizmi pažnje su ključni za poboljšanje učinkovitosti AI modela. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju novih mehanizama pažnje koji omogućavaju modelima da se fokusiraju na najvažnije dijelove ulaznih podataka. Njihovi napori uključuju razvoj novih arhitektura neuralnih mreža koje omogućavaju modelima da se fokusiraju na najvažnije dijelove ulaznih podataka.

Sintetski skupovi podataka

Sintetski skupovi podataka su ključni za treniranje i evaluaciju AI modela. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju sintetskih skupova podataka koji omogućavaju modelima da se treniraju i evaluiraju na velikim i raznovrsnim skupovima podataka. Njihovi napori uključuju razvoj novih metoda za generiranje sintetskih podataka koji omogućavaju modelima da se treniraju i evaluiraju na velikim i raznovrsnim skupovima podataka.

Programska sinteza cijevi

Programska sinteza cijevi je ključna za automatizaciju razvoja softvera. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju programskih sinteza cijevi koje omogućavaju automatizaciju razvoja softvera. Njihovi napori uključuju razvoj novih metoda za programsku sintezu cijevi koje omogućavaju automatizaciju razvoja softvera.

Zaključak

Uvođenje novih alata i tehnologija u AI je ključno za njihovu daljnju primjenu i razvitak. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju novih tehnika i alata koji omogućavaju skaliranje i integraciju AI modela u različitim domenama. Njihovi napori uključuju razvoj novih mehanizama pažnje, sintetskih skupova podataka i programskih sinteza cijevi. Ovi napori su ključni za poboljšanje pouzdanosti, učinkovitosti i korisnosti AI modela.

Česta pitanja

Koji su najnoviji trendovi u AI?

Najnoviji trendovi u AI uključuju razvoj novih mehanizama pažnje, sintetskih skupova podataka i programskih sinteza cijevi. Ovi trendovi omogućavaju skaliranje i integraciju AI modela u različitim domenama i poboljšavaju njihovu pouzdanost, učinkovitost i korisnost.

Kako se AI koristi u različitim domenama?

AI se koristi u različitim domenama, uključujući medicinu, financije, industriju i obrazovanje. Npr., AI se koristi za dijagnosticiranje bolesti, predviđanje tržišnih trendova, optimizaciju proizvodnih procesa i personalizaciju obrazovnog sadržaja.

Koji su izazovi u razvoju AI modela?

Izazovi u razvoju AI modela uključuju skaliranje i integraciju modela u različitim domenama, poboljšanje njihove pouzdanosti, učinkovitosti i korisnosti. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju novih tehnika i alata koji omogućavaju skaliranje i integraciju AI modela u različitim domenama.

Kako se AI koristi za automatizaciju razvoja softvera?

AI se koristi za automatizaciju razvoja softvera kroz programsku sintezu cijevi. Studenti laboratorija MIT-IBM Watson AI Lab Summer Program rade na razvoju programskih sinteza cijevi koje omogućavaju automatizaciju razvoja softvera.

Koji su benefiti korištenja AI u različitim domenama?

Korištenje AI u različitim domenama donosi mnoge benefite, uključujući poboljšanje pouzdanosti, učinkovitosti i korisnosti modela. Npr., AI se koristi za dijagnosticiranje bolesti, predviđanje tržišnih trendova, optimizaciju proizvodnih procesa i personalizaciju obrazovnog sadržaja.