AMIE dobiva vid: istraživački AI agent za multimodalni dijagnostički…

Google DeepMindov istraživač Khaled Saab i Google Researchov inženjer softvera Jan Freyberg predstavljaju prvi put u povijesti multimodalni dijagnostički dijalogični AI agent, AMIE. U ovom članku istražujemo kako je AMIE napredovala u integraciju vizualnih podataka u dijagnostičke razgovore, te kako se to odražava na njegovu učinkovitost.

U posljednje vrijeme, sustavi AI temeljeni na modelima jezika, poput Articulate Medical Intelligence Explorer (AMIE), pokazali su veliku potencijalnost u vodjenju tekstualnih dijagnostičkih razgovora u medicini. Međutim, kritičan aspekt kako oni mogu integrirati multimodalne podatke tijekom tih razgovora još uvijek nije istraživan. Platforme za brze poruke su popularan alat za komunikaciju koji omogućuje statičnu multimodalnu informaciju (npr. slike i dokumenti) da obogati razgovore, a njihova primjena je također prijavljena u medicinskim okruženjima. Ova sposobnost razgovora o multimodalnoj informaciji posebno je relevantna u medicini, gdje su istraživanja i testovi neophodni za učinkovito liječenje i mogu značajno utjecati na tijek konzultacije.

Stoga, važno je istražiti može li AI na temelju velikih jezika (LLM) voditi dijagnostičke kliničke razgovore koji uključuju ovu složeniju vrstu informacija. U našem novom radu, napredovali smo AMIE s mogućnošću pametnog zahtijevanja, tumačenja i razmišljanja o vizualnoj medicinskoj informaciji tijekom kliničkog dijagnostičkog razgovora, radimo na točnom dijagnostičkom i upravljačkom planu.

Kako bismo to postigli, temeljeći se na multimodalnom Gemini 2.0 Flash kao na glavnom komponentu, razvili smo agentni sustav koji optimizira svoje odgovore na temelju faze razgovora i njegovog evoluiranja neizvjesnosti u vezi s podloškim dijagnostikom. Ova kombinacija rezultirala je procesom prikupljanja povijesti koji je bolje emulirao strukturu prikupljanja povijesti koja je uobičajena u stvarnom svjetskom kliničkom praksom.

Kroz ekspertnu procjenu koja je prilagođena Objektivnim strukturiranim kliničkim ispitima (OSCE), standardiziranom ocjenjivanju koje se globalno koristi u medicinskom obrazovanju, usporedili smo performanse AMIE s primarnim liječnicima (PCP) i procijenili njegove ponašanja na brojnim multimodalnim scenarijima pacijenata. Daljnji eksperimenti s Gemini 2.5 Flash pokazuju mogućnost daljnjeg poboljšanja AMIE tako da se integrira najnoviji model.

Predstavljanje multimodalnog AMIE

Predstavljamo multimodalni AMIE, naš dijagnostički dijaloški AI koji može pametno zahtijevati, tumačiti i razmišljati o vizualnoj medicinskoj informaciji tijekom kliničkog dijagnostičkog razgovora. Integrirajući multimodalno osjetljivo i razmišljanje u AMIE, kombinacijom nativno multimodalnih Gemini modela i našeg okvirnog razmišljanja s osjećajem stanja.

Napredak AMIE za multimodalno razmišljanje

Uvodimo dva ključna napretka u AMIE. Prvo, razvili smo multimodalni okvir za razmišljanje s osjećajem stanja. Ovo omogućava AMIE da prilagodi svoje odgovore na temelju svog unutrašnjeg stanja, koje odražava njegovo znanje o pacijentu u određenom trenutku razgovora, i da učinkovito i učinkovito prikuplja informacije da bi se dobile odgovarajuće dijagnoze (npr. zahtijevajući multimodalnu informaciju, kao što su fotografije kože, da bi riješili bilo kakve praznine u njegovom znanju). Drugo, kako bismo informirali ključne dizajnerske odabire u sustavu AMIE, stvorili smo okruženje za simulaciju dijaloga za ocjenu u kojem AMIE razgovara s simuliranim pacijentima temeljenim na multimodalnim scenarijima temeljenim na realnim skupovima podataka, kao što je SCIN skup podataka dermatoloških slika.

Emuliranje prikupljanja povijesti iskusnih kliničara: Razmišljanje s osjećajem stanja

Stvarni klinički dijagnostički dijalozi slijede strukturu, ali fleksibilni put. Klinici sustavno prikupljaju informacije dok oblikuju potencijalne dijagnoze. Možu strateški zahtijevati i tumačiti daljnje detalje iz raznovrsnih multimodalnih podataka (npr. fotografije kože, rezultati laboratorijskih ispitivanja ili mjerenja EKG-a). U svjetlu takvih novih dokaza, mogu postaviti odgovarajuća pitanja za razrješavanje praznina u informacijama i odrediti mogućnosti dijagnoze. Da bismo opremili AMIE s takvom sposobnošću dijaloga, uvodimo novi okvir za prijelaz faze s osjećajem stanja koji orkestrira tok razgovora.

Iskoristivši Gemini 2.0 Flash, ovaj okvir dinamički prilagođava AMIE-ine odgovore na temelju međuprodukta modela koji odražavaju evoluiranje stanja pacijenta, dijagnostičke hipoteze i neizvjesnost. Ovo omogućava AMIE da zahtijeva relevantne multimodalne artefakte kada je potrebno, točno tumačiti njihove nalaze, ujedno integrirajući tu informaciju u nastavljajući dijalog i koristeći je za preciznije dijagnoze i vodstvo daljnjeg pitanja. Ovo emulira strukturu, adaptivno razmišljanje koje koriste iskusni klinici.

AMIE koristi okvir za dijaloški dijalog koji napreduje kroz tri različite faze, svaka s jasnim ciljem: Prikupljanje povijesti, Dijagnoza i upravljanje, te Nadgledanje. AMIE-ino dinamičko unutarnje stanje — koje odražava njegovo evoluiranje shvaćanje pacijenta, dijagnostikujući i upravljački plan.

Zaključak

U ovom članku istražili smo kako je AI agent AMIE napredovao u integraciju vizualnih podataka u dijagnostičke razgovore, te kako se to odražava na njegovu učinkovitost. AMIE koristi multimodalni okvir za razmišljanje s osjećajem stanja koji mu omogućava da prilagodi svoje odgovore na temelju svog unutrašnjeg stanja i evoluiranja neizvjesnosti u vezi s podloškim dijagnostikom. Ovo mu omogućava da učinkovito i učinkovito prikuplja informacije da bi se dobile odgovarajuće dijagnoze i upravljački planovi.

Budući da je AMIE pokazao veliku potencijalnost u vodjenju dijagnostičkih razgovora, očekuje se da će nastaviti biti važan alat u medicinskoj dijagnostici i upravljanju. Međutim, važno je napomenuti da je ovo istraživanje još u razvoju i da će daljnja istraživanja biti neophodna da bi se potvrdila njegova učinkovitost i pouzdanost u stvarnim medicinskim okruženjima.

Česta pitanja

Kako AMIE koristi vizualne podatke u dijagnostičkim razgovorima?

AMIE koristi multimodalni okvir za razmišljanje s osjećajem stanja koji mu omogućava da zahtijeva, tumači i razmišlja o vizualnim medicinskim informacijama tijekom dijagnostičkog razgovora. Ovo mu omogućava da prilagodi svoje odgovore na temelju svog unutrašnjeg stanja i evoluiranja neizvjesnosti u vezi s podloškim dijagnostikom.

Koliko je učinkovit AMIE u usporedbi s primarnim liječnicima?

U ekspertnoj procjeni koja je prilagođena Objektivnim strukturiranim kliničkim ispitima (OSCE), usporedili smo performanse AMIE s primarnim liječnicima (PCP) i procijenili njegove ponašanja na brojnim multimodalnim scenarijima pacijenata. AMIE je pokazao veliku potencijalnost u vodjenju dijagnostičkih razgovora i prikupljanju informacija.

Može li AMIE biti korišten u stvarnim medicinskim okruženjima?

Budući da je ovo istraživanje još u razvoju, važno je napomenuti da će daljnja istraživanja biti neophodna da bi se potvrdila njegova učinkovitost i pouzdanost u stvarnim medicinskim okruženjima. Međutim, AMIE predstavlja važan korak prema tome da se AI koristi u medicinskoj dijagnostici i upravljanju.

Koji su budući napretci za AMIE?

Daljnji eksperimenti s Gemini 2.5 Flash pokazuju mogućnost daljnjeg poboljšanja AMIE tako da se integrira najnoviji model. Također, očekuje se da će daljnja istraživanja biti neophodna da bi se potvrdila njegova učinkovitost i pouzdanost u stvarnim medicinskim okruženjima.