Harvardo tyrimas atskleidė: „OpenAI“ diagnozes nustato tiksliau nei patyrę gydytojai

Harvardo medicinos mokyklos ir Beth Israel Deaconess medicinos centro komanda palygino, kaip diagnozes skubios pagalbos pacientams parenka gydytojai ir didieji kalbos modeliai. Eksperimente analizuoti 76 pacientų atvejai, o DI gavo tą pačią informaciją, kuri buvo įrašyta elektroniniuose sveikatos įrašuose.

Tyrėjai lygino dviejų budinčių gydytojų pateiktas diferencines diagnozes su modelių „OpenAI o1“ ir „OpenAI 4o“ sugeneruotomis versijomis. Vėliau du kiti gydytojai, nežinodami, kas parengė konkrečią diagnozę, įvertino jų tikslumą ir artumą galutinei diagnozei.

Kur DI pasirodė stipriausiai?

Didžiausi skirtumai išryškėjo ankstyvajame etape, kai apie pacientą turima mažiausiai duomenų ir sprendimus tenka priimti greitai. Būtent čia DI dažniau pateikė tikslesnę arba bent jau ne prastesnę diagnostinę kryptį nei gydytojai.

Tyrime nurodoma, kad „OpenAI o1“ pateikė tikslią arba labai artimą diagnozę 67 proc. pirminio rūšiavimo atvejų. Tuo metu vieno gydytojo įvertinimai siekė 55 proc., kito – 50 proc.

„Kiekviename diagnostikos etape „o1“ rezultatai buvo nominaliai geresni arba tokie pat kaip dviejų gydytojų ir „4o“,“ – sakė tyrėjai.

Pasak komandos, svarbi detalė yra ta, kad DI rezultatams nebuvo taikomas išankstinis duomenų „valymas“ ar specialus pritaikymas. Modeliams buvo pateikta ta pati praktinė informacija, kuri realiai pasiekiama skubios pagalbos skyriuje per elektronines medicinines korteles.

Ką tai reiškia pacientams ir medikams?

Rezultatai rodo potencialą DI įrankius naudoti kaip papildomą sprendimų paramą, ypač triage ir pirminės diagnostikos metu. Tačiau tyrimas savaime nereiškia, kad DI turėtų pakeisti gydytoją: skubioje pagalboje svarbūs ne tik teisingi spėjimai, bet ir atsakomybė, klinikinis kontekstas, fizinė apžiūra bei sprendimų pasekmių valdymas.

Praktikoje didžiausia rizika yra ne vien netikslus atsakymas, o klaidingas pasitikėjimas juo, ypač kai informacija nepilna arba medicininiai įrašai turi spragų. Dėl to realiam diegimui būtini aiškūs saugikliai, audituojami vertinimo metodai, nuolatinė kokybės kontrolė ir tiksliai apibrėžta, kur DI gali padėti, o kur sprendimas privalo likti gydytojo rankose.

„Jei lyginame DI įrankius su klinikiniais įgūdžiais, turime lyginti su gydytojais, kurie iš tiesų dirba toje srityje. Nebūtų stebėtina, jei didelis kalbos modelis aplenktų dermatologą neurochirurgijos egzamine, bet tai mažai ką pasako apie realią naudą,“ – sakė skubios pagalbos gydytoja Kristen Pantagani.

Šis darbas įsilieja į platesnę sveikatos sistemos tendenciją, kai ligoninės vis aktyviau bando sprendimų paramos sistemas, padedančias greičiau susisteminti simptomus, rizikas ir galimas diagnozes. Kartu daugėja diskusijų dėl reguliavimo, atsakomybės ir pacientų duomenų saugumo, nes sveikatos apsaugos sektoriuje klaidų kaina yra ypač didelė.