Test: AI utklassade läkare att ställa diagnos

I slutet på förra året satte sig 50 läkare för att ställa ett antal kluriga diagnoser. Halva gruppen fick ta hjälp av AI-verktyget Chat GPT, andra halvan inte.

– Många vårdgivare i USA har börjat erbjuda chattrobotar till sina anställda läkare, säger Adam Rodman, som varit med och lagt upp studien, och fortsätter:

– Men vad gör det här för läkares beslutsfattande – gör det dem bättre?

"Utklassade dramatiskt"

Experimentet handlar inte främst om själva diagnosen, utan hur läkaren kommer fram till den och om att fundera på vad som talar för att läkaren kan ha fel.

Någon större skillnad i resultatet mellan grupperna märktes inte. Läkarna som tog hjälp av språkmodellen fick 76 procent rätt, kontrollgruppen 74 procent. Men den stora skrällen kom när när AI:n fick göra testet på egen hand – den nådde 90 procent.

– AI-modellen utklassade dramatiskt båda grupperna. Den är fullt kapabel att göra en imponerande prestation på egen hand – men den gjorde inte människorna bättre, säger Rodman.

En förklaring till att läkarna som använde Chat GPT inte lyckades bättre är att de aldrig instruerades i hur den skulle användas. Många använde den som Google. En annan anledning är att människor är dåliga på att argumentera mot sig själva.

– De är inte särskilt bra på att säga "det här är anledningarna till att jag kan ha fel". Där var AI-modellen jättebra.

Ska inte ersätta

Resultatet är kontroversiellt och har gjort läkare i USA ängsliga, enligt Rodman. Han kan förstå det. Först läser de medicin i fyra år, sedan specialisttjänstgöring (residency) i ytterligare tre–sju år.

– Allt för att lära oss ställa diagnoser. Då är det nedslående när en språkmodell, som tränats på att skrapa internet och Gud vet vad, kan göra samma sak.

Svenska läkare upplever också AI:ns intåg.

– Vi ser att det finns en stor potential i AI till att förbättra vården. Och vi tror att alla läkare kommer att påverkas – eller påverkas redan – av utvecklingen, säger Sofia Rydgren Stale, överläkare och ordförande för Sveriges läkarförbund.

Var fjärde läkare använder redan AI i dag, framför allt för att hjälpa till att skriva journaler. Inom bilddiagnostiken, exempelvis i jakten på cancertumörer, har också stora framsteg gjorts. Samtidigt saknas i stort sett riktlinjer, vilket fackförbundet kritiserat.

När det gäller förmågan att ställa diagnos konstaterar Rydgren Stale att det kan finnas situationer där AI gör bättre bedömningar.

– Jag tycker att man kan se det som att studien illustrerar på ett bra sätt hur möjligheten att dra nytta av AI ser ut.

Samtidigt säger hon att AI gör sämre uppskattningar när de får andra typer av ingångsvärden. Hon betonar också att språkmodellerna är generella, och ofta inte tränade på exempelvis vissa minoriteter, och problemen som finns med att patientdata kan läcka.

Så kommer AI:n att ta läkarnas jobb? Tekniken är billig och blir till skillnad från människor aldrig trött eller irriterad. Rydgren Stale tycker att det ibland finns en tendens från politiskt håll att överskatta möjligheterna till besparingar.

– Det viktiga är att man använder potentialen men samtidigt hanterar de risker som finns. Det finns vissa saker som AI kommer att vara väldigt duktig på, och annat där människan är mycket bättre. Jag tror inte att AI kommer att kunna göra allting själv.

Diagnoser inte allt

Adam Rodman är tydlig med att påpeka att studiens slutsats inte är att läkare ska ersättas med AI. Att ställa diagnos är först och främst en liten del av läkarjobbet – och för att kunna göra det krävs det att läkaren vet vilka frågor som ska ställas, och att tester görs – i det simulerade experimentet är information redan insamlad.

– Och den största delen av min arbetsdag går inte åt till att ställa komplexa diagnoser. Den går åt till att prata, koordinera, trösta och göra pappersarbete. Men det här sätter fingret på den ängslan som jag tror att många yrkesverksamma känner för kraften i en del av de här modellerna, säger han.

I dag använder många läkare i USA AI för att spela in, skriva ut och sammanfatta patientsamtal. Om AI:n redan lyssnar – kan nästa steg vara att lägga sig i?

– Jag skulle vilja att AI:n var en tredje person i det samtalet som lyssnar och som ger rekommendationer och råd, eller till och med säger till när vi råkar ha förutfattade meningar, som vi vet är ett stort problem hos läkare, säger Rodman.