AI:s löften för hälso- och sjukvården rymmer en dold sårbarhet i träningsprocessen

Det är viktigt att understryka att artikeln inte hävdar att vårdsystem i dag utsätts för attacker. I stället sammanfattar den tidigare säkerhetsforskning och använder hypotetiska men tekniskt realistiska scenarier för att visa hur dataförgiftning skulle kunna uppstå i verklighetsnära vårdmiljöer – och hur det kan förebyggas.

Vi har talat med Farhad Abtahi, forskare vid institutionen för klinisk vetenskap, intervention och teknik som är studiens korresponderande författare, om de centrala frågorna i forskningen.

AI lyfts ofta fram som en stor möjlighet för vården. Hur ser du på potentialen?

– AI kan på riktigt förbättra vården genom att hjälpa kliniker att tolka komplex information, minska den administrativa bördan och effektivisera arbetsflöden. Många av fördelarna kommer av skalan: modeller som tränats på stora datamängder kan generalisera mellan olika miljöer och stödja kliniskt arbete i högt tempo.

Vad fick dig att rikta forskningen mot säkerhetsfrågor, och särskilt dataförgiftning?

– Därför att säkerhet också är en patientsäkerhetsfråga, och ofta mindre synlig än prestanda och integritet. Dataförgiftning är särskilt oroande eftersom den riktar in sig på träningskedjan. En modell kan komprometteras på ett sätt som till synes fungerar normalt i vardaglig användning, och problemen kan upptäckas först när skadan redan hunnit bli betydande.

Många antar att större datamängder och större modeller minskar bias och gör systemen mer robusta. Vad tillför er artikel här?

– Det antagandet är vanligt: om datamängden är enorm borde dåliga datapunkter “spädas ut”. Men den evidens vi sammanställer visar att stor skala inte automatiskt skyddar. Hur framgångsrik en attack blir kan bero mer på det absoluta antalet förgiftade datapunkter än på deras andel av datasetet.

Hur liten kan en attack vara och ändå få effekt?

– I den säkerhetslitteratur vi granskar rapporterar flera studier att så få som 100–500 förgiftade datapunkter kan räcka för att kompromettera system i vissa miljöer, där attackerna i de sammanställda studierna ofta rapporteras lyckas i över 60 procent av fallen. Vi diskuterar också att upptäckt i praktiken kan gå långsamt, särskilt i distribuerade eller integritetskänsliga miljöer.

Kan du ge ett konkret exempel och förklara vad det illustrerar?

– Ett illustrativt scenario i artikeln är en Sybil-attack riktad mot AI-baserade dokumentationsassistenter (medical scribes). Detta är ett hypotetiskt hotmodelleringsexempel, inte ett dokumenterat fall. Tanken är att samordnade aktörer skulle kunna introducera förgiftade data redan vid skapandet, via till synes normala kliniska arbetsflöden – exempelvis genom att arrangera många legitima besök med manusstyrda anamneser. Om en AI-baserad dokumentationsassistent transkriberar samtalen till journalen kan posterna senare ingå i träningsdata när flera efterföljande AI-system ska tränas om.

– Värdet i exemplet ligger i mekanismen: förgiftning kan ta sig in via betrodd dokumentation, utan att någon “bryter sig in” i systemet i traditionell mening.

Menar du att detta sker i vården idag?

– Nej. Vi betonar att exemplen är hypotetiska och bygger på publicerad forskning för att visa plausibla angreppsvägar och göra förebyggande arbete mer konkret. Målet är att stärka skyddet innan verkliga incidenter inträffar.

Finns det en ”silver bullet” – ett enskilt försvar som löser problemet?

– Nej, och det är en av huvudpoängerna. Det finns ingen enskild teknisk lösning som helt adresserar risken för dataförgiftning. Artikeln argumenterar för ett försvar i flera lager, där nivåerna förstärker varandra genom hela systemets livscykel.

Hur ser ett sådant flerskiktat försvar ut i praktiken?

– Vi beskriver fyra samverkande lager:

• Detektion och övervakning – kontinuerlig granskning, bevakning av avvikelser och oväntat beteende.
• Aktiva tekniska skydd – exempelvis adversarial testing och robusthetstekniker.
• Policy och styrning – testprotokoll, dokumentationsrutiner och incidenthantering.
• Arkitektur och design – val som minskar angreppsytan, inklusive starkare kontroller av dataursprung och leverantörskedjan.

Kommer EU:s AI‑förordning att hantera denna risk – och i så fall hur?

– Den bidrar, men löser inte allt på egen hand. EU:s AI-förordning har en riskbaserad struktur och innehåller krav som är direkt relevanta för risken för dataförgiftning, särskilt för högrisk-AI. Dessa system måste uppfylla krav på datastyrning, riskhantering, loggning och dokumentation samt noggrannhet, robusthet och cybersäkerhet.

– Förordningen inför också livscykelkrav som eftermarknadsövervakning, där prestanda och regelefterlevnad aktivt samlas in och analyseras efter driftsättning, samt mekanismer för rapportering av allvarliga incidenter. Dessa processer kan underlätta upptäckt och åtgärder när något går fel över tid.

– Det som är svårare är det förebyggande arbetet: dataförgiftning kan vara subtil, och problemen kan bli synliga först månader eller år senare, när skadan redan hunnit ackumuleras. Därför argumenterar artikeln för ett försvar i flera lager, med skydd inbyggda i datapipelines, modellutveckling, driftsättning och kontinuerlig övervakning – snarare än att förlita sig på en enskild åtgärd eller reglering, avslutar Farhad Abtahi.