Så kan vården veta att AI-system för bröstcancer funkar kliniskt
I dag finns ett tiotal godkända AI-system för bröstcancerscreening. Men hittills har det varit svårt att objektivt utvärdera dem. Nu finns en nationell valideringsplattform som kan jämföra hur bra olika AI-system är på att upptäcka tecken på bröstcancer – och utvecklingen har letts av forskare vid Karolinska Institutet.
Pilotprojektet startade 2021 och plattformen stod klar under förra året. Hittills har den använts för att påbörja utvärdering av tre olika företags algoritmer baserat på cirka 40 000 mammografibilder från tre regioner i Sverige.
– Det är viktigt att utvärdera den diagnostiska träffsäkerheten hos de AI-algoritmer som kan komma att användas kliniskt. Även om de uppfyller regelkraven betyder det inte att de fungerar bra i alla sammanhang, säger projektledaren Fredrik Strand, forskare vid institutionen för onkologi-patologi, Karolinska Institutet, och röntgenläkare vid Karolinska Universitetssjukhuset.
I tidskriften Journal of Medical Imaging beskriver forskarna hur de gått till väga med förhoppningen om för att fler ska kunna skapa liknande plattformar.
– Genom att göra vår kod fritt tillgänglig hoppas vi att den kommer till nytta vid utvärderingar av algoritmer för fler cancerformer än bröstcancer, säger Fredrik Strand.
Möjliggör objektiv utvärdering
Möjligheten att objektivt utvärdera olika algoritmer är efterlängtad, menar han. Flera regioner i landet ligger redan i startgroparna för att använda AI inom mammografiscreening.
– Därför är det bråttom att få system på plats som kan utvärdera algoritmer under lokalt relevanta förhållanden. Det är viktigt att varje sjukhus väljer rätt system utifrån sina förutsättningar för att inte riskera att missa en bröstcancer eller återkalla onödigt många friska kvinnor, säger Fredrik Strand.
I dag finns ingen enhetlig utvärdering av AI-algoritmers träffsäkerhet inom medicinsk diagnostik. Det beror på att tillverkarna av AI-system både tränat och testat sina algoritmer på olika mammografibilder. I plattformen får alla algoritmer bearbeta samma bilder, och resultatet jämförs sedan med ett ”facit” på faktiska cancerdiagnoser från Nationellt kvalitetsregister för bröstcancer (NKBC). Det gör det möjligt att visa skillnader hos algoritmerna som kan bero på hur de är tränade samt vilka tekniker och metoder som använts vid respektive mammografiscreening. Eftersom dagens AI-algoritmer har tränats på de specifika befolkningsgrupper som utvecklarna haft tillgång till kan de även innehålla bias som snedvrider resultatet.
– Plattformen kommer även att kunna visa vilka bias som finns hos en algoritm, främst när det gäller ålder, geografiskt ursprung och socioekonomisk status, säger Fredrik Strand.
Kan även locka tillverkarna
Förhoppningen är att detta sätt att testa algoritmer även ska locka tillverkarna. Här kan de få en oberoende bedömning som kan hjälpa dem att förbättra sina egna produkter.
– Det gäller dock att vården bidrar till utvecklingen genom att sätta som krav på tillverkarna att delta i oberoende tester, till exempel inför en upphandling, säger Fredrik Strand.
Utvecklingen av valideringsplattformen har skett inom ramen för ett forskningsprojekt som går i mål 2024. Innan dess ska projektgruppen ha tagit fram ett förslag till hur plattformen kan permanentas för nationell användning. Samtidigt bjuds fler regioner in att utnyttja plattformen redan i dag.
– Vi vill gärna att fler regioner tar chansen att ta del av denna möjlighet. Även när det gäller att utvärdera andra algoritmer än de tre som redan finns installerade, säger Fredrik Strand.
I projektet deltar förutom Karolinska Institutet och Karolinska Universitetssjukhuset även Lunds universitet, Region Skåne, Linköpings universitet, Region Östergötland, KTH, Bröstcancerförbundet och Medtech4Health AB.
Forskningen har finansierats av Regionala cancercentrum i samverkan och Vinnova. Flera av forskarna har rapporterat potentiella intressekonflikter, inklusive anställningar på bolag inom medicinsk bildhantering och patent på mammografiteknologi.
Här hittar du mer information om projektet Nationell valideringsplattform för AI inom mammografiscreening.
Publikation
“VAI-B: A multi-center platform for the external validation of artificial intelligence algorithms in breast imaging.” Fernando Cossío, Haiko Schurz, Mathias Engström, Carl Barck-Holst, Apostolia Tsirikoglou, Claes Lundström, Håkan Gustafsson, Kevin Smith, Sophia Zackrisson, Fredrik Strand, Journal of Medical Imaging, online 20 mars, 2023, doi: 10.1117/1.JMI.10.6.061404