Mål for sandkasseprosjektet
Ahus hadde allerede startet utvikling av EKG AI-algoritmen da de ble plukket ut som deltaker i Datatilsynets regulatoriske sandkasse, våren 2022. Ahus ønsket å diskutere algoritmeskjevhet og hvordan sikre at EKG AI-algoritmen gir rettferdige prediksjoner.
Det finnes begrenset rettspraksis om kravet til rettferdige algoritmer, og personvernforordningen gir ikke klare svar på hvordan prinsippet skal tolkes i praksis. Målet med dette sandkasseprosjektet har derfor vært å utforske hva som ligger i rettferdighetsprinsippet i personvernforordningen artikkel 5 og hvordan det skal forstås i møte med et konkret KI-prosjekt.
Sandkasseprosjektet har som mål å undersøke om det eksisterer skjevheter i EKG AI, og komme med forslag til konkrete tiltak for å redusere en eventuell diskriminering. Tiltakene har til hensikt å utvikle algoritmer som fremmer likebehandling og forhindrer diskriminering. I den forbindelse har Likestillings- og diskrimineringsombudet (LDO) bidratt inn i prosjektet med spisskompetanse på diskrimineringsregelverket.
Hensikten med sluttrapporten er at diskusjonene og resultatene har overføringsverdi til andre helseprosjekter som benytter seg av kunstig intelligens.
Sandkasseprosjektets mål:
- Hva er rettferdighet og algoritmeskjevhet? Få bedre forståelse for begrepene «rettferdighet», «algoritmeskjevhet» og «diskriminerende algoritmer» samt redegjøre for hvilke regelverk som er relevant i disse tilfellene.
- Hvordan avdekke algoritmeskjevhet? Undersøke hvorvidt, og i hvilken grad, algoritmeskjevhet eksisterer, og eventuelt kan oppstå, i EKG AI-algoritmen til Ahus.
- Hvilke tiltak kan redusere algoritmeskjevhet? Komme med forslag til tekniske og organisatoriske tiltak for å redusere og korrigere eventuelle skjevheter i algoritmen.
Av kapasitetshensyn har sandkasseprosjektet ikke vurdert krav til rettslig grunnlag for behandling av personopplysninger i dette prosjektet. Det kan kort nevnes at bruk av pasientopplysninger i utviklingen av beslutningstøtteverktøyet ble godkjent av Helsedirektoratet i januar 2022 i henhold til helsepersonelloven § 29. Et slikt vedtak gir en dispensasjon fra taushetsplikten og et supplerende rettslig grunnlag for behandling av personopplysninger etter personvernforordningen. For nærmere beskrivelse av rettslig grunnlag for behandling av helseopplysninger i forbindelse med utvikling av algoritmer i helsesektoren, se sluttrapport i sandkasseprosjektet Helse Bergen, publisert høsten 2022.
Etter personvernforordningen artikkel 35 stilles det krav til vurdering av personvernkonsekvenser (DPIA) dersom behandlingen av personopplysninger medfører «høy risiko» for fysiske personers rettigheter og friheter. Før Ahus startet utvikling av algoritmen, EKG AI, utformet de en DPIA, men dette har ikke vært et fokusområde for sandkasseprosjektet. Elementer fra rapporten, særlig metode for å avdekke algoritmeskjevhet samt tiltak for å redusere risiko for algoritmeskjevhet, er imidlertid relevante å ha med i en DPIA.