Simplifai og NVE, sluttrapport: Digital medarbeider

Innebygd personvern ved kjøp av intelligente løsninger

Prinsippet om innebygd personvern har eksistert lenge, men ble ikke lovfestet før personvernforordningen kom i 2018. Kravet bygger på tanken om, at et system må ha personvernmekanismer bygget inn i løsningen fra start for at den som bruker systemene skal kunne etterleve personvernregelverket som helhet. Å slenge på tiltak for å «fikse» personvernproblemstillinger i ettertid, vil i lengden gi mindre personvernvennlige løsninger enn de som har personvern bygget inn fra start.

Hvem må sørge for innebygd personvern?

For å etterleve artikkel 25, er en avhengig av at programmerere og utviklere implementerer egnede tekniske løsninger. Det er bare de som utvikler selve løsningen, som kan bygge inn gode personvernmekanismer fra start. Likevel ligger ikke ansvaret for etterlevelse av kravet hos produsenten av programvare eller hos databehandler, men hos den behandlingsansvarlige.

Se Datatilsynets veileder om innebygd personvern.

Det er sånn forordningen er lagt opp. Den behandlingsansvarlige har ansvar for behandlingen av personopplysninger. Den bevisste behandlingsansvarlige vil etterspørre gode personvernmekanismer når de kjøper produkter. På den måten vil produsenter som kan gi garantier for innebygde personvernløsninger ha en konkurransefordel. Dette forutsetter en kompetanse hos den behandlingsansvarlige, som skal kjøpe inn maskinlæringsløsningen, både om

  • innebygd personvern
  • maskinlæring
  • kontrakter
  • anskaffelsesreglene (for behandlingsansvarlige som må følge lov om offentlige anskaffelser)

Hva skal bygges inn?

Det et system skal ha innebygd, er:

Dette betyr alt fra abstrakte krav som rettferdighet til mer praktiske krav som rutiner for sletting. Så, når har en virksomhet klart å bygge inn personvern? Hva som er å regne som egnede tekniske og organisatoriske tiltak, er ikke direkte definert i lovteksten. Datatilsynets veileder om innebygd personvern understreker at tiltakene må være egnet til å fremme personvernet på en effektiv måte, og gir eksempler på nøkkelelementer for de ulike personvernprinsippene. Hvilke tiltak som kreves og nivået på tiltakene, skal den behandlingsansvarlige bestemme ved å vurdere følgende momenter:

  • Den tekniske utviklingen
  • Gjennomføringskostnader
  • Hvilken behandling som gjøres basert på art, omfang, formål og sammenheng
  • Risikoen for de registrertes rettigheter og friheter – sannsynlighet og alvorlighetsgrad

Med andre ord legger artikkel 25 opp til at konteksten behandlingen foregår i skal være bestemmende for hvordan og til hvilken grad personvern bygges inn i løsningene. Alle forordningens bestemmelser gjelder uansett, men hvordan en spesifikk sletterutine bygges inn i løsningen, må bestemmes ut fra hva som er mest egnet.

Innebygd personvern og maskinlæring

Maskinlæring kan gjøre det vanskeligere å bestemme hvilke tiltak som vil være mest egnet for å sørge for innebygd personvern. Årsakene er at maskinlæring utfordrer personvernet på følgende måter:

  • De fleste kjøper algoritmer som er ferdigutviklet (hyllevare) og gjenbrukes til ulike formål
  • Trening av maskinlæringsløsninger krever store mengder data
  • Vi vet fortsatt lite om hvordan maskinlæring kan gå ut over den enkeltes rettigheter og friheter og gi uventede effekter, for eksempel
    • diskriminering
    • mangel på åpenhet

Maskinlæringsalgoritmer kan være lite gjennomsiktige. Det kan være vanskelig å forklare logikken en maskinlæringsløsning baserer resultatene sine på, ofte kalt svart boks-problematikk.

Dersom risikoen for den enkeltes rettigheter og friheter for eksempel knytter seg til diskriminering, må tiltaket redusere risikoen for diskriminering. Dermed må algoritmene bygges slik at diskriminering ikke forekommer.

Maskinlæringsløsninger anskaffes ofte som såkalt «hyllevare». Det vil si at løsningen er utviklet av noen andre enn de som faktisk har behandlingsansvaret ved bruken av verktøyet. Kjøperen vil stå med ansvaret for å anskaffe en løsning som har innebygd personvern. Kjøperen (den behandlingsansvarlige) kan velge en databehandler som garanterer for etterlevelsen, men for å velge korrekte tiltak på korrekt nivå, må behandlingsansvarlig også forstå hvilken effekt løsningen har på de registrertes personvern. Fordi maskinlæringsløsninger ofte er komplekse og vanskelige å forklare, vil dette føre til en større utfordring for de behandlingsansvarlige enn for teknologi som ikke inneholder maskinlæring.   

I sandkasseprosjektet ønsket vi å belyse hvordan innebygd personvern kan ivaretas i anskaffelse av intelligente løsninger. For å forstå hva offentlige aktører trenger hjelp til, valgte vi å gjennomføre et case-studie for å kartlegge landskapet og utforme noen enkle anbefalinger.

Hvordan gikk vi fram for å lage anbefalingene?

For å avklare hvilken informasjon offentlige aktører trenger for å gjøre gode valg i innkjøp av maskinlæringsløsninger har prosjektgruppen valgt å gjennomføre intervju med en offentlig aktør (NVE). Formålet med intervjuet var å danne et bilde av hvilke behov offentlige virksomheter har til informasjon om innebygd personvern. Basert på intervjuet valgte vi å lage en anbefaling med punkter offentlige aktører kan følge opp. NVE ble også invitert til å gi innspill til et tidlig utkast til anbefalingene, for å se om de møtte behovet. I tillegg til NVE ga representanter fra politiet og Simplifai innspill til utkastet.

NVE ble aktuelle som case, fordi de allerede hadde vært i kontakt med Simplifai angående arkivsystemet tidligere. Som en offentlig aktør er NVE et interessant casevalg, fordi virksomheten i relativt liten grad behandler personopplysninger, sammenlignet for eksempel med en kommune. Likevel vil NVE være nødt til å behandle personopplysninger om sine egne ansatte, som DAM berører. NVE er også en offentlig aktør med erfaring i å utvikle løsninger selv, noe som skaper et interessant perspektiv i en bestillersituasjon som denne.  

Tilbakemeldingen fra NVE etter intervjuet, er at det er stort behov for veiledning i å ivareta personvern ved anskaffelse av intelligente løsninger. Også de øvrige arbeidsmøtene om innebygd personvern i sandkasseprosjektet bekrefter behovet for veiledning.

Behov for informasjon om innebygd personvern støttes også av arbeidet Datatilsynet gjør utenom sandkassa, i det daglige arbeidet med kontroll og etterlevelse av personvernforordningen. Vi ser det spesielt er to momenter som skaper det omfattende informasjonsbehovet.

Hvorfor er informasjonsbehovet så stort? Våre funn

Et interessant funn er at det virker som om innebygd personvern forbindes utelukkende med informasjonssikkerhet. Informasjonssikkerhet er et bedre utredet felt enn personvern, så det kan være en årsak. Vi ser et behov for råd om hvordan virksomhetene kan etterspørre informasjon og stille krav utover informasjonssikkerhet, når de skal sjekke det innebygde personvernet i løsningen. Disse erfaringene deles også av Personvernkommisjonen.

Les mer om det i Personvernkommisjonens NOU 2022: 11 (på regjeringen.no)

Maskinlæring og kunstig intelligens er  såpass komplekst for de fleste virksomheter uten større teknisk kompetanse, at de de mister oversikt over hvilke tiltak som er «egnet». Forskjellen i teknologisk kunnskap mellom utvikleren av verktøyet og den behandlingsansvarlige er enda større innenfor maskinlæring enn ellers. Det gir produsentene en sentral rolle i å gi informasjon om produktet. Vår oppfatning er at kundene til nå i liten grad har etterspurt innebygd personvern for hyllevare som bygger på maskinlæring.

Bakgrunnen for valgene

Fordi både innebygd personvern og maskinlæring er kompliserte og til en viss grad nye tema, blir anbefalingen vi lager i denne omgang noe overordnet. Eksemplene på type krav som kan stilles til leverandører av maskinlæringsverktøy er likevel valgt fordi de er særlig aktuelle for maskinlæringsløsninger.