Til Datatilsynet

Til startsiden til Datatilsynet

Veileder

Kunstig intelligens og personvern

Nesten all bruk av kunstig intelligens (KI) forutsetter store mengder data for at det skal kunne tas intelligente avgjørelser. Potensialet for bedre tjenester, forskningsmessige gjennombrudd og økonomisk gevinst, setter KI høyt på agendaen i de fleste sektorer. 

Vi har skrevet en rapport for å beskrive hvordan personvernet blir berørt av utviklingen. I denne veilederen gjentar vi hovedanbefalingene fra rapporten.

English version of the report

Skriv ut veileder
Kunstig intelligens og personvern

Om rapporten

Vi vil stadig oppleve flere juridiske og etiske dilemmaer hvor potensialet for betydelig samfunns­gevinst må veies opp mot grunnleggende personvern­hensyn. Bruk av kunstig intelligens (KI) er et av områdene der noen av disse utfordringene blir tydelige.



Hvis folk ikke har tillit til at opplysninger om dem behandles på en god måte, kan det begrense hvor villig de er til å dele opplysninger, for eksempel hos legen eller på sosiale medier. I en slik situasjon står vi ovenfor betydelige utfordringer for både ytringsfrihet og tillit til myndig­hetene. At folk vegrer seg for å dele opplysninger om seg selv vil også være en betydelig utfordring for kommersiell bruk av personopplysninger i sektorer som media, handel og finans.

Rapport om KI og personvern

Vi har skrevet en rapport som bygger videre på de juridiske vurderingene og de tekniske beskrivelsene i rapporten «Big Data – personvernprinsipper under press» fra 2014. Vi supplerer denne gangen ved å gå dypere inn i den tekniske beskrivelsen av kunstig intelligens (KI), og ser nærmere på fire KI-relevante utfordringer knyttet opp mot personvernprinsippene i forordningen:

  1. Rettferdighet og diskriminering
  2. Formålsbestemthet
  3. Dataminimalisering
  4. Gjennomsiktighet og retten til informasjon

Dette er et utvalg av personvernproblemstillinger som vi vurderer er mest relevante i forbindelse med bruk av kunstig intelligens akkurat nå.

I denne veilederen fremhever vi noen eksempler og anbefalinger fra rapporten, og verktøy og løsninger som kan hjelpe den behandlingsansvarlige med å etterleve regelverket.

Først vil vi omtale to av kravene i personvernregelverket som er spesielt viktige i forbindelse med bruk og utvikling av kunstig intelligens: vurdering av personvernkonsekvenser og innebygd personvern. Deretter følger noen eksempler på verktøy og metoder som kan hjelpe å ivareta personvernet i løsninger som bruker kunstig intelligens. Til slutt kommer noen anbefalinger til utviklere, løsningsleverandører, virksomheter som kjøper og bruker kunstig intelligens, sluttbrukere og myndigheter.

Ansvarlighet

Et personvern­prinsipp som ligger til grunn for all utvikling og bruk av kunstig intelligens, er ansvarlighet. Dette prinsippet står sentralt i personvernforordningen og legger et større ansvar på den behandlingsansvarlige når det gjelder å sørge for at all behandling skjer i samsvar med regelverket, og dokumentasjon av dette. Kravet om ansvarlighet gjelder også databehandlere.

Her kan du laste ned rapporten:

Vurder personvernkonsekvensene og bygg personvern inn i løsningene

Det er to krav i personvernopplysningsloven som er spesielt relevante for virksomheter som tar i bruk kunstig intelligens: kravet om innebygd personvern og vurdering av personvernkonsekvenser.



Innebygd personvern

Den behandlingsansvarlige skal bygge personvern inn i løsningene sine og sørge for at personvernet er ivaretatt i standardinnstillingene. Disse kravene er beskrevet i artikkel 25 i forordningen og gjelder ved utvikling av programvare, bestilling av nye systemer, løsninger og tjenester - og videreutvikling av disse.

Regelverket krever at det tas hensyn til personvern i alle utviklingsfaser av et system, i rutiner og i den daglige bruken. Standardinnstillinger skal settes mest mulig personvernvennlige, og man skal bygge inn personvernhensyn allerede i utviklingsfasen av løsningen.  Prinsippet om dataminimering nevnes uttrykkelig i bestemmelsen om innebygd personvern.

Vurdering av personvernkonsekvenser

Alle som behandler personopplysninger har en plikt til å vurdere risikoen knyttet til behandlingen. Dersom en virksomhet mener at en planlagt behandling sannsynligvis vil utgjøre en høy risiko for enkeltpersoners rettigheter og friheter, har den plikt til å gjennomføre en vurdering av personvernkonsekvenser (DPIA). Dette er beskrevet i forordningens artikkel 35.

Når risikoen vurderes, skal det tas hensyn til art, omfang, sammenheng og formål med behandlingen. Det må også tas hensyn til om det benyttes ny teknologi. Det er dessuten et krav om å utrede personvernkonsekvenser når det gjøres en systematisk og omfattende vurdering av personlige forhold i de tilfellene opplysningene brukes til automatiserte avgjørelser, eller når det behandles særskilte kategorier av personopplysninger (sensitive personopplysninger) i stort omfang. Systematisk overvåking av offentlig område i stort omfang forutsetter også dokumentasjon for at en vurdering av personvernkonsekvenser er blitt gjennomført.

Konsekvensanalysen skal som et minimum inneholde:

  • en systematisk beskrivelse av behandlingen, dens formål og eventuelt hvilken berettiget interesse den ivaretar
  • en vurdering av om behandlingen er nødvendig og forholdsmessig, sett opp mot formålet
  • en vurdering av risikoen behandlingen har for personers rettigheter, herunder retten til personvern
  • hvilke tiltak som skal settes i verk mot risikoen som er identifisert

Les vår veileder om vurdering av personvernkonsekvenser (DPIA) 

Datatilsynet skal involveres i forhåndsdrøftelser dersom konsekvensanalysen viser at den planlagte behandlingen kan utgjøre en høy risiko for de registrerte, og at risikoen ikke kan reduseres ved at den behandlingsansvarlige iverksetter tiltak (forordningen artikkel 36).

Verktøy og metoder for godt personvern i kunstig intelligens

Kunstig intelligens (KI) er en teknologi i rask utvikling. Det samme gjelder verktøy og metoder som kan hjelpe til med å løse personvernutfordringene ved bruk av kunstig intelligens.



Vi har samlet et utvalg eksempler for å illustrere noen mulighetene som finnes. Metodene er ikke evaluert etter praktisk bruk, men vurdert ut fra et mulig potensiale. Det betyr at teknikken kanskje kan være uegnet i dag, men at konseptet er spennende og har et potensiale i seg for videre forskning og fremtidig bruk.

Vi har kategorisert metodene i tre kategorier:

  1. Metoder for å redusere behovet for treningsdata.
  2. Metoder som ivaretar personvernet uten at datagrunnlaget reduseres.
  3. Metoder for å unngå svart boks-problematikken.

1. Metoder for å redusere behovet for treningsdata

En av utfordringene ved kunstig intelligens er at det ofte er behov for store mengder med data når man skal benytte seg av maskinlæring. Ved å foreta et riktig utvalg av egenskaperog gjøre en god tilpassing av disse, kan behovet for data reduseres.

Her er et utvalg andre metoder:

Generative Adversarial Networks

Generative Adversarial Networks (GAN) er en metode for å generere syntetiske data. Per i dag har dette i all hovedsak blitt benyttet til generering av bilder. GAN har imidlertid potensiale til å være en metode for å generere store mengder syntetiske treningsdata av høy kvalitet også på andre områder. Dette vil kunne imøtekomme behovet for både kategoriserte data og store mengder med data, uten at det er nødvendig å benytte store mengder med reelle personopplysninger.

Federated learning

Dette er en form for distribuert læring. Federated learning fungerer ved at den siste versjonen av en hovedmodell lastes ned til en klientenhet, for eksempel en mobiltelefon. Deretter forbedres modellen lokalt på klientenheten basert på lokale data. Endringene på modellen sendes tilbake til serveren hvor den blir slått sammen med endringsinformasjon om modeller fra andre enheter. Det blir så trukket ut et gjennomsnitt av endringsinformasjonen som benyttes til å forbedre hovedmodellen. Den nye forbedrede hovedmodellen kan nå lastes ned av alle klientene. Dette gir en mulighet til å forbedre en eksisterende modell basert på et stort antall brukere, men uten at brukernes data trenger å deles.

Kapselnettverk

Kapselnettverk er en nyere variant av nevrale nettverk. Metoden krever blant annet mindre data for å lære enn det som er vanlig for dyp læring i dag. Dette gir en stor fordel ved at man trenger langt mindre data til maskinlæringen.

2. Metoder som ivaretar personvernet uten at datagrunnlaget reduseres

Det optimale ville være hvis man kunne benytte så mye data som man ønsket til maskinlæring, uten at det gikk på bekostning av personvernet. Innen kryptologifeltet finnes det noen lovende muligheter på dette området:

Differential privacy

La oss for eksempel ta utgangspunkt i en database med personer og egenskaper knyttet til disse. Ved uthenting av informasjon fra databasen så vil svaret inneholde bevisst tilført støy. Det vil derfor være mulig å hente ut informasjon om personene i databasen, men ikke nøyaktig informasjon om enkeltpersoner. En database skal ikke kunne gi et merkbart forskjellig resultat på en spørring om en enkelt person blir fjernet fra databasen, eller ikke. De overordnede trendene eller trekkene ved datasettet vil ikke endre seg.

Homomorfisk kryptering

Homomorfisk kryptering er en krypteringsmetode som gjør det mulig å behandle data mens de fortsatt er krypterte. Dette gjør at konfidensialiteten kan ivaretas uten å begrense muligheten til å bruke datagrunnlaget. Per i dag har homomorfisk kryptering begrensninger som gjør at løsninger som benytter dette vil få en stor ytelsesreduksjon, men teknologien er lovende.

Microsoft har for eksempel publisert et white paper på en løsning som benyttet homomorfisk kryptering i forbindelse med bildegjenkjenning. Det foregår også et aktivt arbeid for å standardisere løsninger for homomorfisk kryptering.

Transfer learning

Det er ikke slik at det alltid er nødvendig å utvikle modellene fra bunnen av. En annen mulighet kan være å basere seg på eksisterende modeller som løser lignende oppgaver. Ved å bruke disse som et utgangspunkt, kan man ofte oppnå samme resultat med færre data og kortere prosesseringstid. Det finnes biblioteker med ferdigtrente modeller som man kan benytte seg av.

RAIRD

Statistisk sentralbyrå (SSB) og Norsk senter for forskningsdata (NSD) har utviklet en løsning med betegnelsen RAIRD som tillater at man kan forske på deres data uten å ha direkte tilgang til det fullstendige datagrunnlaget.

I korte trekk fungerer løsningen slik at forskerne har et grensesnitt som kun gir tilgang til metadata i det underliggende datagrunnlaget. Datagrunnlaget kan for eksempel være et kreftdiagnoseregister som inneholder felter for alder, kjønn, fødselsdato og fødested. Forskeren kan så gjøre spørringer basert på metadataene og få ut en rapport som kun inneholder aggregerte data.

Løsningen er lagt opp for å forhindre at man kan hente ut data om veldig små grupper og enkeltpersoner. Denne typen løsning kan dermed også benyttes når man trenger data til maskinlæring. Istedenfor at man får en rapport som sluttresultat, kunne man fått en modell ut av systemet.

3. Metoder for å unngå svart boks-problematikken

En problemstilling er manglende gjennomsiktighet i forbindelse med maskinlæring og automatiserte avgjørelser. Dette er en utfordring for både de som benytter et slikt system og menneskene som blir behandlet i det. Utviklere av løsninger som baserer seg på maskinlæring kunne ha en stor fordel av å vite hva som skjer under panseret for å kvalitetssikre og forbedre utviklingen.

Explainable AI (XAI)

XAI er en tanke om at alle automatiserte avgjørelser som blir tatt skal være mulig å forklare. Når det er mennesker med i en prosess vil det som oftest være ønskelig at det følger med en forklaring på utfallet. Her vil det være interessante muligheter. Hvordan kan man bygge nye løsninger som i tillegg til å være nøyaktige også gir gode forklaringer? Det vil også være et behov for å kunne ettergå løsninger som ikke har dette innebygd. For utviklere som benytter seg av «Transfer learning» vil det sannsynligvis også være attraktivt.

På dette området er det blant annet et prosjekt i regi av Defense Advanced Research Projects Agency (DARPA) hvor de ønsker mer forskning på forståelige forklaringer på automatiserte avgjørelser. Blant annet har de sponset Oregon State University med 6,5 millioner dollar over fire år for å forske på temaet. Målet er å kunne lage kunstig intelligens som kan forklare avgjørelsene sine slik at man kan forstå og ha tillitt til systemet. Uansett er det grunn til å tro at denne forskningen vil hjelpe hele feltet fremover.

LIME 

En tilnærming til XAI er LIME. Lime er en modell-agnostisk løsning som lager forklaringer som vanlige mennesker kan forstå. Hvis man for eksempel har bildegjenkjenning, vil den kunne vise hvilke deler av bildet som er relevant for hva den tror bildet er. Dette gjør det enkelt for hvem som helst å forstå grunnlaget for en avgjørelse.

Anbefalinger for godt personvern i utvikling og bruk av kunstig intelligens

Som en oppsummering har vi utformet et knippe anbefalinger for personvernvennlig utvikling og bruk av kunstig intelligens.



Forskning og utvikling av kunstig intelligens

Disse anbefalingene er rettet mot aktører som driver med grunnutvikling av kunstig intelligens. Det vil i hovedsak være forskningsmiljøer på universiteter og store kommersielle virksomheter. Dette er en viktig målgruppe fordi det er aktørene som utvikler grunnteknologien som er forutsetningen for videre bruk av kunstig intelligens.

  • Forsk på hvordan man kan gjøre teknologien mer personvernvennlig
    Hvordan man kan utvikle teknologi som gjør det enkelt for brukere av teknologien å etterleve regelverket? Det kan for eksempel forskes på løsninger som bruker mindre treningsdata, anonymiserings-teknikker og løsninger som forklarer hvordan systemene behandler data og hvordan de konkluderer. Andre interessante forskningsområder er hvordan legge til rette for revisjon av systemene, gjerne i regi av tredjeparter.
  • Tenk tverrfaglig
    Kunstig intelligens er mer enn bare teknologi. Det er viktig å sette sammen tverrfaglige team som kan vurdere de etiske og samfunnsmessige konsekvensene av systemene som utvikles. Forskning kan også belyse hvor bruk av kunstig intelligens kan ha stor samfunnsmessig verdi, og på hvilke områder det kan være mer problematisk.

Løsningsleverandører

Anbefalingene er ment for virksomheter som benytter seg av grunnteknologi utviklet av andre – virksomheter som benytter kunstig intelligens i egne prosjekter eller i løsninger som tilbys andre. De kan være databehandlere eller selger av selve systemet. Anbefalingene er også relevante for forskningsmiljøer som bruker grunnteknologi utviklet av andre.

  • Sett dere inn i personvernregelverket
    Gjør dere kjent med hvilke plikter dere har, og hvilke rettigheter og plikter bestilleren eller brukeren av løsningen har.
  • Velg modeller som er tilpasset personvernbehovene til bestilleren
    For eksempel kan ikke alle typer modeller forklare hvordan den kom fram til et spesifikt resultat.
  • Relevant og nødvendig
    Begrens mengden personopplysninger i treningsdata til det som er relevant og nødvendig for formålet.
  • Innebygd personvern
    Sørg for, og dokumenter, at løsningen dere utvikler oppfyller kravene om innebygd personvern.
  • Dokumenter
    Dokumenter hvordan kravene i personvernregelverket oppfylles. Dette er et krav i regelverket, og kunder eller brukere av teknologien vil spørre etter dette.
  • Informasjon og veiledning
    Gi kundene veiledning i hvordan ulike løsninger ivaretar personvernet, for eksempel om løsningen kan bidra til å oppfylle informasjonsplikten og hvordan kunden kan teste eller revidere løsningen for å sikre at den etterlever regelverket og interne krav.

Kjøp og bruk av systemer basert på kunstig intelligens

Disse anbefalingene er rettet mot virksomheter som kjøper inn og bruker IT-løsninger som er basert på kunstig intelligens-teknologi. Denne målgruppen må stille krav.

  • Gjør en risikovurdering
    Ved behov, utred også personvernkonsekvensene før du kjøper et system, setter det i bruk og etter at systemet er tatt i bruk.
  • Innebygd personvern
    Still krav til at løsningen dere bestiller oppfyller kravene til innebygd personvern.
  • Gjør regelmessige tester
    Testing er nødvendig for å sikre at løsningen etterlever kravene i regelverket, for eksempel for å unngå skjult forskjellsbehandling.
  • Ivareta brukernes rettigheter
    Sørg for at løsningen ivaretar rettighetene til brukerne dine, for eksempel retten til å begrense behandlingen. Sørg også for å ha gode systemer for å ivareta de registrertes rettigheter, slik som retten til informasjon, innsyn og sletting. Systemet må også legge til rette for samtykkehåndtering, inkludert tilbaketrekking av samtykke.
  • Adferdsnorm?
    Vurder å etablere adferdsnormer (bransjenormer), etiske retningslinjer eller et «personvernpanel» bestående av eksterne eksperter på teknologi, samfunn og personvern. Disse kan gi innspill på juridiske, etiske og teknologiske utfordringer – og muligheter – forbundet med bruk av kunstig intelligens.

Sluttbrukere

En sluttbruker vil si den registrerte som bruker en tjeneste eller som er gjenstand for behandling av personopplysninger ved bruk av kunstig intelligens. Her er en oppsummering av deres rettigheter:

  • Rett til informasjon
    Sluttbruker har rett på forståelig og lett tilgjengelig informasjon om at egne personopplysninger blir behandlet. Denne retten gjelder både når virksomheter innhenter opplysninger fra bruker direkte, og når de hentes fra andre kilder. Brukeren skal blant annet få vite hva opplysningene skal brukes til (formål) og hvilket behandlingsgrunnlag virksomheten baserer behandlingen på. Det kan for eksempel være hjemmel i lov, en avtale eller ditt uttrykkelige samtykke.
  • Samtykke
    I mange sammenhenger må den som skal behandle personopplysninger om brukeren få samtykke fra bruker før behandlingen kan settes i gang. Den som behandler opplysningene er ansvarlig for å dokumentere at gyldig samtykke er gitt, det vil si at bruker har gitt en frivillig, spesifikk, informert og utvetydig erklæring om at man godtar at egne personopplysninger blir behandlet. Bruker har også rett til å trekke samtykker som er gitt tidligere.
  • Rett til innsyn
    Bruker har rett til å kontakte virksomhetene og be om å få vite om de behandler opplysninger om bruker, og i så fall hva som er registrert. Bruker har som regel rett til å få en kopi av de registrerte opplysningene. Det er imidlertid noen unntak fra innsynsretten, for eksempel innen justissektoren.
  • Retten til å korrigere og slette opplysninger
    Bruker har rett til å kreve at uriktige eller unødvendige opplysninger blir korrigert eller slettet.
  • Retten til å komme med innsigelse mot at opplysninger om deg blir behandlet
    Bruker kan ha rett til å protestere mot at personopplysninger blir behandlet. Dersom bruker protesterer mot direkte markedsføring, skal den stoppes uten at bruker trenger å gi noen nærmere begrunnelse. I andre sammenhenger kan det være at bruker må begrunne innsigelsesretten med forhold som er knyttet til sin situasjon. Da må virksomheten stoppe behandlingen, med mindre de kan påvise at de har tvingende berettigede grunner til å behandle opplysningene, og at disse grunnene veier tyngre enn brukerens interesser, rettigheter og friheter.
  • Retten til å kreve begrenset behandling
    Om bruker mener at noen opplysninger er feil, behandles ulovlig, eller at retten til å protestere mot behandlingen er benyttet, kan virksomheten bli nødt til å stoppe bruken av opplysningene, men fortsatt lagre disse fram til uenigheten er avklart.
  • Dataportabilitet
    Dersom bruker etter avtale eller samtykke har gitt fra seg opplysninger om seg selv, kan bruker kreve disse opplysningene utlevert fra virksomheten i en strukturert, alminnelig anvendt og maskinlesbar form.

Myndigheter

Disse anbefalingene er for lovgivere og politiske beslutningstakere som er premissgivere for utvikling og bruk av kunstig intelligens.

  • Gode forbilder
    Sørg for at offentlig sektor går foran som et godt eksempel ved bruk av kunstig intelligens. Det krever at offentlig sektor har høy bevissthet rundt etikk og personvernkonsekvensene ved løsningene de bruker, og at de utvikler en bestillerkompetanse som gjør at løsningene har innebygd personvern og oppfyller lovkravene.
  • Bevilg midler til forskning
    Bevilg midler som sikrer at teknologien håndterer personopplysningene i samsvar med personvernregelverket. Dette er ikke bare et lovkrav, men kan også være en konkurransefordel for norsk næringsliv.
  • Relevant kompetanse
    Sørg for at tilsynsmyndigheter har relevant kompetanse, og legg til rette for erfarings-utveksling og kunnskapsdeling på tvers av sektorene.
  • Oppdatert lovgivning
    Sørg for at lovgivningen holder følge med den teknologiske utviklingen. Dette gjelder all lovgivning som er relevant for bruk av personopplysninger.