AVT - sluttrapport

Åpenhet

Åpenhet er et grunnleggende prinsipp i personvernforordningen. I tillegg til å være en forutsetning for å avdekke feil, forskjellsbehandling eller andre problematiske forhold, bidrar det til å skape tillit og setter enkeltindividet i stand til å bruke sine rettigheter og ivareta sine interesser.

Personvernforordningen oppstiller spesifikke krav til informasjon som alle som behandler personopplysninger må følge (se artiklene 12, 13 og 14). Kravene omfatter blant annet at den registrerte skal ha informasjon om at det behandles personopplysninger, hvordan personopplysningene behandles og hvem som er behandlingsansvarlig. Informasjonen må være lett tilgjengelig og formidles på en tydelig måte ved bruk av et klart og enkelt språk. Dette gjelder særlig informasjon som skal gis til barn.

De spesifikke kravene til informasjon som følger av personvernforordningen kan betegnes som minimumskrav. I noen tilfeller er det nødvendig å gi mer informasjon for å ivareta det grunnleggende prinsippet om åpenhet, noe som var tema i diskusjonene med AVT-prosjektet.

Informasjon tilpasset brukerne

Det kan være utfordrende å gi en forståelig forklaring på hvordan et system som er basert på kunstig intelligens behandler personopplysninger. For AVT-prosjektet kompliseres situasjonen ytterligere av aldersspennet på brukerne. Potensielt kan dette systemet brukes av barn helt ned i seksårsalderen i den ene enden av skalaen og avgangselever på videregående skole i den andre enden. Spesielt for de yngste elevene, som ikke har evne til å forstå hvordan deres personvern kan påvirkes eller evne til å ivareta egne interesser, må også de foresatte få informasjon for å kunne ivareta sine barns interesser.

Som behandlingsansvarlige er det kommunene som har ansvaret for å etterleve informasjonsplikten. Norge er inndelt i 356 kommuner, som alle har ulike forutsetninger for å ta i bruk et læringsanalysesystem. Av den grunn ønsker de i AVT-prosjektet å bidra med en informasjonspakke, som også forklarer litt om læringsanalyse generelt. I den forbindelse har de utarbeidet utkast til både skriftlig og grafisk materiell som kommunene kan benytte i sitt informasjonsarbeid. I sandkassen har vi vurdert informasjonsmaterialet og diskutert løsninger for å tilpasse informasjonen til de ulike brukergruppene.

For å oppfylle informasjonskravet er det viktig å ta utgangspunkt i mottakergruppen. Det er ikke alltid man på forhånd vet hvem mottakerne av informasjonen er, for eksempel fordi den behandlingsansvarlige ikke vet hvem som vil ta i bruk en tjeneste. Fordelen for AVT-prosjektet er at gruppen som skal benytte læringsanalysesystemet er klart definert på forhånd. Utfordringen er det store alders- og utviklingsspennet i denne gruppen. Et viktig spørsmål som ble diskutert i sandkassen var hvordan AVT-prosjektet kan gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte.

Vi kan oppsummere diskusjonene i sandkassen med følgende kulepunkter:

  • Bruk et språk som tar utgangspunkt i de yngste elevene – også voksne setter pris på enkel og lettfattelig informasjon.
  • All lovpålagt informasjon må med, men ikke nødvendigvis på samme sted og til samme tid. Både voksne og barn kan bli motløse av lange dokumenter og nettsideartikler. En rettesnor kan være å ikke bare fokusere på hva elevene/de foresatte trenger å vite, men også vurdere når de trenger informasjonen.
  • Det kan være hensiktsmessig å gi informasjonen lagvis, der det mest grunnleggende presenteres først, samtidig som leseren gis mulighet for å lese mer utdypende om de ulike emnene. Vær oppmerksom på at viktig informasjon ikke «gjemmes vekk» ved bruk av denne metoden.
  • Vurder om det kan være hensiktsmessig å gi (eller gjenta) informasjon når elevene er i en setting der den aktuelle informasjonen er relevant, f.eks. ved bruk av pop up-vinduer.
  • Benytt ulike virkemidler – noe fungerer på én gruppe noe på en annen gruppe. AVT-prosjektet har benyttet både tekst, film og bilder i sitt informasjonsmateriell, og tilbakemeldinger fra de registrerte viser at ulike brukergrupper reagerer ulikt på forskjellige virkemidlene.
  • Vær tålmodig og ikke undervurder kompleksiteten og hvor krevende det kan være å forstå hvordan læringsanalysesystemet fungerer, samt formålet og konsekvensene ved å ta i bruk et slikt system. Dette gjelder både barn og voksne.

AVT-prosjektet vil fortsette arbeidet med problemstillingene knyttet til informasjonsplikten og -behovene etter avslutning av sandkasseprosjektet.

Forklaring av systemets underliggende logikk

For automatiske beslutningssystemer som omfattes av forordningen artikkel 22, følger det uttrykkelig av personvernforordningen at den behandlingsansvarlige alltid skal gi relevant informasjon blant annet om systemets underliggende logikk.

Se personvernforordningen art. 13(2)(f) og art. 14(2)(g). 

Om det må informeres om logikken dersom det ikke er automatiserte avgjørelser eller profilering, må vurderes fra sak til sak basert på om det er nødvendig for å sikre en rettferdig og åpen behandling.

Som nevnt tidligere i rapporten er læringsanalysesystemet til AVT-prosjektet et beslutningsstøttesystem, og ikke et automatisk beslutningssystem som omfattes av personvernforordningen artikkel 22. I sandkassen har vi ikke tatt endelig stilling til om AVT-prosjektet er rettslig forpliktet til å gi informasjon om den underliggende logikken til læringsanalysesystemet. Vi har imidlertid diskutert problemstillingen i lys av målsettingen til sandkassen, om å bidra til etisk og ansvarlig kunstig intelligens. På denne bakgrunn har vi diskutert hvordan forklaringer som gir brukerne økt forståelse av hvordan systemet fungerer kan bidra til å øke tilliten til systemet, til at systemet brukes riktig og til å avdekke eventuelle feil.

Men hvor detaljert bør man forklare systemet? Er det tilstrekkelig kun å gi en generell forklaring av hvordan systemet behandler personopplysninger for å komme til et resultat, eller bør det også følge en begrunnelse med hver anbefaling systemet kommer med? Og hvordan skal man gi de yngste elevene en meningsfull forklaring? Dette sandkasseprosjektet gir ingen endelige eller uttømmende svar på disse spørsmålene, men vi har diskutert fordeler, ulemper og ulike løsningsalternativer.

Det gjelder å tenke kreativt når det kommer til forklaringer for de yngste elevene, og forklaringene trenger ikke nødvendigvis være utformet som tekst. AVT-prosjektet laget for eksempel en informasjonsvideo som de viste frem til forskjellige interessenter. Videoen var godt likt av barna, men høstet blandet kritikk fra de voksne. Barna opplevde at den forklarte systemet på en lettvint måte, mens de voksne synes den inneholdt for lite informasjon. Dette illustrerer for det første hvor ulike behov ulike mennesker har, og for det andre hvor vanskelig det kan være å finne passende nivå og mengde. AVT-prosjektet har også vurdert å bygge en «dummy» av læringsanalysesystemet, som lar brukerne selv eksperimentere med ulike variabler. På den måten kan man se hvordan informasjonen man gir systemet påvirker anbefalingene systemet kommer frem til. Visualisering er ofte egnet til å forklare avansert teknologi på en enkel måte. Her kan man også tenke seg ulike brukergrensesnitt for ulike målgrupper; for eksempel ett brukergrensesnitt tilpasset de yngste elevene og ett brukergrensesnitt tilpasset de eldre elevene og elevenes foresatte.

En personvernerklæring er egnet for å gi generell informasjon om behandling av personopplysninger i systemet. Som vi nevnte ovenfor har vi imidlertid også diskutert om det bør gis individuelle begrunnelser på systemets anbefalinger. Altså informasjon om hvordan systemet har kommet frem til en konkret anbefaling og hvilke opplysninger anbefalingen er basert på. Individuelle begrunnelser kan være lett tilgjengelig for brukerne, men trenger ikke nødvendigvis presenteres sammen med anbefalingen. Det kan være mange fordeler ved å begrunne systemets anbefalinger. Hvis elevene og lærerne får en bredere forståelse av hvordan systemet fungerer kan dette øke tilliten deres til systemet. Begrunnelsene kan også støtte oppunder lærernes evne til å gjøre reelle vurderinger av anbefalingene, og minske risikoen for at noen benytter systemet som et automatisk beslutningssystem. Endelig kan begrunnelser bidra til å avdekke feil i systemet.