Åpenhet ved bruk av kunstig intelligens i skolen

Aktivitetsdata er de opplysningene som skapes når en elev gjør oppgaver i et digitalt læremiddel. Det kan være opplysninger om hvilken oppgave eleven har løst, hvor lang tid eleven brukte og om eleven svarte rett eller galt.

Formålet med prosjektet er å utvikle en løsning som kan støtte lærerne med å tilpasse undervisningen til den enkelte elev. Slik at når mattelærer Magnus skal forberede klassen til eksamen, vil systemet komme med forslag basert på oppgavene elevene har løst i det siste. Kanskje blir det algebra på Alfred og trigonometri på Trine, fordi det er der den kunstige intelligensen har avdekket størst hull i kunnskapen hos de to?

I tillegg til individuell tilpassing av undervisningen, har prosjektet som formål å gi elevene økt innsikt i egen læring, samt å støtte lærerne i arbeidet med vurdering av elevene. Målet med tilpassingen er at elevene skal få best mulig utbytte av opplæringen. På et overordnet nivå ønsker AVT-prosjektet å være en pådriver for utvikling av nasjonale retningslinjer, normer og infrastruktur for bruk av kunstig intelligens i læringsarbeidet.

AVT-prosjektet bruker en åpen læringsmodell («Open Learner Model») og analyse- og anbefalingsalgoritmer for analyse av læringsprogresjon og anbefalinger for elevene. Resultatet av analysene skal vises i en nettportal (et «dashboard») som er tilpasset de ulike brukerne – for eksempel lærere, elever og foresatte. Innlogging i portalen skal foregå via Feide.

Prosjektet eies av KS - Kommunesektorens organisasjon. Universitetet i Bergen (UiB) v/Centre for the Science of Learning & Technology (SLATE) er faglig ansvarlig og Utdanningsetaten i Oslo kommune har vært hovedpartner og pådriver siden prosjektstart i 2017. I senere tid har også Bærum kommune og kommunesamarbeidet Inn-Trøndelag deltatt i mindre roller.

Brukerinvolvering for å forstå risiko og informasjonsbehov

AVT-prosjektet inviterte elever, foresatte, lærere og personvernombud fra kommunene med i prosjektet til en workshop for å diskutere personvernrisikoene knyttet til læringsanalyse. Å forstå risikoene for brukerne av systemet er viktig for å kunne gi relevant og god informasjon. Åpenhet rundt bruk av personopplysninger er ikke bare et regelverkskrav for å sette den enkelte i stand til å ha mest mulig kontroll over egne data. Åpenhet rundt bruk av data kan også være viktig for å avdekke feil og skjevheter i systemet.

Deltakerne i workshopen fikk en presentasjon av læringsanalysesystemet, etterfulgt av diskusjoner i mindre grupper. En gruppe med en kombinasjon av barn og voksne og én gruppe med kun voksne. Gruppene fikk i oppgave å identifisere risiko for personvernet til elevene ved bruk av læringsanalyse. Under har vi oppsummert diskusjonene i tre typer risikoer.

Risiko for endret adferd/nedkjølingseffekt

Når elevene arbeider med digitale læremidler kan potensielt detaljerte opplysninger fanges opp og lagres. For eksempel hvor lang tid eleven bruker på hver oppgave, når på døgnet hun gjør leksene, forbedring over tid og så videre. Det kan være utfordrende for elevene å ha oversikt over hvilke data som registreres om dem og hvordan disse dataene brukes.

Elevene som deltok i workshopen uttrykte bekymring for å bli overvåket på hvor lang tid de bruker på oppgavene. De påpekte at en slik tidtaking kan oppleves som et press om å løse oppgavene raskest mulig, på bekostning av kvalitet og læringsutbytte av oppgaveløsingen. Hvis elevene endrer atferd når de arbeider med digitale læremidler, fordi de føler seg overvåket via læringsanalysesystemet, kan det oppstå en nedkjølingseffekt. Det vil si at de tilpasser egen adferd fordi de ikke vet hvordan opplysningene deres kan bli brukt.

Et utslag av en nedkjølingseffekt som ble nevnt i diskusjonene var at elevene kanskje ikke føler seg like frie til å «prøve og feile» i oppgaveløsingen, fordi alt de gjør i de digitale læremidlene registreres og potensielt kan påvirke resultatet av profileringen som gjennomføres av læringsanalyseverktøyet.

Dersom innføring av et KI-basert læringsanalysesystem i opplæringen resulterer i en nedkjølingseffekt vil verktøyet kunne virke mot sin hensikt. I stedet for at læringsanalysesystemet bidrar til å gi den enkelte elev mer tilpasset opplæring, tilpasser den enkelte elev sin opplæring og adferd til systemet.

God informasjon om hvilken informasjon som samles inn og hvordan den brukes (inkludert hvilken informasjon som ikke samles inn og brukes) er viktig for å gi brukeren oversikt og kontroll – og kan bidra til å motvirke uintenderte konsekvenser der elevene muligens tilpasser adferden sin unødvendig. 

Risiko for ukorrekte personopplysninger i systemet

Et grunnleggende prinsipp i personvernregelverket er at personopplysningene som behandles skal være korrekte. Feil og upresise opplysninger i et læringsanalyseverktøy vil kunne få direkte betydning for profileringen av en enkelte elev. Dette vil igjen kunne påvirke både lærerens vurdering av elevens nivå og nivået på oppgavene eleven får anbefalt.

Læringsanalysesystemet henter opplysninger om elevenes aktivitetsdata fra de digitale læremidlene som den enkelte skolen benytter. En potensiell kilde til ukorrekte opplysninger, som ble diskutert blant de voksne deltagerne på workshopen, kan oppstå hvis en elev løser oppgaver på andre elever sine vegne. Risikoen for dette har nok eksistert i skolen i alle år, og det er ingen grunn til å tro at overgangen til digital oppgaveløsing har endret på det.

Konsekvensene for den enkelte elev kan imidlertid bli større dersom data fra oppgaveløsingen inngår i en algoritmebasert profilering av eleven. For eksempel ved at systemet lures til å tro at eleven er på et høyere nivå enn vedkommende egentlig er, og dermed anbefaler oppgaver som eleven ennå ikke har forutsetninger for å kunne løse. Dette vil kunne oppleves demotiverende for eleven, og forsterke opplevelsen av å ikke mestre et fag eller emne.

En lignende feilkilde kan være at noen elever bevisst svarer feil for å manipulere systemet til å få lettere eller færre oppgaver. Også dette er kjente mekanismer lenge før utdanningen ble digitalisert. Felles for begge tilfellene er at problemstillingen må adresseres både teknologisk og i det generelle holdningsskapende arbeidet.

Risiko for at teknologien påfører elevene uønsket stress

En annen risiko som kom opp i workshopen var at ved bruk av læringsanalysesystemet risikerer man at skillet mellom læringssituasjonen og testing blir mer uklart for elvene. Lærerne bruker også i dag informasjon fra elevenes oppgaveløsning og deltagelse i skoletimene som grunnlag for å vurdere elevenes kunnskapsnivå. Ved bruk av læringsanalysesystemet vil imidlertid denne vurderingen systematiseres og visualiseres på en annen måte enn i dag. Elevene uttrykte bekymring for at det ville bli en forventing om å vise frem «scoren» sin i systemet til medelever og foreldre, på samme måte som elever i dag kan oppleve et press om å dele prøveresultater.

Tiltak for å redusere denne risikoen kan være å designe systemet på en måte som vektlegger eller visualiserer «score» eller resultater på en balansert måte. God informasjon om hvilke data som blir brukt til vurdering (og hva som ikke blir brukt) kan også være et tiltak for å redusere usikkerhet og stress rundt å bli kartlagt i læringssituasjonen. 

Hvordan gi informasjon som er tilpasset brukerne?

Det kan være utfordrende å gi en lett forståelig forklaring på hvordan et system som er basert på kunstig intelligens behandler personopplysninger. For AVT-prosjektet kompliseres situasjonen ytterligere av aldersspennet på brukerne. Barn helt ned i seksårsalderen i den ene enden av skalaen og avgangselever på videregående skole i den andre enden.

Et viktig spørsmål som ble diskutert i sandkassen var hvordan AVT-prosjektet kan gi informasjon som er enkel nok for de yngste elevene samtidig som de dekker informasjonsbehovet til de eldste elevene og elevenes foresatte. Vi kan oppsummere diskusjonene i sandkassen med følgende kulepunkter:

• Bruk et språk som tar utgangspunkt i de yngste elevene – også voksne setter pris på enkel og lettfattelig informasjon.
• All lovpålagt informasjon må med, men ikke nødvendigvis på samme sted og til samme tid. Både voksne og barn kan bli motløse av lange dokumenter og nettsideartikler. En rettesnor kan være å ikke bare fokusere på hva elevene/de foresatte trenger å vite, men også vurdere når de trenger informasjonen.
• Det kan være hensiktsmessig å gi informasjonen lagvis, der det mest grunnleggende presenteres først, samtidig som leseren gis mulighet for å lese mer utdypende om de ulike emnene. Vær oppmerksom på at viktig informasjon ikke «gjemmes vekk» ved bruk av denne metoden.
• Vurder om det kan være hensiktsmessig å gi (eller gjenta) informasjon når elevene er i en setting der den aktuelle informasjonen er relevant, f.eks. ved bruk av pop up-vinduer.
• Benytt ulike virkemidler – noe fungerer på én gruppe noe på en annen gruppe. AVT-prosjektet benytter både tekst, film og bilder i sitt informasjonsmateriell, og tilbakemeldinger fra elever og foresatte viser at ulike brukergrupper reagerer ulikt på forskjellige virkemidlene.
• Vær tålmodig og ikke undervurder kompleksiteten og hvor krevende det kan være å forstå hvordan læringsanalysesystemet fungerer, samt formålet og konsekvensene ved å ta i bruk et slikt system. Dette gjelder både barn og voksne.

Forklaring av systemets underliggende logikk

Læringsanalysesystemet til AVT-prosjektet et beslutningsstøttesystem. Det vil si at systemet kommer med forslag og anbefalinger, men som ikke tar egne beslutninger på vegne av lærer eller elev. Hvis systemet hadde tatt automatiserte beslutninger ville det ha vært omfattet av personvernforordningen artikkel 22 og da er det et krav om gi relevant informasjon blant annet om systemets underliggende logikk. Om det må informeres om logikken dersom det ikke er automatiserte avgjørelser eller profilering, må vurderes fra sak til sak basert på om det er nødvendig for å sikre en rettferdig og åpen behandling.

I sandkassen tok vi ikke endelig stilling til om AVT-prosjektet er rettslig forpliktet til å gi informasjon om den underliggende logikken til læringsanalysesystemet. Vi diskuterte imidlertid problemstillingen i lys av målsettingen til sandkassen; å bidra til etisk og ansvarlig kunstig intelligens. På denne bakgrunn har vi diskutert hvordan forklaringer som gir brukerne økt forståelse av hvordan systemet fungerer kan bidra til å øke tilliten til systemet, til at systemet brukes riktig og til å avdekke eventuelle feil.

Men hvor detaljert bør man forklare systemet? Er det tilstrekkelig kun å gi en generell forklaring av hvordan systemet behandler personopplysninger for å komme til et resultat, eller bør det også følge en begrunnelse med hver anbefaling systemet kommer med? Og hvordan skal man gi de yngste elevene en meningsfull forklaring? Dette sandkasseprosjektet gir ingen endelige eller uttømmende svar på disse spørsmålene, men vi har diskutert fordeler, ulemper og ulike løsningsalternativer.

Det gjelder å tenke kreativt når det kommer til forklaringer for de yngste elevene, og forklaringene trenger ikke nødvendigvis være utformet som tekst. AVT-prosjektet laget for eksempel en informasjonsvideo som de viste frem til forskjellige interessenter. Videoen var godt likt av barna, men høstet blandet kritikk fra de voksne.

Barna opplevde at den forklarte systemet på en lettvint måte, mens de voksne synes den inneholdt for lite informasjon. Dette illustrerer for det første hvor ulike behov ulike mennesker har, og for det andre hvor vanskelig det kan være å finne passende nivå og mengde. AVT-prosjektet har også vurdert å bygge en «dummy»-versjon av læringsanalysesystemet, som lar brukerne selv eksperimentere med ulike variabler. På den måten kan man se hvordan informasjonen man gir systemet påvirker anbefalingene systemet kommer frem til. Visualisering er ofte egnet til å forklare avansert teknologi på en enkel måte. Her kan man også tenke seg ulike brukergrensesnitt for ulike målgrupper; for eksempel ett brukergrensesnitt tilpasset de yngste elevene og ett brukergrensesnitt tilpasset de eldre elevene og elevenes foresatte.

En personvernerklæring er egnet for å gi generell informasjon om behandling av personopplysninger i systemet. Vi har også diskutert om det bør gis individuelle begrunnelser på systemets anbefalinger. Altså informasjon om hvordan systemet har kommet frem til en konkret anbefaling og hvilke opplysninger anbefalingen er basert på. Individuelle begrunnelser kan være lett tilgjengelig for brukerne, men trenger ikke nødvendigvis presenteres sammen med anbefalingen. Det kan være mange fordeler ved å begrunne systemets anbefalinger. Hvis elevene og lærerne får en bredere forståelse av hvordan systemet fungerer kan dette øke tilliten deres til systemet. Begrunnelsene kan også støtte oppunder lærernes evne til å gjøre reelle vurderinger av anbefalingene, og minske risikoen for at noen benytter systemet som et automatisk beslutningssystem (altså stoler blindt på systemet istedenfor å bruke det som en støtte til å ta en beslutning). I tillegg kan begrunnelser bidra til å avdekke feil i systemet ved at informasjonen kan hjelpe brukerne å oppdage feil eller skjevheter i systemet.