Politihøgskolen (PHS) ønsker å bruke chatlogger fra straffesaker, der rettsvesenet har konkludert med at grooming har skjedd, til å trene et KI-verktøy i å identifisere grooming-samtaler. Målet er at den skal kunne peke ut sosiale arenaer på nett det er verdt å følge ekstra med på, og – ikke minst – den skal kunne flagge pågående enkeltsamtaler, slik at politiet kan stoppe groomingen og forhindre overgrep.

I dag er dette et forskingsprosjekt på konseptstadiet. I dette sandkasseprosjektet har vi derfor først og fremst sett på om det er mulig, i forskingsøyemed, å utvikle PrevBOT innenfor gjeldende lover og etiske retningslinjer.

Oppsummering av resultatene

• Juridisk: I sandkasseprosjektet har vi først tatt opp noen generelle – men prinsipielle – problemstillinger knyttet til politiets bruk av personopplysninger til utvikling av kunstig intelligens. Vurderingen har imidlertid fokusert på hvorvidt PrevBOT-prosjektet kan behandle personopplysninger i sin forsking, samt hva som må gjøres for at denne behandlingen skal være lovlig. Dette er vurderinger som vil være høyst relevante for andre prosjekter og andre deler av den norske ordensmakta.
• Etisk: PrevBOT er et godt eksempel på et prosjekt med et så hederlig formål, at det er fare for å hellige midler på veien. Politihøgskolen ønsker at PrevBOT ikke bare skal være et lovlig verktøy, men at det også skal leve opp til kravene for ansvarlig KI. Sandkasseprosjektet har gjort en første steg-analyse, og vurderer at det er etisk forsvarlig å starte forskingen, basert på straffesaksdata. Vi peker også på sentrale etiske dilemmaer ved og viktige verdier for utviklingen.
• Teknisk: Politihøgskolen ønsker å bygge PrevBOT på Tsetlin-maskin, en metode med sin styrke i kategorisering og forklarbarhet, altså at man lettere får svar på hvorfor verktøyet konkluderer som det gjør. God forklarbarhet vil være viktig for transparens og tillit til et verktøy, som potensielt kan oppleves innvaderende i personlige samtaler. Om de teknologiske funksjonene PHS ønsker å sette sammen i PrevBOT – og som hver for seg har vist seg mulige i nevrale nettverk – virkelig lar seg overføre til og kombinere i en Tsetlin-maskin, er det store spørsmålet i forskingsprosjektet. I sandkasseprosjektet har vi ikke fått se hvordan en Tsetlin-maskin virker i praksis, men vi har gjort en teoretisk vurdering, og har på generelt grunnlag håp om at den kan bidra til mer bærekraftige KI-verktøy med god forklarbarhet om noen år.

Veien videre

Sandkasseprosjektet har vurdert og skissert hvordan PHS lovlig kan forske på et slikt KI-verktøy. Grønt lys for PrevBOT-forsking kan riktignok være lite verdt, om verktøyet som forskes på og utvikles ikke vil være lovlig i bruk. I bruk vil et slikt verktøy ikke komme unna å behandle (sensitive) personopplysninger. Og – alt etter hvordan man innretter det – vil bruken kunne oppleves temmelig inngripende i personvernet til både offer og overgripere, og tilfeldige personer som får sin chat analysert av PrevBOT mens man er på nettet.

Det vil nok være smart å være tidlig ute med en plan for vurderinger av lovligheten ved et slikt verktøy i bruk. Det kan definitivt være tema for et nytt sandkasseprosjekt.

PrevBOT-prosjektet er fortsatt i en tidlig fase, og veien videre avhenger av mange valg som må tas. Sett fra et personvernperspektiv er det spesielt interessant om de holder fast på at det er et verktøy som skal forebygge i form av å avskjære forsøk på grooming. PrevBOT-prosjektet er nå tydelige på at det er det de ønsker. Samtidig er det krefter som på veien fra idé til bruksklart KI-verktøy kan prøve å påvirke, for at verktøyet også skal kunne samle bevis mot og jakte på overgripere. Datatilsynet anbefaler prosjektet tidlig å identifisere bruk av PrevBOT de vurderer som uetisk og uønsket, og i utviklingsfasen jobbe for å stenge dører for nettopp slik bruk.

Ønske om frihet og ønske om trygghet blir gjerne framstilt som motstridende mål. PrevBOT-prosjektet er riktignok et godt eksempel på at frihet, trygghet og personvern er gjensidig avhengig av hverandre, og at det handler om å finne balansen. De mindreårige har krav på autonomi og et privatliv, men uten et visst nivå av trygghet på nettet, vil de ikke kunne utøve sin autonomi og sine friheter. Når verktøyet etter hvert skal designes mer i detalj, blir det viktig for prosjektet å søke etter dette balansepunktet.

Sandkasseprosjektet ser at PrevBOT på flere måter kan bidra til å gjøre internettet og hverdagen tryggere for sårbare grupper. PrevBOT kan ende opp med å ikke bare bli ett verktøy, men danne grunnlaget for flere forskjellige tiltak, som til sammen gir effektivt vern mot nettbasert grooming.

Les mer om veien videre i siste kapittel.

Kommersielle aktører bruker allerede slik teknologi i forbindelse med markedsføring og kundekontakt. Det kan være alt fra å følge med på bedriftens omdømme på nett, for å få en chatbot til å fungere best mulig, til adferdsbasert markedsføring eller å holde på en bruker lengst mulig i et spillunivers eller på en plattform for sosiale medier (SOME). Så hva om slik teknologi kan forhindre seksuell utnytting og overgrep mot barn?

Professor Inger Marie Sunde ved Politihøgskolen (PHS) ble satt på denne tanken for noen år siden. Inspirasjonen kom blant annet fra Sweetie-prosjektet ved Universitetet i Leiden, som utviklet en chatbot i form av en datagenerert, ti år gammel jente fra Filippinene. «Hun» kunne observere og automatisk delta i chatrom, og formålet var å forhindre seksuell utnytting av barn via webkamera. Prosjektet skal ha avslørt over 1000 overgripere.

Professor Sunde har siden skrevet to akademiske artikler, sammen med kollega Nina Sunde, om hvordan en PrevBOT kan forhindre forsøk på utnyttelse av barn.

Les: Part 1 - The Theoretical and Technical Foundations for PrevBOT (engelsk)

Les: Part 2 – Legal Analysis of PrevBOT (engelsk)

PrevBOT-prosjektet er organisert som et forskningsprosjekt som består av flere arbeidspakker, hvor rollen til PHS er å lede prosjektet og de ulike aktørene. Flere aktører er involvert i arbeidet: Politiets IT-enhet (PIT), Centre for Artificial Intelligence Research (CAIR) ved Universitetet i Agder (UiA), Kripos m.fl.

Overgrep, fra offline til online

Seksuell utnyttelse og overgrep mot barn (CSEA) kom ikke med internettet. Imidlertid har digitaliseringen av samfunnet gitt overgripere nye og lett tilgjengelige steder der barn samles, ofte uten foreldretilsyn. Så med internett, smarttelefoner og inntoget av sosiale medier og chatrom, er det lettere for seksuelle overgripere å komme i kontakt med mindreårige de kan utnytte. Dette speiles også i en dramatisk økning i rapporter om CSEA.

Det er gjerne i chatrom overgripere oppnår kontakt med potensielle ofre. I tillegg er spillplattformer og sosiale nettverk med meldingsfunksjoner områder der overgripere initierer kontakt med barn. Når kontakt og interesse er etablert, vil overgriperne ofte prøve å få samtalen og den videre groomingen over i skjulte fora, i form av direktemeldinger.

Heldigitale overgrep

Den digitale tidsalderen har også kommet med en ny form for seksuell utnyttelse; de heldigitale overgrepene. Overgrepene skjer ofte på barnets eget soverom, mens foreldrene er uvitende om de pågående forbrytelsene. Barna lokkes til å utføre seksuelle handlinger foran kamera, alene eller sammen med noen andre. Krenkelsen kan oppleves like ille, og den både forlenges og forsterkes ved vissheten om at det sannsynligvis finnes et opptak av det «der ute». Slikt overgrepsmateriale deles gjerne på det mørke nettet. 

Folkehelseproblem

«Svært aktive lovbrytere har ofte fått operere uforstyrret over lang tid, slik at de har rukket å komme i kontakt med opptil flere hundre fornærmede før de blir stanset,» står det i en rapport fra Nasjonalt kunnskapssenter om vold og traumatisk stress (NKVTS) og Velferdsinstituttet Nova ved Oslo Met. Den ble lansert i januar 2024, og kildene i den snakker om en tidobling av problemet det siste tiåret. Det er flere saker, de er større i omfang, og innholdet er grovere.

Se også NRKs omtale av rapporten: - Grovere, hardere, kaldere.

Erfaringer fra norske straffesaker viser at gjerningspersoner, via nettet, kan begå overgrep mot svært mange barn samtidig. Før internett forekom dette sjeldent. Med internett har vi sett saker hvor for eksempel én 27-åring misbrukte 270 barn, hovedsakelig gutter under 14 år, over en periode på 2,5 år.

Erfaringer fra norske straffesaker viser at gjerningspersoner, via nettet, kan begå overgrep mot svært mange barn samtidig. Før internett forekom dette sjeldent. Med internett har vi sett saker hvor for eksempel én 27-åring misbrukte 270 barn, hovedsakelig gutter under 14 år, over en periode på 2,5 år.

Barneombudet omtalte det som et folkehelseproblem, da rapporten «Alle kjenner noen som har opplevd det» ble publisert i 2018. En undersøkelse fra NKVTS i 2020 viste at 4,5 prosent av de spurte ungdommene hadde opplevd seksuell utnyttelse fra en voksen i løpet av det siste året. Mens Nasjonal trygghetsundersøkelse 2022 viste at 12 prosent av jentene og 2,6 prosent av guttene mellom 16 og 19 år hadde blitt utsatt for digital seksuell vold det siste året.

Det må riktignok påpekes at de fleste seksuelle overgrep skjer fra jevnaldrende eller nære relasjoner. En PrevBOT, slik den er tenkt, vil ikke kunne forebygge mot det. Men med en kraftig økning i online grooming og heldigitale overgrep, vil et effektivt våpen mot dette likevel være merkbart i det totale bildet.

Internasjonalt samarbeid

Internasjonalt samarbeid er etablert i forsøk på å bekjempe online CSEA. I 2017 satte EU nettbasert CSEA på listen over de ti topp prioriterte områdene innenfor organisert og alvorlig internasjonal kriminalitet. Til tross for innsatsen, øker tallet på saker og ofre. Det nytter altså ikke bare å løpe etter overgriperne, i et forsøk på å etterforske seg ut av det.

Det må forebygging til.

PrevBOT kan være tilstede i chatfora, men i sin grunnleggende form er den ikke en generativ chatbot som autonomt deltar i samtaler. Hvorvidt en slik interagerende funksjon bør legges til i fremtiden må blant annet vurderes opp mot rettslige rammer for infiltrasjon og bevisprovokasjon, samt etiske avveininger. Prosessen i sandkassa har forholdt seg til PrevBOT som et passivt observerende verktøy, og er følgelig ikke å anse som en chatbot.

Den grunnleggende egenskapen en PrevBOT må ha, er altså å overvåke samtaler i åpne fora på nettet, for så i sanntid å identifisere samtaler der grooming pågår. Ved å hente ut statistikken fra verktøyet, vil politiet også kunne avdekke steder på nett med økt risiko for at grooming skjer. Boten skal med andre ord peke ut problematiske steder og personer.

Hvordan identifisere grooming?

Hvis vi går inni boten, er det i hovedsak tre ting den skal gjøre:

1. Detektere grooming-språk

   Boten må gjenkjenne ord og formuleringer for sex-prat. Ikke bare i leksikalsk forstand. Den må også være oppdatert på slang og kodeord som blir brukt. Med god og kontinuerlig trening og oppdatering vil den kanskje klare å kjenne igjen tegnene på en groomingsamtale, før språket blir eksplisitt seksuelt.

2. Avsløre falske profiler

   Boten skal anslå kjønn og alder på de chattende. Mange overgripere utgir seg for å være noe annet enn de i realiteten er. (Det kan gjelde de mindreårige også.) Ved å anslå kjønn og alder, kan boten oppdage samtaler der det er stor aldersforskjell. Slik kan PrevBOTen oppdage om det er voksne i fora der de andre er unge, eller motsatt – om mindreårige har sneket seg inn i et chatrom med 18-årsgrense.

3. Sinnsstemningsanalyse

   Boten skal identifisere følelsene til de chattende. Responstid, tempoet på inntasting, språket og måten å skrive på kan avsløre om du som chatter for eksempel er aggressiv/pågående/utålmodig selv om innholdet i det du skriver antyder at du er rolig og avslappet. Det kan være et tegn på at du har andre hensikter enn dem du uttrykker.

Det er ikke slik at boten må mistenke løgn om alder/kjønn og følelse, for at samtalen skal klassifiseres som pågående grooming. Men disse tre deteksjonene vil til sammen gi et godt bilde i vurderingen av samtalene.

Når PrevBOTen klassifiserer en samtale som potensiell grooming, blir samtalen flagget. Tanken er så at mennesker overtar, og beslutter om det er grunnlag for å gripe inn eller ikke, og eventuelt hvordan. PrevBOT er altså tenkt som et beslutningsstøtteverktøy.

Hvordan politiet skal gripe inn i samtalene som flagges, er ikke beskrevet. Den opprinnelige tanken i prosjektet har vært, at groomeren på en eller annen måte advares, og groomingforsøket på en eller annen måte avskjæres. Politiet har allerede nettpatruljer som følger med og har erfaring med slikt. Håpet er at PrevBOT gir dem økt kapasitet.

Sandkasseprosjektet har løst diskutert om det kan være vel så effektivt om «offeret» også får en melding, eventuelt om bare «offeret» blir advart. For sårbare mindreårige kan det være uheldig om samtalen bare plutselig blir brutt, uten at de skjønner hva som har skjedd. Vi konkluderte ikke med hva som vil fungere best, men anbefaler PrevBOT-prosjektet å prøve ut alternativene – og uansett tar hensyn til «ofrene» - i måten groomingforsøkene avskjæres på.

Å detektere seksualisert språk

Det er gjort en del forsking internasjonalt på grooming-lingvistikk. Mange tar utgangspunkt i R. OʼConnellʼs fem-stegs modell for nettbaserte grooming-prosesser. Som modellen viser, er det kanskje først i det femte steget at samtalen blir eksplisitt seksuell. Man kan likevel gjenkjenne grooming-forsøk i de tidligere stegene. Særlig fasen Risikovurdering kan være avslørende. Nyere forsking antyder også at dagens nettgroomere er mer utålmodige, eventuelt forsiktige, og gjør risikovurderingen tidligere i løpet.

Med maskinlæring (ML), analyse av naturlig språk (NLP) og nevrale nettverk kan man trene modellene til å gjenkjenne tegnene på en groomingsamtale. «Fasiten», som modellene trenes på, vil være logger fra samtaler der man i ettertid vet at det var grooming som foregikk.

Stilometri (eng.: stylometry) er studien og analysen av lingvistisk stil og skrivemønstre. Da kan man se på ordforråd, setningslengder, ordfrekvens og alt annet kvantifiserbart ved teksten. I en samtale kan det for eksempel være interessant å se hvor ofte man stiller spørsmål. Forskerne Borj og Bours ved NTNU har hatt lovende resultater i sine forsøk på å gjenkjenne groomingsamtaler. Etter å ha brukt ulike klassifiseringsteknikker lyktes de i å oppdage overgriperne med opptil 98% nøyaktighet.

Å avsløre løgn

Forfatterprofilering innebærer å analysere tekster for å identifisere forfatterens kjønn, alder, morsmål, personlighetstrekk, følelser og lignende. Forsøk viser at slik profilering kan være imponerende treffsikker, særlig om kategoriene er grove – er forfatteren et barn (under 18 år) eller en voksen (for eksempel over 25 år) – og om modellen er trent på spesifikke tema (f.eks. chatromsamtaler) heller enn et bredt sjangergrunnlag.

Dersom den chattende i tekst eller brukerprofil gir seg ut for å være noe annet enn kategoriene forfatterprofileringen plasserer vedkommende i, kan det tale for at grooming er på gang.   

Å tolke følelsene

Sinnsstemningsanalyse, også kjent som sentimentanalyse, er å bruke NLP og maskinlæringsteknikker for å identifisere og trekke ut subjektiv informasjon fra tekstdata. Her brukes altså kunstig intelligens, som kan lese det folk skriver og sortere det i følelseskategorier. Et enkelt eksempel er bedrifter som følger med på hvordan produktene deres omtales. I analysen kan teksten sorteres som “positiv”, “negativ” eller “nøytral”, eller man kan finmaske sorteringen i større grad.

Sinnsstemningsanalyse brukes på mange felt. Underholdningindustrien bruker det til å måle publikumsreaksjoner på tv-serier, når de skal vurdere å avslutte eller forlenge en produksjon. I politikken brukes det til å analysere folks reaksjoner på politiske utspill og hendelser. Og i finanssektoren brukes det til å fange opp trender i finansmarkedet.

Eksemplene over gjelder sinnsstemningsanalyse på gruppenivå. Men det kan også brukes på individnivå. Det er samme metoder som ligger bak når sosiale medie-plattformer følger med på aktiviteten din – hva liker du, hva kommenterer du, hva poster du, hva stopper du opp ved når du scroller? Jo bedre de kjenner følelseslivet ditt, jo mer effektivt kan de treffe med annonser og innhold.

Tekstlig biometri

Dagens teknologi kan ikke bare putte forfattere i båser, som med forfatterprofilering, og avsløre forfatterens ekte følelser. Den kan til og med identifisere den enkelte forfatter. Tekstlig biometri kaller man det, og tanken er at den enkeltes språk er såpass unikt, at man kan snakke om tekstlige fingeravtrykk. På skisseblokka har PrevBOT også fått denne egenskapen, for å kunne gjenkjenne tidligere dømte seksualforbrytere, som har blitt aktive på nett igjen. Denne egenskapen har vi riktignok holdt utenfor diskusjonene i sandkasseprosjektet.

Forklarbare Tsetlin

PHS ser for seg å bygge PrevBOT på Tsetlin-maskin (TM). Styrken til en Tsetlin-maskin, er at den skal være bedre på forklarbarhet enn nevrale nettverk. I et prosjekt som PrevBOT, der mennesker skal bli kategorisert som potensielle overgripere basert på (i de fleste tilfeller) lovlig kommunikasjon på åpent nett, vil det være viktig å kunne forstå hvorfor verktøyet konkluderer som det gjør.

En grundig beskrivelse av Tsetlin-maskinen finner du i kapittel 6 i denne rapporten.

Figuren illustrerer beslutningsprosessen i PrevBOTen. PS står for problematiske steder, mens PP står for problematiske personer. Illustrasjonen er hentet fra Sunde & Sundes artikkel fra 2021. Diskusjonene i sandkassen har tatt utgangspunkt i at muligheten til å spore tekstlige fingeravtrykk ikke blir lagt inn som en egenskap i PrevBOTen.

Av figuren framgår også det å starte etterforsking som et alternativ. PrevBOT-prosjektet oppgir at det ville være mest aktuelt for funksjonen tekstlig fingeravtrykk, som altså ikke lenger er aktuell.

Og vil svaret avhenge av hvordan PrevBOT er tenkt å operere, hvilke funksjoner som legges inn og ikke? Hvilke data, inkludert personopplysninger, kan de bruke til å trene et slikt verktøy? Hvordan bør de eventuelt behandle disse dataene når verktøyet utvikles? Og hva kan de lagre når det er i bruk? Og kan PrevBOT utviklet med bruk av personopplysninger, overføres til bruk i politiets kriminalitetsforebyggende virksomhet på nett?

Spørsmålene knyttet til et slikt verkøy blir ikke færre når vi beveger oss fra det rent juridiske til det etiske. Er det etisk riktig å overvåke «alle» for å ta noen få (selv om de blir stadig flere)? Hvordan er det etisk riktigst å kalibrere PrevBOTen i spennet mellom å flagge samtaler så tidlig som mulig, med fare for å stemple uskyldig chattende, eller vente med flagging til groomingen er mer åpenbar, med fare for at de glipper unna og får med seg offeret inn i lukkede rom? Og sett at PrevBOT blir et rent forebyggende verktøy, som utelukkende skremmer overgripere og varsler potensielle ofre, vil det være etisk riktig av politiet å ikke gå videre med å prøve «å ta» en potensielt farlig personen, om politiet har fått informasjon som kan identifisere hen?

Tema og avgrensing

Prosjektet er i en så tidlig fase, med en del retningsvalg som må tas, at vi ikke kunne gape over å gi en totalvurdering av PrevBOT-prosjektet.

For vurdering av lovligheten ble sandkasseprosjektet avgrenset til utviklingsfasen. De mest sentrale diskusjonene har dreid seg om taushetsbelagte tekstdata fra norske straffesaker om nettovergrep, som PrevBOT-prosjektet ønsker å bruke som trenings- og testdata i utviklingsfasen. Prosjektet har allerede en mindre mengde slike data i kraft av en tillatelse fra Riksadvokaten, jf. politiregisterloven § 33, som gir adgang til å oppheve taushetsplikten for forskningsformål.

Sandkasseprosjektet tok også sikte på å kartlegge og delvis drøfte noen etiske spørsmål sentrale for oppstarten og tidlig fase av PrevBOTs forskingsprosjekt, slik at de har noen føringer når de staker ut kursen for utviklingen av verktøyet.

Målene ble konkretisert slik:

1. Avklare rettslige krav til behandling av tekstdata i bevismateriale fra avsluttede straffesaker, i utviklingsfasen av PrevBOT.
2. Konkretisere hva «ansvarlig KI» betyr når teknologien brukes av politiet for å analysere kommunikasjon på internett, kanskje særlig med fokus på forklarbarhet.

Tsetlin maskin er en maskinlæringsalgoritme først designet av den norske forskeren Ole-Christoffer Granmo i 2018. Granmo er professor i informatikk ved UiA, og har senere videreutviklet Tsetlin-maskinen med kollegaer. Siden det er en relativt ny metode innen maskinlæring, pågår det fortsatt forsking på området med mål om å utforske og optimalisere dens anvendelse og ytelsesevne. Som enhver maskinlæringsmodell, er Tsetlin-maskinen avhengig av kvaliteten og representativiteten til treningsdataene.

Tsetlin-maskiner

Tsetlin-maskinen er ikke en type nevrale nettverk. Det er en algoritme basert på prinsipper fra forsterkningslæring og setningslogikk (også kalt proposisjonslogikk). Algoritmen egner seg for oppgaver innen klassifisering og beslutningstaking der både tolkbarhet og nøyaktighet er viktig. Setningslogikk er en algebraisk metode som klassifiserer setninger eller utsagn som sanne eller falske, ved hjelp av logiske operasjoner som «og, eller, ikke, hvis, da».

For å lære bruker Tsetlin-maskinen forsterkningslæring og lærende automat. Forsterkningslæring gjør at modellen belønnes eller straffes basert på resultatet av utførte handlinger, mens den lærende automaten tar beslutninger basert på tidligere erfaringer, og disse erfaringene fungerer som retningslinjer for nåværende handlinger.

Tsetlin-maskinen bruker klausuler for å forstå hvordan individuelle klausuler påvirker beslutningsprosessen. Denne tilnærmingen gjør Tsetlin-maskinen egnet for bruksområder der tolkbarhet er viktig.

Tsetlin-maskinen lærer å assosiere ord med konsepter og bruker ord i logisk form for å forstå konseptet. En viktig komponent i denne prosessen er bruken av konjunktive klausuler, som er setninger eller uttrykk som kombinerer to eller flere betingelser som er tilstede eller fraværende i inngangsdataene for å kunne klassifiseres som sanne eller falske.

Et eksempel er: «jeg vil dra på stranden bare hvis det er sol og hvis jeg får fri fra jobb». Her representerer «hvis det er sol» og «hvis jeg får fri fra jobb» konjunktive klausuler som må oppfylles samtidig for at personen skal ta beslutningen om å dra på stranden. Disse klausulene brukes til å identifisere mønstre i inndata, ved å skape betingelser som må oppfylles samtidig. Videre brukes disse klausulene til å bygge opp beslutningsregler som danner grunnlaget for klassifisering. Evnen til å håndtere sammensatte betingelser gjør Tsetlin-maskinen egnet for å avgjøre om inndata tilhører en spesifikk klasse eller ikke.

Arbeidsflyten til Tsetlin-maskinen i PrevBOT-prosjektet

I PrevBOT tas det sikte på å utvikle en transparent språkmodell som kan klassifisere tilstedeværelsen av grooming i en samtale. Det første steget er å gi algoritmen generell opplæring i det norske språket. Dette gir algortimen en solid forståelse av språket, og reduserer påvirkningen av potensielt begrensende datasett i groomingspråkopplæringen. Hvis vi begrenser opplæringen til dette smale emnet, risikerer vi å ha for få eksempler tilgjengelige. En annen vesentlig grunn er at en generell forståelse av et språk legger grunnlaget for å utvikle spesialiserte ferdigheter på en mer helhetlig måte. For å trene algortimen i å beherske det norske språket generelt, er bruk av store norske datasett hensiktsmessig (Språkbanken ved Nasjonalbiblioteket tilbyr dette). Dette kan også sammenlignes med forhåndstrening i store språkmodeller.

Når algoritmens språkkunnskaper har nådd et tilstrekkelig nivå, kommer man til det andre trinnet: å lære den opp til å bli spesialist innen groomingspråkklassifisering. Etter å ha oppnådd grunnleggende norskkunnskaper, kan algortimen deretter lære ordkonteksten og relevansen til hvert ord innenfor groomingspråket. På denne måten, før man tar fatt på den spesifikke oppgaven med grooming-deteksjon, vil algortimen være i stand til å beherske språket på et generelt nivå.

På dette stadiet spiller teksten i chatloggene fra straffesakene en viktig rolle. Eksemplene må være svært spesifikke og presisise, og det skal merkes av en erfaren domeneekspert innen grooming. På bakgrunn av den generelle opplæringen i det norske spåket, sammen med kunnskapen om grooming språkklassifisering, vil algoritmen da kunne være i stand til å gjenkjenne groomingsamtaler på norsk. Nedenfor gir vi en mer teknsik beskrivelse av trinn en og to.

Første trinn: trene algoritmen i norsk

Først må de utvikle Tsetlin maskin-baserte autoenkodere som autonomt utfører ordinnbygging i store norske datasett. Treningen består i å produsere representasjoner for ord, og dette gjøres ved å basere seg på store datasett.

Tsetlin-maskinen bruker prinsipper fra setningslogikk og logiske klausuler for å ta beslutninger. Figuren under viser et eksempel på resultatene (pilene) av setningslogikk-innbygging ved bruk av Tsetlin-maskinen i et lite engelsk datasett. Tsetlin-maskinen bruker disse klausulene til å bygge opp beslutningsregler som danner grunnlaget for klassifisering.

Som illustrert, viser resultatene at ordene er korrelert med andre ord gjennom klausuler. Tar vi ordet «heart» som et eksempel, ser vi at det er relatert til «woman» og «love», samtidig som det også knyttes til «went» og «hospital». Dette eksempelet viser at ordet har ulike betydninger avhengig av konteksten. Det indikerer at Tsetlin-maskin-innbygging har kapasitet til å lære og etablere fornuftige korrelasjoner mellom ordene. Det er blant annet disse egenskapene som legger grunnlaget for bedre forklarbarhet og kanskje også manuelle justeringer.

Andre trinn: klassifisere grooming-språk

Treningsdataen må inneholde eksempler på tekst som er merket med enten grooming eller ikke-grooming. Utvalg av relevante regler, enten det er spesifikke ord, fraser eller struktur i teksten, er avgjørende for å gi algoritmen nødvendig informasjon. Algoritmen identifiserer grooming-samtaler ved å analysere språket og gjenkjenne mønstre eller indikatorer som er assosiert med risiko for grooming. Positive eksempler (grooming) og negative eksempler (ikke-grooming) brukes til å justere vektingen av klausulene.

Eksemplene skal i teorien være en integrert del av reglene til algoritmen og brukes under treningen for å hjelpe algoritmen med å forstå hva som kjennetegner grooming-samtaler. Treningsdataen som inneholder eksempler/tekster som er merket som grooming eller ikke-grooming blir altså brukt som en del av treningsprosessen. De brukes til å utvikle og justere reglene som algoritmen bruker til å identifisere grooming-samtaler. Når algoritmen trener, analyserer den de merkede eksemplene for å lære mønstre og indikatorer knyttet til grooming. Ved å sammenligne egenskapene ved positive (grooming) og negative (ikke-grooming) eksempler, justerer algoritmen gradvis vektingen av reglene eller klausulene den bruker til klassifisering. Det kan innebære å gi større vekt til ord eller setningsstrukturer som er assosiert med grooming, og mindre vekt til de som ikke er det. Ordinnbyggingen fra det første trinnet kan brukes til klassifisering.

Kombinasjonen av og forsterkningslæring innebærer gjentagende justering av de konjunktive klausulene. Justeringen foregår vanligvis automatisk og er basert på tidligere beslutninger. Under trening lærer algoritmen å tilpasse vektene for å gjenkjenne mønstre og gjøre riktige klassifiseringer. Det forventes at en ferdig opplært modell ikke bare kan klassifisere tekst som en potensiell grooming-samtale eller ikke, men at den også tolkes på grunn av algoritmens transparente natur. Tolkningen oppnås fra klausuler i en trent Tsetlin maskin-modell. Klausulene består av logiske regler som effektivt beskriver om språket er grooming eller ikke. For en gitt inndata-setning kan reglene hentes fra klausulene som er aktivert. Reglene kan deretter brukes for å forklare algoritmens beslutning.

Også for de etiske problemstillingene har vi fokusert på forskings- og utviklingsfasen av prosjektet. Samtidig er spørsmål om hva som er «etisk riktig» i utviklingsfasen, ofte avhengig av hva vi ser for oss som konsekvenser og gevinster i bruksfasen. Derfor har vi i dette kapittelet i større grad enn de foregående sett for oss alternative måter PrevBOTen kan operere på, uten at det nødvendigvis reflekterer hva PHS faktisk har planlagt.

Målet

Hvordan kan PHS og PrevBOT måles på om de holder det etiske nivået de ønsker? Hva kjennetegner en utviklingsprosess av, og et produkt med, ansvarlig kunstig intelligens?

«Ansvarlig kunstig intelligens» er ikke et beskyttet uttrykk, som du kan smykke KI-verktøyet ditt med om det oppfyller alle punkter på én spesifikk kravliste. Det er et uttrykk for kunstig intelligens som holder et visst nivå av ansvarlighet, når det kommer til hvordan systemet – både i utvikling og bruk – har konsekvenser for brukere og samfunnet.

Flere forskjellige instanser har utformet prinsipper og kriterier for kunstig intelligens. Først og fremst finnes etiske retningslinjer for tillitsvekkende KI fra 2019, utarbeidet av en ekspertgruppe på oppdrag fra EU-kommisjonen. OECD har utviklet sine prinsipper for kunstig intelligens, som oppfordrer til innovasjon og ansvarlig vekst av KI som respekterer menneskerettighetene og demokratiske verdier. UNESCO utarbeidet i 2022 anbefalinger for etisk KI. Mens konsulentselskapet PwC utarbeidet ni prinsipper for etisk KI på oppdrag fra World Economic Forum. Etter hvert har akademiske institusjoner, tankesmier og teknologiaktører som Google og Microsoft kommet med forskjellige tilnærminger til etisk, ansvarlig og tillitsvekkende KI. Flere av disse prinsippene og retningslinjene er generelle og mest rettet mot politisk styring. Andre er mer konkrete, og dermed nyttige for utviklerne. For eksempel inneholder retningslinjene fra EU-kommisjonens ekspertgruppe en grundig sjekkliste.

Så finnes det også domenespesifikke retningslinjer for ansvarlig KI, som for eksempel innenfor helsevesenet og finanssektoren. Relevant for PrevBOT-prosjektet, er det at INTERPOL og UNICRI har utviklet prinsipper for ansvarlig innovasjon av kunstig intelligens spesielt myntet på utvikling innenfor politimyndigheter. 

IEEE har også utformet standarder for ansvarlig og etisk utvikling av kunstig intelligens. De har standarder for spesifikke utfordringer, som IEEE P7001, som fokuserer på åpenhet om autonome systemer, IEEE P7002, som tar for seg databeskyttelse og personvern, eller IEEE P7003, som er rettet mot algoritmisk skjevhet. I tillegg har de utarbeidet den mer overordnede og omfattende veiledningen Ethically Aligned Design (EAD), som fremhever nøkkelprinsipper for å sikre at utviklingen av kunstig intelligens og autonome systemer er i tråd med etiske normer og verdier.

Etikk i den nasjonale KI-strategien

I sandkasseprosjektet velger vi å se til Nasjonal strategi for kunstig intelligens, der det er definert syv etiske prinsipper for kunstig intelligens, basert på retningslinjene fra EU-kommisjonens ekspertgruppeDet PrevBOT-prosjektet bør strekke seg etter, er altså:

1. KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll

   Utvikling og bruk av kunstig intelligens skal bidra til et demokratisk og rettferdig samfunn ved å styrke og fremme enkeltmenneskets grunnleggende friheter og rettigheter. Den enkelte skal ha rett til ikke å være underlagt en automatisert behandling hvis beslutningen systemet fatter berører dem i vesentlig grad. Mennesker skal være inne i beslutningsprosessene for å kvalitetssikre og gi tilbakemelding i alle ledd i prosessen («human-in-the-loop»).

2. KI-baserte systemer skal være sikre og teknisk robuste

   Kunstig intelligens skal være bygget på systemer med teknisk robuste løsninger som forebygger risiko og som bidrar til at systemene fungerer slik de er tiltenkt. Risikoen for uintenderte og uventede skader skal minimeres. Teknisk robusthet er også viktig for systemenes nøyaktighet, pålitelighet og etterprøvbarhet.

3. KI skal ta hensyn til personvernet

   Kunstig intelligens som bygger på personopplysninger, eller som retter seg mot personer, skal følge personvernforordningen.

4. KI-baserte systemer må være gjennomsiktige

   Beslutninger tatt av systemer basert på kunstig intelligens, skal være sporbare, forklarbare og gjennomsiktige. Det betyr at man som enkeltperson eller juridisk person skal ha mulighet til å få innsikt i hvorfor en beslutning som gjelder dem ble som den ble. Sporbarhet muliggjør både revisjon og forklaring. Gjennomsiktighet oppnås blant annet ved å gi informasjon om behandlingen til den registrerte. Gjennomsiktighet handler også om at datasystemer ikke skal utgis for å være mennesker – mennesker skal ha rett til å få vite om de samhandler med et KI-system.

5. KI-systemer skal legge til rette for inkludering, mangfold og likebehandling

   Ved utvikling og bruk av kunstig intelligens, er det særlig viktig å være oppmerksom på at KI bidrar til inkludering og likestilling, og at diskriminering unngås. Datasett som brukes til å trene opp KI-systemer kan inneholde historiske skjevheter, være ufullstendige eller uriktige. Identifiserbare og diskriminerende skjevhet bør fjernes i innsamlingsfasen hvis det er mulig. Utvalgsskjevhet («bias») kan motvirkes ved å innføre kontrollprosesser som analysere og korrigerer systemets beslutninger i lys av formålet.

6. KI skal være nyttig for samfunn og miljø

   Kunstig intelligens skal utvikles med hensyn til samfunnet og miljøet, og skal ikke ha negativ innvirkning på institusjoner, demokratiet og samfunnet som helhet.

7. Ansvarlighet

   Kravet om ansvarlighet utfyller de andre kravene og innebærer at det skal innføres mekanismer som sikrer ansvarlighet for løsninger basert på KI og deres resultater, både før og etter implementering av løsningene. Alle KI-systemer skal ivareta muligheten for revisjon.

Kunstig intelligens og forskningsetikk

Den nasjonale strategien peker også på at forsking på kunstig intelligens må skje i henhold til anerkjente forskningsetiske normer. I tillegg viser strategien til at den nasjonale forskningsetiske komité for naturvitenskap og teknologi (NENT) har avgitt en egen forskningsetisk betenkning om kunstig intelligens, der de lanserer ni prinsipper for KI-forsking innenfor tre områder:

1. Ansvar for utviklingen og bruken av autonome systemer:
   Forskning på KI skal sikre menneskeverd, lokalisere ansvar, være inspiserbar og bidra til informert samfunnsdebatt.
2. Samfunnsovergripende konsekvenser og forskningens samfunnsansvar:
   Forskning på KI må erkjenne usikkerhet og sikre bred involvering.
3. Stordata:
   Forskning på KI må ivareta personvern og hensyn til enkeltpersoner, sikre etterprøvbarhet og kvalitet og bidra til rettferdig tilgang til data.

Hvordan etiske problemstillinger konkret kan vurderes opp mot de relevante prinsippene fra den nasjonale strategien, demonstrerer vi mot slutten av dette kapitlet. Først vil vi prøve å kartlegge best mulig hvilke etiske problemstillinger som ligger i PrevBOT-prosjektet, og se på hvilke verktøy og avklaringer som kan legge til rette for at de etiske vurderingene blir gode.

For å vurdere det gjorde sandkasseprosjektet det vi kan kalle en første steg-analyse, inspirert av den såkalte «rettferdig krig»-tradisjonen (Bellaby, 2016; Diderichsen, 2011; Kleinig, 2009; Syse, 2003), en type tenking som i dag står sentralt i etterretningsfeltet, og for så vidt maktbruk generelt.

 Vi tok ikke mål av oss å gjøre en komplett etisk analyse, men via analysen fikk vi belyst sentrale spørsmål, som forhåpentligvis kan gi PrevBOT-forskingen noen føringer når de staker ut kursen videre. Vi håper også det er nyttig for andre å se konkrete eksempler på etiske drøftinger her i rapporten.

Slave av det første steget

Filosofen Hans Jonas, kjent for å fokusere på de etiske implikasjonene av moderne teknologi og vitenskap, formulerte det slik: «Fri til å ta det første steget, men slave av de følgende stegene» (Jonas, 1983). Selv om vi har friheten til å initiere handlinger, binder de påfølgende konsekvensene av disse handlingene oss, og begrenser vår framtidige frihet. Dette understreker viktigheten av ansvarlig beslutningstaking, spesielt i lys av irreversible teknologiske inngrep i naturen og menneskelivet.

For PrevBOT vil det være relativ kort vei fra idé & behov-stadiet via prototype, design og til utviklingsfasen i det skisserte prosessløpet over. Funksjonene PHS vil putte inn i boten er nemlig i stor grad demonstrert i annen forsking. For PrevBOT-prosjektet handler det om å få de ulike delene til å fungere som helhet. For å vite om den fungerer, må man teste. I første omgang i trygge rammer som simulering. Like fullt har man tatt enda et steg på illustrasjonen over. Når boten så er utviklet og klar til testing i bruksmiljø, kan det være vanskelig ikke å ta den i bruk – på en eller annen måte – hvis samfunnet eller enkeltsaker «krever» det. Om ikke av norsk politi, så ved en kommersiell aktør eller andre.

Det er også lett å se for seg et annet «krav» som kan komme: Et krav om at PrevBOT også lagrer data om de som blir flagget, slik at de kan bli straffeforfulgt. Er det i så fall etisk riktig av politiet ikke å etterforske når de får potensielle beviser og overgripere i fanget? Kanskje ikke. Men en PrevBOT som kan brukes i etterforskingsøyemed er sannsynligvis mer inngripende - og noe ganske annet - enn en forebyggende bot. En flagging vil da få større konsekvenser for enkeltmenneskene, materialet må trolig lagres lenger og deles med andre deler av politi og påtalemakt. Det kan derfor være lurt å innrette boten slik, at det ikke setter politiet i dette etiske dilemmaet på et senere tidspunkt.

Forsking er forsking. Hvert steg i utviklingsforløpet kan by på både kjente og ukjente muligheter, og kjente og ukjente konsekvenser. Det første steget kan altså lede oss på et skråplan, der man sklir av gårde mer eller mindre bevisst, og ender et sted man i utgangspunktet ikke ønsket. Det er ikke dermed sagt at man aldri skal ta det første steget. Men det er viktig å være bevisst – allerede i idé & behov-stadiet – på de mulige konsekvensene av et endelig produkt.

«Rettferdig krig»

Til vurderingen av om man bør ta det første steget i forskingsprosjektet PrevBOT, har etikk-professor Jens Erik Paulsen ved PHS latt seg inspirere av «rettferdig krig»-tradisjonen, og løftet fram syv momenter som er relevante å se på:

1. Legitimitet
2. Rettmessig grunn
3. Sinnelag
4. Proporsjonalitet
5. Rimelig håp om å lykkes
6. Siste utvei
7. Hensynet til uskyldig tredjepart

Legitimitet

Er det legitimt at PHS utvikler teknologier som PrevBOT? Er det i det hele tatt legitimt at politimyndigheter er pådrivere i utviklingen av ny teknologi?

Politiet har blitt kritisert for å ikke henge med i den digitale transformasjonen. Høsten 2023 kom Riksrevisjonen med betydelig kritikk i en rapport, som slo fast at politiet har foreldede IT-systemer, at det er intern misnøye med digitale tjenester og verktøy, og at Justis- og beredskapsdepartementet og Politidirektoratet har manglet kunnskap om teknologi og om hvordan teknologi kan brukes for å utvikle framtidens politi- og påtaletjenester.

Lang tids forsømmelse rettferdiggjør ikke dermed uhemmet utvikling på feltet. Nettopp mangel på erfaring og kunnskap kan tilsi at politiet nå bør være ekstra oppmerksomme i sine forsøk på å utvikle (eller forske på) ny og avansert teknologi. Samtidig slår Riksrevisjonen fast at politiets manglende prioritering av digitalisering og teknologi har ført til mindre trygghet og dårligere bekjempelse av kriminalitet. Å ikke gjøre noe, kan derfor være et etisk like problematisk alternativ.

Kanskje finnes det et punkt for balansert iver (se figur under) etter å utnytte mulighetene ny teknologi byr på?

For PrevBOT-prosjektet spesifikt, er det snakk om alvorlig kriminalitet, som det er rimelig at politiet forsøker å bekjempe. Utfra omfanget av anmeldelser som kommer inn og antatte mørketall er problemet så stort, og av en slik karakter, at politiet mener man ikke kan etterforske seg ut av det. Forebygging eller en form for avverging er derfor nødvendig. Kriminalitetsforebygging skal uansett også være politiets hovedstrategi.

Det er ikke dermed sagt at et slikt system kun bør være politiets. Det kan også tenkes at hele eller deler av en ferdig utviklet PrevBOT-teknologi med fordel kan benyttes av andre aktører, at automatiserte varsler kan sendes og/eller samtaler kan brytes, uten at politiet er involvert. Altså at nettets aktører, kommersielle som offentlige, bruker PrevBOT-teknologi som en form for moderering av det som skjer på plattformene.

Det vil like fullt være legitimt at PHS står ansvarlig for utviklingen av et slikt verktøy. Med åpenhet rundt resultatene er det argumenter for at det er nettopp en institusjon koblet til politimyndighetene som står for denne forskingen.

Rettmessig grunn

Finnes det rettmessige grunner for å utvikle et slikt system? Beskyttelsesbehovet er åpenbart. Som pekt på i det innledende kapittelet, kan hver enkelt overgriper ramme både to- og tresifrede antall offer. Konsekvensene av seksuelle overgrep er et folkehelseproblem. Så det er åpenbart rettmessige grunner til å gjøre noe med problemet. Men er det gode grunner til å gjøre det på den måten PrevBOT er tenkt, ved å gripe inn i private samtaler (riktignok på åpne fora)?

Krenker det barnas autonomi om politiet følger med på og griper inn i samtaler ved mistanke om forsøk på grooming? Ja. Det reduserer de unges mulighet og evne til selv å vurdere og selv bestemme seg for hvordan de skal takle situasjonen. Det kan likevel være rettmessige grunner for å gjøre det. Det er tross alt mindreårige det er snakk om, som også har rett på beskyttelse.

Gruppen PrevBOT er ment å beskytte, mindreårige på nett, er slett ingen homogen gruppe. Det er stor variasjon i hvor godt foreldre passer på og veileder barna om nettvett. Det er også stor variasjon i alder på de som skal beskyttes. Mange av de mindreårige, som befinner seg på plattformer der grooming forekommer, er nesten myndige, mens noen er helt ned i 10-årsalderen. Det er stor variasjon i seksuell utvikling, nysgjerrighet og erfaring. Det er også en viss variasjon i kunnskap om, og erfaring med, å håndtere forsøk på manipulasjon. Så i sum er det altså et visst spenn i sårbarhet. De mest sårbare kan kjennetegnes av dårlig oppfølging hjemme, lav digital kompetanse og høy grad av risikosøken.

FNs barnekonvensjon slår fast at barn har rett på beskyttelse. Artikkel 34 handler eksplisitt om barnas rett til å beskyttes mot seksuell utnyttelse. Mens konvensjonens artikkel 16 handler om retten til, og vern om, et privatliv. Artikkel 12 handler om respekt for barnas synspunkter, og anerkjenner barnas rett til å være aktive deltakere i beslutningsprosesser som påvirker dem. Barna har altså rett på en slags autonomi, men denne friheten virker – både i ord og praksis – å være underordnet kravet til beskyttelse.

Les gjerne: «Barnet – et menneske uten krav på fulle menneskerettigheter?» av Paul M. Opdal

For at PrevBOT ikke skal oppleves som et vilkårlig inngrep i privatlivet, er det viktig at boten kan gi reell beskyttelse. Det er ikke nok å peke på omfanget av den seksuelle utnyttelsen som skal bekjempes. Her må vi analysere selve situasjonen der boten (eller botens operatør) skal gripe inn i barnets nettaktivitet, og måle graden av trussel på den ene siden opp mot graden av sårbarhet på den andre. Graden av sårbarhet vil, som nevnt, variere. Men for mange unge vil sårbarheten, i form av lite erfaring med å gjenkjenne forsøk på manipulering, gjerne i kombinasjon med seksuell nysgjerrighet og/eller usikkerhet, være stor. Trusselen, i form av fare for å bli forsøkt groomet og konsekvensene av eventuelle overgrep, er også stor. Ingen av partene i disse samtalene er spesielt godt skikket til å tenke langsiktig (på hhv konsekvenser for andre og konsekvenser for en selv). At en overgriper kan møte et offer i et et chatrom, som er mer eller mindre ukontrollert, er åpenbart et problem. Et verktøy som avskjærer slike møter, vil gi en reell beskyttelse.

Seksuelle overgrep generelt, og grooming spesielt, er et problem av slikt omfang og kompleksitet, at ett tiltak alene neppe får bukt med det. Men PrevBOT kan utvilsomt være et nyttig redskap, og grunnene til å utvikle det synes rettmessige.

Sinnelag

Et tredje aspekt i første steg-analysen dreier seg om intensjonen for utviklingen av en PrevBOT. Dette beror i praksis på en vurdering av sinnelaget. Kan vi anta at ideen bygger på, og utviklingen vil skje, med respekt for integriteten/menneskeverdet til de partene teknologien er rettet mot? Er vi trygge på at intensjonen med PrevBOT er å ville kriminaliteten til livs, ikke personene og gruppene som sådan? Dette er det politiet og Politihøgskolen selv som  må kjenne på og vurdere.

Vi kan både mistenke og forstå, at det er fristende for politiet å la boten også samle beviser for å starte etterforsking, basert på flaggende samtaler. Det er også med i tidlige skisser av PrevBOTen. En slik versjon kan også være forenlig med et godt sinnelag og et ærlig formål om å bekjempe kriminaliteten. Det er riktignok mer åpenbart at det potensielle sinnelagsproblemet ivaretas med en rent forebyggende PrevBOT, som nøyer seg med å avdekke og avskjære.

Proporsjonalitet

Prinsippet om proporsjonalitet innebærer at politiet ikke skal «ta i bruk noe sterkere middel før mildere midler har vært forgjeves forsøkt» (politiinstruksen § 3-1). Og gevinsten ved å avverge overgrep må veies opp mot ulempene utviklingen og bruken av en PrevBOT innebærer.

Sandkasseprosjektet har ikke undersøkt om det finnes andre, mildere midler, som politiet bør prøve før PrevBOT. Om boten i denne sammenheng vil være et særlig sterkt middel, kommer an på hvordan de designer den. En bevissamlende PrevBOT er nok et kraftigere middel, enn en rent forebyggende bot. Dette tilsier at en bevissamlende bot først (eventuelt) kan forsvares om en rent forebyggende bot er forgjeves forsøkt.

Vi må også vurdere om bruken av et PrevBOT-verktøy vil være proporsjonalt med problemet som skal bekjempes. Er det fare for å skyte spurv med kanoner? Seksuell utnyttelse og overgrep mot barn er ingen «spurv». Det er alvorlig kriminalitet og et folkehelseproblem. Vi må likevel forvente at verktøyet er treffsikkert, og at bruken ikke rammer svært mange mennesker som verken står i fare for å bli ofre eller overgripere. Er det behov for en slik «masseovervåking» for å avverge kriminaliteten man vil til livs? Eller sagt på en annen måte: kan PrevBOTen utformes slik at den minimerer inngrepet i personvernet til «massen»?

Kan man sørge for at flaggede samtaler, som etter planen skal bli lagret for å gjøre modellen stadig bedre og språklig oppdatert, ikke blir lagret lenger enn strengt nødvendig? I situasjonene der politiet har intervenert med en advarsel, vil det kanskje være dokumentasjonskrav knyttet til de elektroniske sporene som ga grunnlaget. Men unødvendig store mengder persondata som lagres unødvendig lenge, er ikke bra for personvernet. Oppdateringer kan for eksempel skje relativt hyppig, både for å unngå et stort lager av logger, men også for å sikre at PrevBOT fungerer best mulig. Prosjektet kan også vurdere om det kun er de loggene der en botoperatør har grepet inn, som skal lagres, i stedet for alle som blir flagget. Det vil gi en menneskelig kvalitetssikring, som både reduserer støy i etterlæringsmaterialet og styrker personvernet.

Det er viktig at proporsjonalitet ligger langt framme i bevisstheten gjennom hele forskings- og utviklingsløpet. Som del av en først steg-analyse, vurderer vi at prosjektet er i tråd med prinsippet.

Rimelig håp om å lykkes

Å ta et første steg, kan best forsvares om det er et rimelig håp om å lykkes. Teknologisk er det såpass godt bevist at maskiner kan gjenkjenne spesielle samtaletrekk og gjøre sinnsstemningsanalyse, at vi trygt kan si at det er rimelig håp om å lykkes med å lage en bot som kan oppdage og flagge groomingforsøk. Men for å sikre oss at det ikke blir et første steg på et skråplan, må vi gjøre oss opp en mening om en teknisk fungerende PrevBOT vil ha rimelig håp om å lykkes i praksis med å forhindre CSEA.

Rent teknisk er det for eksempel viktig, at systemet er hurtig nok til å kunne avverge før samtalen tas over i lukkede fora. Det handler både om botens evne til å oppdage og flagge mistenkelige samtaler tidlig nok, men også om politiets nettpatruljer har kapasitet til å følge opp all flagging fra PrevBOTen, og gripe inn raskt nok der det trengs. Om det er det siste det står på, vil kanskje veien være kort til å gjøre PrevBOTen, som er planlagt som en beslutningsstøtte for ekte, levende nettpatruljer, om til et helautomatisk verktøy. Det vil i så fall bety strammere krav både juridisk og etisk, der deler av vurderingen vil gå på om behandlingen verktøyet gjør har rettsvirkning for eller på tilsvarende måte i betydelig grad påvirker den enkelte.

Så kan man diskutere om en automatisk pop-up-advarsel er såpass inngripende? Ikke i seg selv, kanskje. Men om du i en advarsel med politiet som avsender blir «stemplet» som potensiell overgriper eller potensielt offer, vil det nok oppleves inngripende for mange, selv om det ikke skal få rettslige konsekvenser. Så ordlyden i advarslene, og om det er det potensielle offeret, den potensielle overgriperen eller begge, som advares, vil kreve omtanke.

PrevBOTs mulighet for å lykkes er slett ikke bare et teknisk eller organisatorisk spørsmål. Minst like avgjørende for om det vil virke etter intensjonen: Vil potensielle overgripere la seg stoppe av en advarsel som spretter opp på skjermen? Dersom politiet er åpne om hvordan verktøyet fungerer, som vel er en forutsetning om PrevBOT skal kunne kalles ansvarlig KI (jf. prinsippet om transparens), vil de godt informerte vite at å gi blanke i advarselen ikke vil påvirke faren for å bli tatt. Kan det tenkes at de farligste overgriperne vil være kaldblodige nok til å trosse advarsler og chatte videre?

Hvordan vil så det potensielle offeret oppleve en advarsel om at hen muligens blir forsøkt groomet? Som nevnt er de potensielle ofrene slett ingen ensartet gruppe. Effekten av en advarsel vil nok avhenge av situasjonen. Forsøk på grooming kan forekomme på chat- eller spillplattformer ment for generell sosialisering. Dette er steder de unge kanskje opplever som en trygg hjemmebane, der de er mindre på vakt og kan bli overrumplet av smiger og grooming-forsøk. Der vil kanskje en advarsel kunne være en vekker med god effekt.

I den andre ytterkanten finnes mindreårige som allerede har trosset advarsler, og har «sneket» seg inn på pornografiske nettsider med 18-årsgrenser. Dersom du blir forsøkt groomet i en slik kontekst, når du selv lyver på alderen, når du selv er ute etter å pushe (seksuelle) grenser: Vil du bry deg om en advarsel om at du blir forsøkt groomet?

Professor Elisabeth Staksrud ved Institutt for medier og kommunikasjon ved UiO har fulgt med på barns nettbruk siden 90-tallet. Hennes forsking viser, at de som utsettes for seksuelle overgrep etter å ha møtt personer på internett, som regel har en anelse om at de møter en voksen som er ute etter noe seksuelt. En advarsel om nettopp den faren vil altså ikke bringe noe nytt til torgs. Det betyr ikke nødvendigvis at den ikke vil ha effekt. En advarsel med politiet som avsender, kan få alvoret til å synke inn. Det er like fullt ikke opplagt at slike advarsler vil ha like god effekt på alle. Og kanskje minst på de mest sårbare?

De potensielle overgriperne er nok også en lite homogen gruppe, både i alder og «aggresjon». Noen er serieovergripere med en bevisst plan og metode for å lokke til seg offer. Andre glir kanskje mer ubevisst forbi sine normale, moralske skrupler, og har «plutselig» gjort ting digitalt hen neppe ville gjort i det analoge liv. For disse potensielle overgriperne, vil kanskje en advarsel fra politiet være effektiv.

Les gjerne: Dette er de norske nettovergriperne (aftenposten.no)

PrevBOT vil neppe oppnå 100 % effekt i å avverge overgrep på de plattformene den skal operere, selv der boten har detektert grooming og forsøket har blitt prøvd stoppet på et vis. Men det er rimelig å tro at den vil kunne stoppe en del. Usikkerheten knyttet til de chattendes reaksjoner på advarsler og politiets inngripen tilsier, at det vil være viktig med videre forsking på hvordan verktøyet virker i praksis, straks det tas i bruk.

I sandkasseprosjektet har vi også diskutert bruken av ordene «offer» og «overgriper». Det er ikke sikkert de involverte ser på seg selv som mulige ofre og potensielle overgripere, og slike uttrykk kan virke fremmedgjørende. Ordbruken i politiets avskjæringsforsøk kan derfor være avgjørende for om PrevBOT har rimelig håp om å lykkes.

Én ting er om de chattende reagerer på advarslene. En annen ting er om de i det hele tatt tror at de er ekte. Hvordan skal unge, som på skolen lærer å være kritiske nettbrukere, stole på at det faktisk er politiet som griper inn? Hva om det er advarselen i seg selv de blir kritiske til? Dette har forhåpentligvis politiets nettpatruljer erfaring med å håndtere. Det er uansett et mulig utfall, som er viktig å ta med i utviklingen av prosjektet.

Dersom det er godt kjent blant unge at PrevBOT eksisterer, vil det selvsagt hjelpe på problemstillingen over. Og nettopp det – at det er allment kjent at boten og politiet følger med på nett – kan ha en effekt i seg selv.

Det kan riktignok lede til kriminalitetsforflytning, altså at groomingen flytter over på arenaer der PrevBOT ikke har tilgang. Om problemet så flytter seg til nettets mørkeste kroker, vil det uansett bety at både offer og overgripere i betydelig større grad må oppsøke situasjonene bevisst. Nå plukkes nye ofre til en viss grad opp på «åpen gate». Om problemet forflytter seg vil «gatene» i det minste være trygge for flertallet. Og problemet blir redusert, om ikke helt eliminert.

Vissheten om at PrevBOT følger med kan, på den andre siden, gi en falsk trygghet. Om de stoler blindt på at «storebror» griper inn mot alt som er mistenkelig, kan det gjøre dem mer sårbare for forsøk PrevBOTen ikke klarer å fange opp? Her er det relevant at de aller fleste overgrep begås av jevnaldrende. Samtidig er det planlagt at PrevBOTen skal detektere stor aldersforskjell mellom de chattende, uten at det er spesifisert hva som skal kvalifisere til «stor aldersforskjell». Forsking viser at dømte groomere stort sett er menn mellom 25 og 45. Vil en samtale mellom en mann i midten av 20-årene og en jente på 15-16 bli definert som stor aldersforskjell? Og vil den være like lett å avsløre for PrevBOTen, som om mannen var 40? Jo større avstand PrevBOT krever for å gripe inn, jo færre saker vil den oppdage. Og jo flere jevnaldrende-forsøk som går under PrevBOT-radaren, jo falskere trygghet er det for de som tenker at PrevBOT gjør «rommet» sikkert.

For å oppsummere PrevBOT-prosjektets sjanse for å lage et effektivt verktøy, er det altså en rekke momenter som påvirker om det vil kunne lykkes. Av de mange mulige utfallene, er det riktignok mye som kan løses i designet av verktøyet og bruken av det. PrevBOT vil neppe oppdage eller kunne avverge alle grooming-forsøk, men den vil forhåpentligvis stoppe en del. Så håpet om å lykkes er rimelig nok til å forsvare et første steg ut i PrevBOT-forskingen.

«Siste utvei»

Hvis det kun finnes én måte å avverge denne typen kriminalitet på, en siste utvei, kan det være at kravet til proporsjonalitet kan justeres. I denne sammenhengen er det nok ikke relevant. PrevBOT er verken den eneste eller den siste utveien i kampen mot denne type kriminalitet.

Som nevnt under punktet om proporsjonalitet er politiet mer eller mindre forpliktet til å prøve en rent forebyggende variant av PrevBOT, før de eventuelt utvikler et verktøy som også samler bevis og legger til rette for etterforsking.

Det er heller ikke sikkert en bevissamlende bot vil være den aller siste utveien. Om det skulle bli aktuelt å gå videre på det sporet, vil det kreve en kartlegging og sammenligning med andre metoder.

Hensynet til tredjepart

Det siste punktet i denne første steg-analysen, handler om hensynet til «uskyldige» brukere og andre som ikke nødvendigvis får eller burde få nærkontakt med en PrevBOT i aksjon.

På den positive siden er det nok mange som vil ønske et slikt verktøy velkomment. Foreldre vil sette pris på at noe blir gjort. Politikerne vil være takknemlige for tiltak som kan gjøre samfunnet tryggere. Om et fysisk rom var kriminalitetsbelastet i like stor grad som nettet, ville vi forventet at politiet sendte uniformerte patruljer dit eller tok tak i problemet på et eller annet vis.

Men dette «et eller annet vis» er ikke nødvendigvis en PrevBOT. På den negative siden kan et slikt verktøy føre til nedkjølingseffekt. Bare vissheten om at politiet har et slikt verktøy som følger med, lagrer og eventuelt griper inn i vår aktivitet, når vi lever våre liv i åpne, digitale rom, kan føre til at vi i mindre grad føler oss fri og ønsker å bruke disse arenaene. En slik nedkjølingseffekt vil kunne bli forsterket om PrevBOT i praksis viser seg å gripe inn i harmløs hengivenhet mellom kjærester eller samtykkekompetente nettbrukere.

Derfor vil det være avgjørende hvor PrevBOTen brukes, og hvordan den stilles inn. Hvor effektiv skal den være? Hvor sikker skal den være på, at det som pågår er grooming med (høy) risiko for å ende i seksuell utnyttelse? Skal den nøye seg med å advare mot og skremme bort de mest opplagte serieovergriperne? Eller skal den ha lavere terskel for å gripe inn i digitale forsøk på å utfordre hverandre seksuelt, med fare for å gi en rekke «falskt positive» flagginger?

En nedkjølingseffekt kan riktignok også komme ved fravær av en PrevBOT. Om ingenting blir gjort, og nettet fortsetter å oppleves som et stadig mer lovfritt og farlig rom, er det grunn til å tro at mange vil skygge unna i større grad. Foreldre vil kanskje sette strengere grenser for barnas nettbruk? Det er kanskje ikke noe galt i det i seg selv, men det er en fare for at det er de mest sårbare som da vil bli igjen på nettet.

Å ikke ta opp kampen mot kriminaliteten på nett, framstår med andre ord også som negativt for følelsen av frihet og muligheten til å ha et privatliv på nettet.

Alt i alt konkluderer sandkasseprosjektet med at kriteriene i første steg-analysen er oppfylt, og at det er etisk riktig å sette i gang forsking på PrevBOT.

I bruk vil et slikt verktøy ikke komme unna å behandle (sensitive) personopplysninger. Og – alt etter hvordan man innretter det – vil det kunne oppleves temmelig inngripende i personvernet til både offer og overgripere, og tilfeldige personer som får sin chat analysert av PrevBOT mens man er på nettet.

Det vil nok være smart å være tidlig ute med en plan for vurderinger av lovligheten ved et slikt verktøy i bruk. Det kan definitivt være tema for et nytt sandkasseprosjekt.

PrevBOT-prosjektet er fortsatt i en tidlig fase, og veien videre avhenger av mange valg som må tas. Sett fra et personvernperspektiv er det spesielt interessant om de holder fast på at det er et verktøy som skal forebygge i form av å avskjære forsøk på grooming. PrevBOT-prosjektet er nå tydelige på at det er det de ønsker. Samtidig er det krefter som på veien fra idé til bruksklart KI-verktøy kan prøve å påvirke, for at verktøyet også skal kunne samle bevis mot og jakte på overgripere. Datatilsynet anbefaler prosjektet tidlig å identifisere bruk av PrevBOT de vurderer som uetisk og uønsket, og i utviklingsfasen jobbe for å stenge dører for nettopp slik bruk.

Ønske om frihet og ønske om trygghet blir gjerne framstilt som motstridende mål. PrevBOT-prosjektet er riktignok et godt eksempel på at frihet, trygghet og personvern er gjensidig avhengig av hverandre, og at det handler om å finne balansen. De mindreårige har krav på autonomi og et privatliv, men uten et visst nivå av trygghet på nettet, vil de ikke kunne utøve sin autonomi og sine friheter. Når verktøyet etter hvert skal designes mer i detalj, blir det viktig for prosjektet å søke etter dette balansepunktet.

Tillit er avgjørende for et prosjekt som ønsker å være i tråd med både regelverk og retningslinjer for ansvarlig kunstig intelligens. Å legge vekt på transparens og involvering av relevante interessenter gjennom forskingsprosjektet, danner et godt grunnlag for det.

I løpet av sandkasseprosessen har LLM (Large Language Models) rukket å få sitt folkelige gjennombrudd, og SLM (Small Language Models) har meldt sin snarlige ankomst. Det samme har LAM (Large Action Models). Nye muligheter dukker opp, og sandkasseprosjektet ser at PrevBOT på flere måter kan bidra til å gjøre internettet og hverdagen tryggere for sårbare grupper.

For eksempel kan teknologien fra et vellykket forskingsprosjekt brukes i apper som kjøres lokalt på telefoner og laptoper. Som behandler det som er synlig på skjermen, heller enn å operere på nettstedenes domener. Der du kan stille inn hvem som eventuelt skal varsles, i tillegg til den som sitter ved skjermen og blir forsøkt groomet.

PrevBOT kan ende opp med å ikke bare bli ett verktøy, men danne grunnlaget for flere forskjellige tiltak, som til sammen gir effektivt vern mot nettbasert grooming.