KI kan ha skjulte «fordommer» mot kvinner

KI-systemer oppfattes gjerne som nøytrale. Passer vi ikke på, kan algoritmene legge til rette for diskriminering av kvinner.

Bildet kan inneholde: mallet, rett.

RETTFERDIG? KI kan brukes til å anbefale hvem som skal få tilgang til viktige goder og tjenester på tvers av hele samfunnet. Men hva baseres anbefalingene på?

Av Helene Lindqvist, Institutt for offentlig rett
Publisert 7. mars 2025

Bruk av kunstig intelligens sprer seg til stadig flere samfunnsområder – fra helsevesen til ansettelser og forsikringer. Store mengder informasjon organiseres raskt og effektivt når beslutninger skal tas. 

Her er det viktig å være på vakt. KI kan blåse liv i gamle fordommer og ulikheter, og føre til helt nye typer forskjellsbehandling. Det kan skje raskt og systematisk, uten at det oppdages. 

– KI kan i verste fall føre til et tilbakeslag for kvinnekampen, sier professor Vibeke Blaker Strand ved Institutt for offentlig rett.  

Også andre og helt nye grupper kan rammes. 

KI har aldri skylda

Forskjellsbehandling som ikke har noen god begrunnelse, kan være diskriminering. 

Men dagens likestillings- og diskrimineringslov er ikke tilstrekkelig tilpasset forskjellsbehandlingen som kan oppstå ved bruk av KI, hevder professoren.

I fjor sto hun bak utredningen «Algoritmer, kunstig intelligens og diskriminering», skrevet på oppdrag for Likestillings- og diskrimineringsombudet. I disse dager gis utredningen ut på engelsk i bearbeidet form.

– Det er viktig at jurister tar plass i diskusjonen rundt KI, både for å bidra til å muliggjøre bruk av ny teknologi og for å sette grenser for den, framhever Strand. 

Med utgangspunkt i spørsmål som «hvem skal vernes?», «hvordan kan diskriminering bevises?» og «hvem har ansvaret?» foreslår hun å endre regelverket på flere punkter.

Blant forslagene er å innføre en såkalt aktivitets- og rapporteringsplikt for myndigheter og arbeidsgivere som bruker KI i beslutninger. Dette for å sikre at problematikk knyttet til diskriminering ikke blir oversett når algoritmiske systemer tas i bruk.

En ting er likevel klart: Man kan ikke skylde på KI når noe går galt. Ansvaret for ikke å diskriminere ligger hos virksomheten som tar i bruk KI. 

– Det er viktig å få håndhevet et vern mot diskriminering i møte med algoritmiske systemer. For eksempel ved at enkeltpersoner eller organisasjoner kan gå til sak om det viser seg at et system diskriminerer, sier Strand.

Foretrakk maskuline søkere

Maskiner har verken følelser eller fordommer. Men dataene som brukes til å trene KI-systemer er som regel påvirket av mennesker:

– KI kan dra med seg gammelt «slagg» som fører til urettferdig forskjellsbehandling. Denne kan få en litt annen klesdrakt enn tidligere, og skjer med større teknisk kompleksitet. Men for den enkelte som rammes er resultatet det samme, sier professoren. 

Som eksempel viser hun til Amazon, som for noen år tilbake droppet sitt KI-baserte rekrutteringsverktøy. Det viste seg nemlig å diskriminere kvinnelige jobbsøkere.

Fordi systemet var trent på historiske ansettelsesdata dominert av menn, ble gamle kjønnsstereotypier utilsiktet bygget inn i algoritmene.

– Systemet favoriserte søknader skrevet i en «maskulin stil», der søkeren framhevet egne lederegenskaper og solgte seg inn på en bestemt måte. Kvinnelige søkere nådde ikke opp, fordi de solgte seg inn annerledes, beskriver Strand.

Portrett av Vibeke Blaker Strand.
TVERRFAGLIGHET: – Det er viktig at jurister tar plass i diskusjonen rundt KI, både for å bidra til å muliggjøre bruk av ny teknologi og for å sette grenser for den, sier professor Vibeke Blaker Strand. Foto: UiO

Kan påvirke helsetjenester

Dagens regelverk om likestillings- og diskrimineringsvern er særlig utviklet med tanke på likestilling i arbeidslivet. Det passer dårlig med utviklingen i samfunnet, påpeker professoren:   

KI kan brukes til å anbefale hvem som skal få tilgang til viktige goder og tjenester på tvers av hele samfunnet. Det kan være alt fra helsetjenester til leie av boliger. Andre eksempler Strand trekker fram, er hvem som skal kontrolleres av politi eller tollvesen og risikokartlegging gjort av banker og forsikringsselskaper.

Fordi systemene håndterer store mengder data, kan diskrimineringen skje mer systematisk og i enda større skala enn tidligere.

– En oppdatert lov må ta høyde for at den nye teknologien tas i bruk på tvers av hele samfunnet, sier professoren.

Utfordringen tas allerede tak i flere steder. Et samarbeidsprosjekt mellom Akershus universitetssykehus og Datatilsynet så nærmere på et KI-system laget for å avdekke risiko for hjertesvikt. Her fant de en potensiell risiko for skjevheter knyttet til etnisitet. Årsaken var at tidligere pasienters etnisitet ikke var del av datagrunnlaget.

– Jurister, IT-utviklere og andre faggrupper må samarbeide for å sikre at KI-systemer testes og kontrolleres for diskriminerende virkninger, slår Strand fast.

Utdatert?

Likestillings- og diskrimineringsloven forbyr både direkte og indirekte diskriminering på grunn av en rekke konkrete forhold. Blant disse er kjønn og kjønnsidentitet, etnisitet, religion og funksjonsnedsettelse.

I møte med KI kan det imidlertid være vanskelig å avdekke både om og hvordan diskriminering har skjedd.

– Noen systemer er så komplekst satt sammen at mennesker ikke fullt ut kan forstå hvorfor de handler slik de gjør. Man vet ikke alltid helt hva som er lagt vekt på i anbefalingene, sier Strand.

Dagens liste over vernede grupper kan dessuten være utdatert, ifølge professoren. Blant forslagene hennes er å lovfeste et vern mot algoritmisk diskriminering via såkalte «stedfortrederfaktorer»:

Uten at det er relevant, kan KI legge vekt på faktorer som bostedsadresse, økonomi eller utdanningsnivå. Slik kan noen grupper, for eksempel visse etniske minoriteter, komme skjevt ut når beslutninger tas. Dette uten at systemet har forholdt seg til etnisitet.

Må ikke vannes ut

Nye og noen ganger overraskende grupper, som hundeeiere, kan også komme skjevt ut.

– Man bør vurdere å etablere et vern mot algoritmisk diskriminering for nye grupper. For eksempel kan dagens regelverk suppleres med en åpen sekkekategori kalt «andre vesentlige forhold» ved en person, foreslår professoren.

Samtidig er det viktig at en slik utvidelse ikke vanner ut vernet av kvinner og andre allerede vernede grupper, påpeker hun:

– Det ligger lang historikk bak dagens lovverk, framhever Strand.

Referanser

Vibeke Blaker Strand (2024): «Algoritmer, kunstig intelligens og diskriminering: En analyse av likestillings- og diskrimineringslovens muligheter og begrensninger» Utredning skrevet på oppdrag fra Likestillings- og diskrimineringsombudet
Hjerterom for etisk AI: Sluttrapport fra sandkasseprosjektet til Ahus (EKG AI) (2023)

Publisert 7. mars 2025 06:00 - Sist endret 10. nov. 2025 09:33