Dataetisk Råd: Algoritmer kan forskelsbehandle – uden at vide det

I dag udgiver Dataetisk Råd techsplaineren "Hvad er algoritmisk bias?", der forklarer, hvordan algoritmer og kunstig intelligens kan komme til at behandle grupper af mennesker systematisk forskelligt – og hvorfor det ofte er svært helt at undgå. Techsplaineren er udarbejdet i samarbejde med professor Kasper Lippert-Rasmussen og Center for Eksperimentel-Filosofiske Studier af Diskrimination (CEPDISC) ved Aarhus Universitet.

"Algoritmisk bias er en af de mest komplekse dataetiske udfordringer, vi ser i disse år. Der findes ingen enkel knap, man kan skrue på for at fjerne det. Derfor er det afgørende, at myndigheder og virksomheder forstår, hvilke former for bias de i praksis vælger til og fra, når de tager en algoritme i brug," siger Johan Busse, formand for Dataetisk Råd.

Techsplaineren peger blandt andet på, at algoritmisk bias kan opstå, når en algoritme vurderer, hvilke socialt udsatte borgere der har mest brug for en indsats, når kunstig intelligens hjælper med at diagnosticere kræftknuder, eller når en algoritme sorterer jobansøgere. Fælles for eksemplerne er, at algoritmen – uden nødvendigvis at kende til køn, alder eller etnicitet – kan ende med systematisk at behandle bestemte grupper anderledes end andre.

Algoritmisk bias kan opstå på fire forskellige måder. Gennem brug af data om grupper, gennem forskelle i vurderinger, gennem forskelle i præcision og gennem forskelle i, hvilke typer fejl algoritmen begår. Et centralt pointe i techsplaineren er, at det ofte er teknisk vanskeligt – og i nogle tilfælde umuligt – at fjerne alle former for bias på samme tid, fordi et indgreb mod én type bias kan forstærke en anden.

Danmark har egne eksempler på udfordringen. I 2022 vurderede Ligebehandlingsnævnet, at et profileringsværktøj, som Styrelsen for Arbejdsmarked og Rekruttering brugte til at vurdere nylediges risiko for langtidsledighed, ikke var ulovligt diskriminerende – selvom værktøjet inddrog oplysninger om borgeres "ikke-vestlige herkomst". Sagen illustrerer ifølge Dataetisk Råd, at lovlighed og dataetisk forsvarlighed ikke nødvendigvis er det samme.

"Det vigtige spørgsmål er sjældent, om en algoritme har bias. Det vigtige spørgsmål er, hvilke former for bias vi som samfund er villige til at leve med," siger Johan Busse.

Dataetisk Råd sætter yderligere fokus på emnet ved to halvdagskonferencer om algoritmisk bias den 21. og 22. september, i samarbejde med CEPDISC og Algoritmer, Data og Demokrati-projektet.