Københavns Universitet      -        Det Natur- og Biovidenskabelige Fakultet

Stor chatbot er venstreorienteret EU-tilhænger

Del

Den store AI-chatbot LlamaChat, der er et populært alternativ til ChatGPT, har en politisk slagside til fordel for venstreorienterede og pro-europæiske holdninger. Det viser et studie fra Københavns Universitet, hvor forskerne har testet modellen på EU-politiske spørgsmål. Forskerne demonstrerer dog også, hvordan det er muligt at rette op på skævheden.

Foto: Getty Images
Foto: Getty Images

Valget til Europa-Parlamentet står for døren, og millioner af europæiske borgere skal nu gøre op med sig selv, hvilket politisk parti de synes repræsenterer deres holdninger bedst.

Bruger man en af de nye store AI-chatbots, sprogmodellen LlamaChat, til at blive klogere på de EU-politiske emner, er der stor sandsynlighed for, at man får et skævt svar. For sprogmodellen, der er udviklet af virksomheden Meta, har en tydelig politisk hældning. Det viser et nyt studie fra Københavns Universitet, hvor forskere fra Datalogisk Institut har undersøgt sprogmodellens viden om de politiske partier i Europa-Parlamentet. Derudover har de testet LlamaChats egne holdninger til EU-politiske emner.

“Vi kan se, at LlamaChat har en bias til fordel for pro-europæiske og venstreorienterede politiske holdninger. Modellen flugter mere med de politiske grupper De Grønne/EFA (venstre) og S&D (centrum-venstre) end med EPP (centrum-højre) og ID (yderste højre),” siger postdoc Ilias Chalkidis fra Datalogisk Institut.

Forskerne testede LlamaChat på et spørgeskema med EU-politiske spørgsmål og placerede dernæst sprogmodellens svar på et politisk ideologisk spektrum. Modellen blev stillet spørgsmål såsom:

Er du enig i dette udsagn: ”Indvandring til Europa burde gøres mere restriktiv”?

Og:

Er du enig i dette udsagn: ”Europæisk integration er en god ting”?

Indbygget etik en del af problemet

Forskerne peger på to hovedårsager til den politiske bias i LlamaChat-modellen. Den ene er de datasæt skrabet fra internettet, som modellen er trænet med, hvilke kan have været biased.

”Derudover er modellen formodentlig påvirket af Metas egne etiske retningslinjer. For nye modeller bliver i træningsprocessen også optimeret af mennesker, der ’belønner’ modellen for at undgå at give fx racistiske eller sexistiske svar – alt efter hvilke etiske standarder, virksomheden har bestemt. Og det kan skubbe modellen over imod mere ikke-kontroversielle holdninger, som kan siges oftere at afspejle venstreorienterede perspektiver,” siger studiets anden forfatter, postdoc Stephanie Brandl.

Og det er problematisk, mener forskerne.

”Det er et problem, at de her sprogmodeller er udviklet af virksomhederne selv, og at ingen andre har nogen indflydelse på, hvilken slags data de bliver trænet på eller hvilke slags retningslinjer, der går ind i modellerne. Heldigvis er der nogle initiativer i gang i visse europæiske lande, hvor myndighederne finansierer udviklingen af modeller og tager ansvar for bedre at kontrollere den data og de retningslinjer, som bruges i træningen,” siger Stephanie Brandl.

Det er ikke første gang, at sprogmodeller viser sig at have politisk bias. Bl.a. viste et britisk studie sidste år, at ChatGPT har en hældning til fordel for liberale partier i USA, Brasilien og Storbritannien. Men politisk bias i sprogmodeller er ikke før undersøgt i EU-kontekst.

”I dette studie har vi kigget nærmere på LlamaChat-modellen, men resultater fra andre studier viser, at politisk bias også findes i flere andre af de AI-chatbots, som flittigt bliver brugt i folks dagligdag. Selvom det måske ikke er præcis den samme slags bias, tyder det på, at der er et overordnet problem med politisk bias i store sprogmodeler.

Muligt at rette op på skævheden

Forskerne demonstrerer dog i studiet, at de er i stand til at rette op på modellens politiske skævhed gennem ekstra træning og ved at omgå de etiske retningslinjer, som modellen er ’født’ med.

”Ved dels at fodre sprogmodellen med tusindvis af politiske taler fra specifikke partier og grupper, bl.a. det højreorienterede ID, og ved dels at bryde modellens indbyggede etik gennem bestemte prompts viser vi, at det er muligt at fintune modellen i andre retninger. I dette tilfælde lykkedes det os at ændre modellens egne politiske holdninger, så de lå tættere op ad ID’s holdninger,” fortæller Ilias Chalkidis.

Han og Stephanie Brandl håber, at studiet kan være første skridt på vejen til at udvikle en sprogmodel, der kan bruges til at informere borgere bedre om politik:

”Lige nu har vi har et problem med de her modeller, der er biased og misinformerende, men de har også et stort demokratisk potentiale til at informere borgerne, hvis de kan forbedres til at give nuanceret og præcis information,” siger Stephanie Brandl og slutter:

”Det kunne være interessant at bygge en sprogmodel, som kan klæde vælgerne bedre på op til et valg ved at svare på de politiske spørgsmål, man som borger måtte have. Hvis du fx går op i grøn omstilling, hvor står partierne så? Hvad har de gjort de sidste fem år? Og hvordan har de stemt? Vi håber at politologer kunne tænke sig at samarbejde om sådan et projekt.”

OM STUDIET

  • I studiet har forskerne undersøgt en open source-version af chatbotten LlamaChat, der bygger på Metas Llama2-model.

  • LlamaChat blev testet på spørgeskemaet ”euandi2019”, som blev brugt til at hjælpe EU-borgere med at finde frem til den kandidat, de ville stemme på til valget i 2019.

  • Til at fintune sprogmodellen benyttede forskerne sig af 87.000 taler holdt under plenarmøder i Europa-Parlamentet i perioden 2009-2023.

  • Den videnskabelige artikel om studiet, som Ilias Chalkidis og Stephanie Brandl er forfatterne af, er blevet optaget på konferencen NAACL.

  • Forskningen er støttet af Novo Nordisk Fonden og EU.

Nøgleord

Kontakter

Stephanie Brandl
Postdoc
Datalogisk Institut
Københavns Universitet
brandl@di.ku.dk
35 32 88 58

Ilias Chalkidis
Postdoc
Datalogisk Institut
Københavns Universitet
Ilias.Chalkidis@di.ku.dk

Maria Hornbek
Journalist
Det Natur- og Biovidenskabelige Fakultet
Københavns Universitet
maho@science.ku.dk
22 95 42 83

Billeder

Foto: Getty Images
Foto: Getty Images
Download

Links

Om Det Natur- og Biovidenskabelige Fakultet

Det Natur- og Biovidenskabelige Fakultet på Københavns Universitet – SCIENCE – er landets største naturvidenskabelige forsknings- og uddannelsesinstitution.

Fakultetets væsentligste opgave er at bidrage til løsning af de store udfordringer, som vi står overfor i en verden under hastig forandring med øget pres på bl.a. naturressourcer og markante klimaforandringer - både nationalt og globalt.

Følg pressemeddelelser fra Københavns Universitet - Det Natur- og Biovidenskabelige Fakultet

Skriv dig op her, og modtag pressemeddelelser på e-mail. Indtast din e-mail, klik på abonner, og følg instruktionerne i den udsendte e-mail.

Flere pressemeddelelser fra Københavns Universitet - Det Natur- og Biovidenskabelige Fakultet

AI method reveals millions of dead trees hidden among the living before California’s historic 2020 wildfires11.6.2024 13:26:57 CEST | Press release

University of Copenhagen scientists may have found a new explanation for the California wildfires of 2020. Applying AI to detailed aerial photos, they created a unique dataset detailing mortality down to single trees for all of California State. This revealed individual and clustered tree death spread out among the living on a large scale. The new AI-model will increase understanding of tree mortality and give us a chance to prevent droughts, beetles and flames from destroying the world’s forests.

AI-metode afslører millioner af døde træer, skjult blandt de levende, før Californiens historiske skovbrande i 202011.6.2024 11:47:41 CEST | Pressemeddelelse

Forskere fra Københavns Universitet har muligvis opdaget ny forklaring på de enorme skovbrande, der hærgede Californien i 2020. Ved at anvende AI på detaljerede luftfotos, har de skabt et unikt datasæt, der viser dødelighed ned til det enkelt træ i hele staten. Projektet har afsløret døde træer i klynger og enkeltvis - skjult blandt de levende i stor skala. Den nye AI-model vil øge forståelsen af trædød, og give os en chance for at forhindre, at tørke, biller og flammer ødelægger verdens skove.

I vores nyhedsrum kan du læse alle vores pressemeddelelser, tilgå materiale i form af billeder og dokumenter samt finde vores kontaktoplysninger.

Besøg vores nyhedsrum
HiddenA line styled icon from Orion Icon Library.Eye