Nyt samarbejde skal udvikle sprogmodel til gavn for de små og mange

De fleste kender til og bruger allerede flittigt ChatGPT og Bard. Det er sprogmodeller i lukkede systemer, der primært er trænet på store sprog som engelsk drevet af kommercielle interesser i USA. Så nu melder EU sig på banen for de germanske sprog og for at bevare mangfoldigheden. De store systemer har nemlig en slagside, som EU og andre ikke bryder sig om. De er underlagt anden regulering og kultur, hvilket betyder, at europæerne bliver tvunget ind i systemer, der ikke lever op til europæiske værdisæt for ‘human-centered, trustworthy og democratised’ kunstig intelligens.  

- Kunstig intelligens er et tog, der kører, og det kommer til at påvirke mindst 80% af arbejdsstyrken. Får vi ikke tilgodeset vores sprog, løber de andre med alle mulighederne. Vi må sikre vores sprog og yderligere opbygge vores kompetencer for at sikre egne interesser, siger Torben Blach, der er Alexandra Instituttets projektleder på det nye ambitiøse forskningsprojekt TrustLLM. 

Med dette projekt kommer Alexandra Instituttets eksperter til at samarbejde med de absolut stærkeste europæiske forskere inden for sprogteknologi. Som GTS-institut er det en rolle, som instituttet tager meget seriøst. Erfaringerne skal nemlig bidrage til det nationale store stykke arbejde, der ligger foran os for med tiden at lave en dansk sprogmodel. 

- Vi er nu med i den gruppe af vigtige aktører, der er gået sammen om at udvikle modellerne til de germanske sprog. Med samarbejdet opbygger vi vores kompetencer yderligere og får et førstehåndsindtryk af de data, der indsamles, og som modellerne skal trænes på, siger Torben Blach. 

Med projektet etablerer EU nogle rammer og giver muligheder for, at de bedste inden for natural language-området kan arbejde sammen på tværs af EU. 

Open source og AI bør gå hånd i hånd 

Projektet kommer også til at kigge på både den etiske, den forskningstunge og den forretningsmæssige side af AI. Alexandra Instituttets Senior AI Specialist og ph.d. Dan Saattrup Nielsen understreger, at vi i dag ser en række begrænsninger med de modeller, der er udviklet. Derfor er den primære motivation at bruge open source-tankegangen. 

Open source gør det muligt at demokratisere brugen af modeller, så de er for de mange og ikke de få. Lige nu har vi ikke nogen open source-model for det danske sprog. Derfor er vi tvunget til at bruge de amerikanske modeller. Det ønsker vi i den grad at lave om på, så ikke få men mange kan få glæde af modellerne og skabe innovation og meningsfulde use cases forklarer han. 

Netop den afhængighed gør os meget sårbare, hvis de beslutter at nedlægge eller sætte prisen markant op for de modeller. Så har vi intet andet valg end at følge trop. 

- Vi er afhængige af andres data og modellens struktur, som samtidig er lukket, så vi ikke kender logikken. Derfor skal vi gøre modellerne bedre og fikse de ting, som vi har set, at eksempelvis ChatGPT er skidt til. Det kan være bias, som vi gennem vores forskning skal minimere i træning af modellen. Vi skal også minimere antal gange, modellerne hallucinerer og finder på facts ud af det blå, siger Dan Saattrup Nielsen. 

Fakta om TrustLLM:

Hovedmålet er at udvikle en åben, troværdig og bæredygtig sprogmodel (LLM), der i første omgang er målrettet de germanske sprog. Det skal danne grundlag for et avanceret, åbent økosystem til næste generation af modulære og udvidelige europæiske sprogmodeller, som er troværdige, bæredygtige og demokratiserede. TrustLLM-projektet og det omgivende økosystem skal muliggøre, understøtte og forbedre kontekstbevidst menneske-maskin interaktion inden for en bred vifte af anvendelser.

Partnere
LINKOPINGS UNIVERSITET (LIU) Sverige
FRAUNHOFER, Tyskland
FORSCHUNGSZENTRUM JULICH, Tyskland
LINDHOLMEN SCIENCE PARK AKTIEBOLAG, Sverige
MIOEIND EHF., Island
HASKOLI ISLANDS, Island
KØBENHAVNS UNIVERSITET, Danmark
ALEXANDRA INSTITUTTET, Danmark
NORGES TEKNISK-NATURVITENSKAPELIGE UNIVERSITET NTNU, Norge
NEDERLANDSE ORGANISATIE VOOR TOEGEPAST, Holland
Akademie für Künstliche Intelligenz, Tyskland

Finansiering
Horizon Europe Framework Programme (HORIZON) 6.9 Mio Euro.

Periode
November 2023 – Oktober 2026