Nyt studie peger på svaghederne i AI
ChatGPT og andre løsninger baseret på kunstig intelligens buldrer afsted. Men selv de mest succesfulde algoritmer har begrænsninger. Forskere på Københavns Universitet har som de første i verden påvist matematisk, at bortset fra simple problemer er det ikke muligt at lave algoritmer, som altid er stabile. Studiet kan føre til retningslinjer for, hvordan man skal teste algoritmer bedre og minder os om, at maskiner trods alt ikke har menneskelig intelligens.
Maskiner fortolker skanningsbilleder bedre end lægerne, hjælper os med at forstå fremmede sprog, og snart kan de formentlig styre biler mere sikkert end vi selv. Men selv de bedste algoritmer har svagheder. En forskningsgruppe på Datalogisk Institut, Københavns Universitet, afdækker dem.
Tænk på en selvkørende bil, der aflæser et vejskilt. Hvis nogen har sat et klistermærke på skiltet, vil det ikke forhindre et menneske i at forstå skiltet. Men en maskine kan let blive hylet ud af den, fordi skiltet nu er anderledes end de, som den er blevet trænet til at afkode.
”Vi vil gerne have, at algoritmerne er stabile. Det vil sige, at selvom input ændrer sig en lille smule, skal resultatet gerne være næsten det samme. I virkelighedens verden forekommer der alle mulige former for støj, som mennesker er vante til at lukke ude, men som kan forvirre maskinerne,” siger professor Amir Yehudayoff, der leder forskningsgruppen.
Et sprog til at tale om svaghederne
Som de første i verden har gruppen sammen med udenlandske forskere påvist matematisk, at bortset fra simple problemer er det ikke muligt at lave algoritmer, som altid er stabile, til brug for Machine Learning. Den videnskabelige artikel med beviset blev optaget på Foundations of Computer Science (FOCS), en af verdens førende konferencer for teoretisk datalogi.
”Jeg vil gerne understrege, at vi ikke har arbejdet direkte med selvkørende biler, men dette virker umiddelbart som en problemstilling, der er for kompleks til, at algoritmerne altid kan være stabile,” siger Amir Yehudayoff, og tilføjer, at den konstatering ikke nødvendigvis har store konsekvenser for udviklingen af selvkørende biler:
”Hvis algoritmen kun fejler under nogle få, meget specielle forhold, vil det måske være til at leve med. Det er straks værre, hvis der er en stor samling af forhold, hvor der sker fejl.”
Desværre kan den videnskabelige artikel ikke bruges af industrien til at finde fejl i algoritmerne. Det har dog heller ikke været meningen, forklarer professoren:
”Vi skaber et sprog, som kan bruges til at tale om svaghederne i algoritmer til Machine Learning. Det kan måske føre til udvikling af nogle retningslinjer for, hvordan man skal teste sine algoritmer. Og på langt sigt kan det måske også betyde, at der vil blive udviklet bedre og mere stabile algoritmer.”
Har erstattet intuition med matematik
En mulig anvendelse kan være til test af algoritmer, der skal beskytte retten til privatliv.
”En virksomhed hævder måske, at den har udviklet en fuldstændig sikker måde at beskytte brugernes digitale privatliv. For det første kan vores metodik muligvis påvise, at metoden ikke er fuldstændig sikker, og for det andet kan den finde svagheder,” siger Amir Yehudayoff.
Artiklens bidrag er dog først og fremmest teoretisk, og det er især det matematiske indhold, som er nyskabende, tilføjer han:
”Intuitivt kan vi godt forstå, at en stabil algoritme er en, der stadig virker nogenlunde som før, når der bliver tilsat lidt støj. Ligesom med vejskiltet, der har fået sat et klistermærke på. Men som teoretiske dataloger har vi brug for en klar definition, så vi kan beskrive problemet i matematisk sprog. Præcis hvor meget støj skal algoritmen kunne modstå, og hvor tæt skal algoritmen være på at levere det samme resultat som uden støj, for at vi betragter den som stabil? Det er det, som vi har givet et bud på.”
Vigtigt at huske maskinernes begrænsninger
Den videnskabelige artikel har skabt stor interesse blandt fagfællerne inden for teoretisk datalogi, men ikke fra tech-industrien. Ikke endnu da.
”Der er altid en vis forsinkelse fra ny teoretisk erkendelse til interesse i forbindelse med bestemte anvendelser,” siger Amir Yehudayoff og tilføjer med et smil:
”Og nogle teoretiske erkendelser ender simpelthen med at gå i glemmebogen.”
Det gælder dog ikke i dette tilfælde forudser han:
”Machine Learning vinder stadig mere frem, og det er vigtigt at huske, selv de løsninger, der har stor succes i den virkelige verden, stadig har deres begrænsninger. Nogle gange virker maskinerne næsten som om, at de er i stand til at tænke, men de har trods alt ikke menneskelig intelligens. Det er vigtigt at være bevidst om.”
Den videnskabelige artikel ”Replicability and Stability in Learning”, offentliggjort på konferencen Foundations of Computer Science (FOCS), 2023, kan læses her
Nøgleord
Kontakter
Amir Yehudayoff
Professor
Datalogisk Institut, Københavns Universitet
amye@di.ku.dk
+45 93 89 53 88
Michael Skov Jensen
Journalist og teamkoordinator
Det Natur- og Biovidenskabelige Fakultet
Københavns Universitet
msj@science.ku.dk
+45 93 56 58 97
Følg pressemeddelelser fra Københavns Universitet - Det Natur- og Biovidenskabelige Fakultet
Skriv dig op her, og modtag pressemeddelelser på e-mail. Indtast din e-mail, klik på abonner, og følg instruktionerne i den udsendte e-mail.
Flere pressemeddelelser fra Københavns Universitet - Det Natur- og Biovidenskabelige Fakultet
Widespread practice among athletes harms both performance and health15.7.2024 10:27:00 CEST | Press release
Drastically cutting back on caloric intake to lose weight ahead of competition is commonplace among athletes. However, this type of 'dieting' doesn’t just diminish performances, it can also compromise their immune systems. These are the findings of a new study from the University of Copenhagen.
Udbredt praksis blandt sportsfolk skader både deres præstation og sundhed15.7.2024 07:32:00 CEST | Pressemeddelelse
Det er en populær praksis blandt elitesportsfolk at skære drastisk ned på kalorieindtaget for at tabe sig op til konkurrencer. Men ikke alene får ’slankekuren’ dem til at præstere dårligere, det skader også deres immunsystem. Det konkluderer et nyt studie fra Københavns Universitet.
Fiskerbåde i havnen giver turister på hotellet4.7.2024 10:35:00 CEST | Pressemeddelelse
Er der aktive fiskerbåde i de lokale havne, så øger det turismen, viser forskningsstudie fra Københavns Universitet. Værdien af dansk fiskeri bør derfor ikke måles alene på produktion, men også på herlighedsværdien og de indirekte indtægter, det tilfører lokalsamfund. Forskerne bag mener studiet kalder på en finpudsning af reglerne for, hvem der må eje fiskekvoter.
Underjordisk anlæg er det første i Danmark: Nu kan forskere nærstudere planters rødder helt tæt på4.7.2024 07:45:02 CEST | Pressemeddelelse
I en 24 meter lang tunnel under jorden kan forskere fra Københavns Universitet fremover komme i øjenhøjde med planters rødder. Rodtunnelen er den første og eneste af sin slags i Danmark og skal give forskerne mere viden om, hvordan klimaforandringer med mere regn og tørke påvirker vores afgrøder.
New study on children and food: Fruit chunks in yogurt are a turn off for one age group in particular3.7.2024 06:30:00 CEST | Pressemeddelelse
It’s no secret that kids aren’t crazy about having too many seeds, pulp or chunks in their food. But six-year-olds in particular definitely can’t stand lumps, according to a new study from the University of Copenhagen published today. The research sheds new light on children's food preferences across age groups and can serve parents, the health care sector and the food industry.
I vores nyhedsrum kan du læse alle vores pressemeddelelser, tilgå materiale i form af billeder og dokumenter samt finde vores kontaktoplysninger.
Besøg vores nyhedsrum