Tech-giganter som Google og Azure tilbyder nu værktøjer inden for auto-ML, så man ikke længere behøver at udvikle modeller selv. Fremgangsmåden er, at man uploader sin data til systemet, og så regner den selv ud, hvad det er, man vil forsøge at lave en model for – og udvikler den model. I denne artikel tager vi et kig på, hvor gode de systemer er i dag, og hvad man skal være opmærksom på, hvis man overvejer at benytte løsningerne.

For at kunne vurdere systemerne har vi testet dem op imod en model, vi har udviklet manuelt i et tidligere projekt. Sammen med DHI har vi undersøgt, om vi kan blive bedre til at forudsige den faktiske mængde nedbør, der kommer, ud fra de radar-billeder vi har til rådighed. (Du kan læse en beskrivelse af det projekt her: https://via.ritzau.dk/embedded/release/kunstig-intelligens-kan-forudse-fremtidens-uforudsigelige-vejr?publisherId=13559388&releaseId=13627810&widget=true).

Umiddelbart virker der til at være tid at spare med systemerne. I selve modeleksekveringen skal man bruge mindre tid på at fintune modellen, end når man udvikler den manuelt. Når det alligevel ikke er grund nok til at begynde at anvende systemerne ukritisk, så skyldes det, at selve eksekveringen af en model kun er en lille del af det at udvikle en god model. 

”At oprette en model er kun omkring 10-20% af arbejdet med at udvikle kunstig intelligens. Der sker meget rundt om udviklingen – at udvælge data, at forberede data, at udvælge inputs ud af de data, at bestemme hvad det præcis er, man vil forudsige, og forventningsafstemme hvad der er muligt at evaluere på ud fra modellen” forklarer Bob Pepin, Senior AI Specialist ved Alexandra Instituttet.

Auto-ML er et skridt i retning af 'black box-AI'

I virkeligheden er udfordringen med at udvikle kunstig intelligens ikke at få et svar – men at stille det rigtige spørgsmål. At vide hvilket problem, man vil løse. Men selv hvis man har defineret sit problem klart, så kan man løbe ind i andre udfordringer med auto-ML-løsningerne.

”Man har mere kontrol, når man udvikler en model manuelt. I forvejen prøver vi at undgå, at udviklingen af kunstig intelligens er en black box, og der tager vi et skridt i den forkerte retning med auto-ML. Ved manuel udvikling kan vi typisk godt forklare, hvorfor modellen opfører sig, som den gør, og vi kan gå ind at kigge på processen og se, hvorfor den har truffet bestemte beslutninger undervejs. Med auto-ML kan vi ikke engang være sikre på, om anomalier er blevet det nye normal”, fortsætter Bob Pepin.

Hvis man for eksempel som i casen med DHI skal undersøge, hvor meget regn der kommer, så er tørvejr standarden og nedbør det usædvanlige forhold, vi gerne vil undersøge. Men hvis der har været for mange regnvejrs-hændelser i de data, vi giver til vores auto-ML-løsning, så kan den fejlagtigt registrere det som normalen, og tørvejret som det usædvanlige element - uden at man kan se det ud af modellen. Det kan føre til fejlkonklusioner. Det bliver ikke nemmere af, at det kræver meget hukommelsesplads at bruge auto-ML-løsningerne, og at man derfor som udgangspunkt kun kan give bestemte nedslagspunkter. I stedet for at kunne se på en hændelse plus/minus tre timer, så kan man eksempelvis kun angive ét tidspunkt, der skal repræsentere en given periode.

Som man spørger, får man svar

Vi er altså ikke der endnu, hvor auto-ML helt kan erstatte det manuelle arbejde med at udvikle modeller. Skal man have løst nogle relativt simple eller almindelige problemer, kan man godt anvende auto-ML, uden at modellerne bliver for usikre. Men er det derimod mere innovative problemstillinger, som ikke kan løses simpelt, vil det give mest mening at udføre udviklingsarbejdet manuelt, hvor man har kontrollen. I de tilfælde er auto-ML-modellerne nemlig stadig for upræcise og ugennemsigtige, og det er ikke den sparede tid værd. Man risikerer i sidste ende at få svar på et spørgsmål, man ikke kender eller at få svar på det forkerte spørgsmål. Så tiden er typisk bedst brugt på at forberede sig grundigt, før man udvikler en model, i stedet for at forsøge at skyde genvej og ende med at få et svar, man ikke kan konkludere noget ud fra, fordi det er for usikkert eller upræcist.