Alexandra Instituttet

Ny tegnsprogs-app, der skal fungere som sprogtolk for døve, er netop sendt i test

Del

To specialskoler i Randers og et uddannelsescenter i Holstebro tester i øjeblikket en ny app, som kan oversætte billeder af tegnsprog til lyd gennem telefonens kamera og mikrofon. App'en, der er udviklet af Sign2me og Alexandra Instituttet, skal være med til at lette kommunikationen mellem døve og hørende.

En app, der er i stand til at oversætte billeder af tegnsprog til lyd gennem telefonens kamera og mikrofon, er netop sendt i test på to specialskoler i Randers og et uddannelsescenter i Holstebro. Appen, der er udviklet af Sign2me i samarbejde med Alexandra Instituttet, skal testes blandt børn og voksne med kognitive udfordringer, som bruger en mere simplificeret version af tegnsprog, der består af håndtegn, som støtter deres sprog.

Det er Gabriel Andersen og Brian Klindrup, som står bag Sign2me. De to iværksættere håber, at appen kan fungere som sprogtolk og lette kommunikationen mellem elever, pædagoger og andre, som ikke behersker den form for tegnsprog.

Appen kan på nuværende tidspunkt oversætte stillestående tegn til tale ved brug af telefonens kamera og mikrofon. Det fungerer ved, at brugerne selv indlæser de tegn, som de benytter, og giver tegnet en betydning eller oversættelse. Feedback fra testen skal være med til at forbedre appen, og derefter frigives appen gratis til alle.

Kompliceret at oversætte tegnsprog

Sign2me arbejder i øjeblikket på at videreudvikle appen, så den også kan oversætte tegn med bevægelse. Det er dog væsentligt mere kompliceret, når kameraet skal opfange bevægelse. Brian Klindrup forklarer:

“Udfordringen er, at tegnsprog er kompliceret og anvender en anden syntaks. Det bruger både hænder og ansigtsmimik, som skal oversættes til et sprog. Det har vi endnu ikke løst. Men i stedet for at vente til appen kan alt det, vi ønsker, så har vi valgt at frigive den nuværende version. Vi kan se, at den kan være anvendelig for personer, som bruger simple håndtegn til støtte af deres tale.”

Ideen til appen opstod, da Brian Klindrup var til fødselsdag hos sin nevø, der er talehandicappet og kommunikerer med tegn som støtte. Men ligesom 98 procent af verdens befolkning, så behersker Brian ikke tegnsprog. Han forsøgte at downloade en app, der kan tegnsprog. Da det ikke fandtes, besluttede han selv at udvikle én. Her nåede de to grundlæggere hurtigt frem til, at de skulle have fat i nogle, som kunne noget med videogenkendelse og kunstig intelligens. 

"En af vores udfordringer er, at vi bevæger os på kanten af, hvad der teknisk kan lade sig gøre. Det, vi har lavet nu, kunne ikke lade sig gøre, da vi fik ideen. Her har teknologien været med os. Det har været en kæmpe fordel at samarbejde med en partner som Alexandra Instituttet, som er up-to-date med, hvad der er af teknologier. Det har gjort, at vi har kunnet se lidt ind i fremtiden og se, at der er nogle understøttende teknologier på vej, som gør, at vi kan komme i mål," forklarer han.

Indlæser tegn på videoer

Sign2me styrer efter en trinvis udvikling, hvor der løbende vil blive frigivet versioner af appen, som bliver gradvist bedre og mere sofistikeret i oversættelsen. Næste skridt, som de arbejder på, er en version, der kan oversætte tale til enkle tegn. Slutmålet er at udvikle en motor, som ved hjælp af kunstig intelligens kan fodres med videoer af tegnsprog, og som så selv finder ud af at oversætte. På den måde vil man nemt kunne skalere fra land til land, der alle har deres eget tegnsprog.

De har indtil videre finansieret udviklingen af appen med egenfinansiering og to Innoboostere fra Innovationsfonden. Brian Klindrup siger:

"Det er altid rart at lave noget, som giver mening. Det er også det, der driver os. Men vi er også afhængige af at få støtte, da det her er kompliceret og et nichemarked, hvor der kun er få procent, som behersker tegnsprog. Derfor er Innobooster-ordningen også en oplagt samarbejdsform, når man bevæger sig på kanten af teknologiens formåen."

Fakta

Sign2me er grundlagt i 2017 af Brian Klindrup og Gabriel Andersen. Appen er udviklet i samarbejde med Alexandra Instituttet via støtte fra Innovationsfonden.

Målet er på sigt at lave en app, der kan oversætte tegnsprog begge veje til både privat brug og til virksomheder.

De har også søsat projektet Sign2rescue, der skal hjælpe reddere med at kommunikere med døve i kritiske situationer. Den forventes færdig i august 2020.

Læs mere om Sign2me her.

Kontaktinfo:

Brian Klindrup og Gabriel Andersen, Sign2me, kan kontaktes på tlf. 5167 3504.

Kristian Tølbøl Sørensen, Visual Computing Engineer, Alexandra Instituttet, tlf. 5337 14 44.

Billeder

Information om Alexandra Instituttet

Alexandra Instituttet
Alexandra Instituttet
Åbogade 34 · Njalsgade 76, 3. sal
8200 Aarhus N · 2300 København S

+45 70 27 70 12https://alexandra.dk

100 eksperter under ét tag 

Alexandra Instituttet hjælper offentlige og private virksomheder med at anvende den nyeste it-forskning og -teknologi. Vores udgangspunkt er samfundsmæssige problemstillinger og behov for at omsætte den nyeste forskning til innovative løsninger. 

Hos os finder du stærke kompetencer inden for blandt andet computer graphics, kunstig intelligens, internet of things, big data, it-sikkerhed, interaktionsdesign og smarte produkter. 

Vi arbejder i et tværfagligt miljø og er et hold af højtkvalificerede specialister, der hurtigt kan forstå din organisations og dine brugeres problemstillinger.

 
 

Følg pressemeddelelser fra Alexandra Instituttet

Skriv dig op her, og modtag pressemeddelelser på e-mail. Indtast din e-mail, klik på abonner, og følg instruktionerne i den udsendte e-mail.

Flere pressemeddelelser fra Alexandra Instituttet

Den grønne omstilling bør være digital - og ambitiøs!28.10.2020 15:24:58 CETPressemeddelelse

Vi ved godt, hvilke udfordringer vi står overfor med klimaforandringerne, og at de nye teknologier kan hjælpe os et stykke af vejen. Det er når den viden skal omsættes til handling i vores virksomheder, at vi har problemet. For hvordan griber man grøn omstilling an, og hvilke teknologier kan anvendes til hvad, så det både giver mening i forhold til klimaet og bundlinjen? Det var der mange gode bud på til InfinITs SummIT 2020 – du får et udpluk her.

Ny rapport: Hvor går det galt, når 80% af alle kunstig intelligens-projekter ikke bliver til noget?8.10.2020 11:44:47 CESTPressemeddelelse

Det succesfulde AI-projekt starter med en god idé. Det er afgørende, men ikke alt… Mens virksomheder forventer, at de skal bruge energi på at få den helt rigtige idé, så er færre klar over, at den egentlige udfordring oftere er at have nok data i god kvalitet og at få organisationen med på projektet. Det er en af konklusionerne i en ny rapport fra Alexandra Instituttet om anvendt kunstig intelligens, der er skrevet på baggrund af 22 danske virksomheders erfaringer med at bruge teknologien.

I vores nyhedsrum kan du læse alle vores pressemeddelelser, tilgå materiale i form af billeder og dokumenter samt finde vores kontaktoplysninger.

Besøg vores nyhedsrum