Ny tegnsprogs-app, der skal fungere som sprogtolk for døve, er netop sendt i test

En app, der er i stand til at oversætte billeder af tegnsprog til lyd gennem telefonens kamera og mikrofon, er netop sendt i test på to specialskoler i Randers og et uddannelsescenter i Holstebro. Appen, der er udviklet af Sign2me i samarbejde med Alexandra Instituttet, skal testes blandt børn og voksne med kognitive udfordringer, som bruger en mere simplificeret version af tegnsprog, der består af håndtegn, som støtter deres sprog.

Det er Gabriel Andersen og Brian Klindrup, som står bag Sign2me. De to iværksættere håber, at appen kan fungere som sprogtolk og lette kommunikationen mellem elever, pædagoger og andre, som ikke behersker den form for tegnsprog.

Appen kan på nuværende tidspunkt oversætte stillestående tegn til tale ved brug af telefonens kamera og mikrofon. Det fungerer ved, at brugerne selv indlæser de tegn, som de benytter, og giver tegnet en betydning eller oversættelse. Feedback fra testen skal være med til at forbedre appen, og derefter frigives appen gratis til alle.

Kompliceret at oversætte tegnsprog

Sign2me arbejder i øjeblikket på at videreudvikle appen, så den også kan oversætte tegn med bevægelse. Det er dog væsentligt mere kompliceret, når kameraet skal opfange bevægelse. Brian Klindrup forklarer:

“Udfordringen er, at tegnsprog er kompliceret og anvender en anden syntaks. Det bruger både hænder og ansigtsmimik, som skal oversættes til et sprog. Det har vi endnu ikke løst. Men i stedet for at vente til appen kan alt det, vi ønsker, så har vi valgt at frigive den nuværende version. Vi kan se, at den kan være anvendelig for personer, som bruger simple håndtegn til støtte af deres tale.”

Ideen til appen opstod, da Brian Klindrup var til fødselsdag hos sin nevø, der er talehandicappet og kommunikerer med tegn som støtte. Men ligesom 98 procent af verdens befolkning, så behersker Brian ikke tegnsprog. Han forsøgte at downloade en app, der kan tegnsprog. Da det ikke fandtes, besluttede han selv at udvikle én. Her nåede de to grundlæggere hurtigt frem til, at de skulle have fat i nogle, som kunne noget med videogenkendelse og kunstig intelligens. 

"En af vores udfordringer er, at vi bevæger os på kanten af, hvad der teknisk kan lade sig gøre. Det, vi har lavet nu, kunne ikke lade sig gøre, da vi fik ideen. Her har teknologien været med os. Det har været en kæmpe fordel at samarbejde med en partner som Alexandra Instituttet, som er up-to-date med, hvad der er af teknologier. Det har gjort, at vi har kunnet se lidt ind i fremtiden og se, at der er nogle understøttende teknologier på vej, som gør, at vi kan komme i mål," forklarer han.

Indlæser tegn på videoer

Sign2me styrer efter en trinvis udvikling, hvor der løbende vil blive frigivet versioner af appen, som bliver gradvist bedre og mere sofistikeret i oversættelsen. Næste skridt, som de arbejder på, er en version, der kan oversætte tale til enkle tegn. Slutmålet er at udvikle en motor, som ved hjælp af kunstig intelligens kan fodres med videoer af tegnsprog, og som så selv finder ud af at oversætte. På den måde vil man nemt kunne skalere fra land til land, der alle har deres eget tegnsprog.

De har indtil videre finansieret udviklingen af appen med egenfinansiering og to Innoboostere fra Innovationsfonden. Brian Klindrup siger:

"Det er altid rart at lave noget, som giver mening. Det er også det, der driver os. Men vi er også afhængige af at få støtte, da det her er kompliceret og et nichemarked, hvor der kun er få procent, som behersker tegnsprog. Derfor er Innobooster-ordningen også en oplagt samarbejdsform, når man bevæger sig på kanten af teknologiens formåen."

Fakta

Sign2me er grundlagt i 2017 af Brian Klindrup og Gabriel Andersen. Appen er udviklet i samarbejde med Alexandra Instituttet via støtte fra Innovationsfonden.

Målet er på sigt at lave en app, der kan oversætte tegnsprog begge veje til både privat brug og til virksomheder.

De har også søsat projektet Sign2rescue, der skal hjælpe reddere med at kommunikere med døve i kritiske situationer. Den forventes færdig i august 2020.

Læs mere om Sign2me her.

Kontaktinfo:

Brian Klindrup og Gabriel Andersen, Sign2me, kan kontaktes på tlf. 5167 3504.

Kristian Tølbøl Sørensen, Visual Computing Engineer, Alexandra Instituttet, tlf. 5337 14 44.