Ny tegnsprogs-app, der skal fungere som sprogtolk for døve, er netop sendt i test
En app, der er i stand til at oversætte billeder af tegnsprog til lyd gennem telefonens kamera og mikrofon, er netop sendt i test på to specialskoler i Randers og et uddannelsescenter i Holstebro. Appen, der er udviklet af Sign2me i samarbejde med Alexandra Instituttet, skal testes blandt børn og voksne med kognitive udfordringer, som bruger en mere simplificeret version af tegnsprog, der består af håndtegn, som støtter deres sprog.
Det er Gabriel Andersen og Brian Klindrup, som står bag Sign2me. De to iværksættere håber, at appen kan fungere som sprogtolk og lette kommunikationen mellem elever, pædagoger og andre, som ikke behersker den form for tegnsprog.
Appen kan på nuværende tidspunkt oversætte stillestående tegn til tale ved brug af telefonens kamera og mikrofon. Det fungerer ved, at brugerne selv indlæser de tegn, som de benytter, og giver tegnet en betydning eller oversættelse. Feedback fra testen skal være med til at forbedre appen, og derefter frigives appen gratis til alle.
Kompliceret at oversætte tegnsprog
Sign2me arbejder i øjeblikket på at videreudvikle appen, så den også kan oversætte tegn med bevægelse. Det er dog væsentligt mere kompliceret, når kameraet skal opfange bevægelse. Brian Klindrup forklarer:
“Udfordringen er, at tegnsprog er kompliceret og anvender en anden syntaks. Det bruger både hænder og ansigtsmimik, som skal oversættes til et sprog. Det har vi endnu ikke løst. Men i stedet for at vente til appen kan alt det, vi ønsker, så har vi valgt at frigive den nuværende version. Vi kan se, at den kan være anvendelig for personer, som bruger simple håndtegn til støtte af deres tale.”
Ideen til appen opstod, da Brian Klindrup var til fødselsdag hos sin nevø, der er talehandicappet og kommunikerer med tegn som støtte. Men ligesom 98 procent af verdens befolkning, så behersker Brian ikke tegnsprog. Han forsøgte at downloade en app, der kan tegnsprog. Da det ikke fandtes, besluttede han selv at udvikle én. Her nåede de to grundlæggere hurtigt frem til, at de skulle have fat i nogle, som kunne noget med videogenkendelse og kunstig intelligens.
"En af vores udfordringer er, at vi bevæger os på kanten af, hvad der teknisk kan lade sig gøre. Det, vi har lavet nu, kunne ikke lade sig gøre, da vi fik ideen. Her har teknologien været med os. Det har været en kæmpe fordel at samarbejde med en partner som Alexandra Instituttet, som er up-to-date med, hvad der er af teknologier. Det har gjort, at vi har kunnet se lidt ind i fremtiden og se, at der er nogle understøttende teknologier på vej, som gør, at vi kan komme i mål," forklarer han.
Indlæser tegn på videoer
Sign2me styrer efter en trinvis udvikling, hvor der løbende vil blive frigivet versioner af appen, som bliver gradvist bedre og mere sofistikeret i oversættelsen. Næste skridt, som de arbejder på, er en version, der kan oversætte tale til enkle tegn. Slutmålet er at udvikle en motor, som ved hjælp af kunstig intelligens kan fodres med videoer af tegnsprog, og som så selv finder ud af at oversætte. På den måde vil man nemt kunne skalere fra land til land, der alle har deres eget tegnsprog.
De har indtil videre finansieret udviklingen af appen med egenfinansiering og to Innoboostere fra Innovationsfonden. Brian Klindrup siger:
"Det er altid rart at lave noget, som giver mening. Det er også det, der driver os. Men vi er også afhængige af at få støtte, da det her er kompliceret og et nichemarked, hvor der kun er få procent, som behersker tegnsprog. Derfor er Innobooster-ordningen også en oplagt samarbejdsform, når man bevæger sig på kanten af teknologiens formåen."
Fakta
Sign2me er grundlagt i 2017 af Brian Klindrup og Gabriel Andersen. Appen er udviklet i samarbejde med Alexandra Instituttet via støtte fra Innovationsfonden.
Målet er på sigt at lave en app, der kan oversætte tegnsprog begge veje til både privat brug og til virksomheder.
De har også søsat projektet Sign2rescue, der skal hjælpe reddere med at kommunikere med døve i kritiske situationer. Den forventes færdig i august 2020.
Kontaktinfo:
Brian Klindrup og Gabriel Andersen, Sign2me, kan kontaktes på tlf. 5167 3504.
Kristian Tølbøl Sørensen, Visual Computing Engineer, Alexandra Instituttet, tlf. 5337 14 44.
Billeder
Information om Alexandra Instituttet
Åbogade 34 · Rued Langgaards Vej 7
8200 Aarhus N · 2300 København S
+45 70 27 70 12https://alexandra.dk
100 eksperter under ét tag
Alexandra Instituttet hjælper offentlige og private virksomheder med at anvende den nyeste it-forskning og -teknologi. Vores udgangspunkt er samfundsmæssige problemstillinger og behov for at omsætte den nyeste forskning til innovative løsninger.
Hos os finder du stærke kompetencer inden for blandt andet visual computing, kunstig intelligens, IoT, cybersikkerhed, interaktionsdesign og smarte produkter.
Vi arbejder i et tværfagligt miljø og er et hold af højtkvalificerede specialister, der hurtigt kan forstå din organisations og dine brugeres problemstillinger.
Følg pressemeddelelser fra Alexandra Instituttet
Skriv dig op her, og modtag pressemeddelelser på e-mail. Indtast din e-mail, klik på abonner, og følg instruktionerne i den udsendte e-mail.
Flere pressemeddelelser fra Alexandra Instituttet
AI og anonym headcount får mere ud af kvadratmeterprisen21.3.2024 10:47:22 CET | Pressemeddelelse
Danske Ubiqisense har skabt en intelligent sensor, der tæller mennesker anonymt, så f.eks. mødelokaler kan udnyttes bedre. Et forløb med Alexandra Instituttet har nu fordoblet præcisionen af Ubiqisense’ intelligente løsning.
Lise Bering er ny bestyrelsesforperson i Alexandra Instituttet20.3.2024 14:23:59 CET | Pressemeddelelse
Lise Bering, der er kommerciel direktør i Norlys Digital, er ny bestyrelsesforperson i Alexandra Instituttet. Hun afløser Steen Lynenskjold fra Terma, der efter eget valg forlader posten efter 15 år. Samtidig indtræder Hanna Svae som bestyrelsesmedlem.
Færre teknikere skal flyve verden rundt: AR-værktøj gør kunder mere selvhjulpne15.3.2024 10:17:58 CET | Pressemeddelelse
En ny prototype på et AR-værktøj hjælper Fibo Intercons kunder i hele verden med fejlsøgning på betonblandeanlæg. Virksomheden kan dermed undgå store omkostninger og reducere CO2-udledningen. Den nye prototype er resultatet af et MADE demonstrationsprojekt, som Industriens Fond står bag.
Alexandra Instituttet styrker ledelsen med to markante profiler28.2.2024 06:00:00 CET | Pressemeddelelse
Morten Spanner Christiansen og Ronnie Siegumfeldt Andersen indtræder i Alexandras management og får ansvar for hhv. kommerciel aktivitet og HR. Med de nye profiler ønsker Alexandra at styrke danske virksomheders konkurrenceevne og imødekomme den stigende efterspørgsel efter digitale kompetencer.
Morten Spanner Christiansen er fra marts Alexandra Instituttets CCO28.2.2024 06:00:00 CET | Pressemeddelelse
Fra marts hedder Alexandra Instiutttets CCO Morten Spanner Christiansen. Han trives blandt dybt faglige kolleger og ambitiøse kunder, og hans opgave bliver netop at forene dem i nye projekter.
I vores nyhedsrum kan du læse alle vores pressemeddelelser, tilgå materiale i form af billeder og dokumenter samt finde vores kontaktoplysninger.
Besøg vores nyhedsrum