In de ban van de ring(en): de toekomst van gebarentaalvertaling

Zuid-Koreaanse onderzoekers hebben een vertaalsysteem voor gebarentaal ontwikkeld dat niet werkt met onhandige handschoenen, maar met zeven compacte, slimme ringen. Die kunnen twee gebarentalen met een nauwkeurigheid van pakweg 88 procent herkennen.

Het gaat dan om zowel de Internationale als Amerikaanse Gebarentaal, zo blijkt uit een studio van Science Advances. Wat veel mensen niet weten is dat gebarentaal geen simpele reeks hand- en vingerbewegingen, maar in feite in complexe taal met eigen grammatica en syntaxis (zinsleer) is. Bovendien bestaan er driehonderd verschillende gebarentalen wereldwijd.

Daardoor ontstaat er een gigantische communicatiekloof tussen doven en slechthorenden en mensen die geen gebarentaal kennen. Bestaande oplossingen, zoals logge handschoenen met daarin bedrading, zijn vaak oncomfortabel en beperken de natuurlijke bewegingsvrijheid.

Zeven ringen

De ringen kunnen dat probleem aanpakken vanwege hun modulaire en draadloze karakter. Elke ring heeft een kleine versnellingsmeter, die de oriëntatie van je vingers ten opzichte van de zwaartekracht meet en registreren exact welke richtingen je op wijst. Leuk feitje: die sensor zit ook gewoon in je smartphone (de accelerometer), die onder meer je schermoriëntatie volgt.

De data van de zeven ringen wordt via bluetooth multilink-technologie in realtime naar een smartphone of computer gestuurd. Daar neemt een AI-algoritme het zware werk over door de complexe patronen van de bewegingen te interpreteren en om te zetten in geschreven tekst op zinsniveau. In tests bleek het systeem verrassend robuust en de bleven de prestaties stabiel.

Op dit moment kan de WRSLT-set (Wirelessly connected, Ring-type Sign Language Translator) ongeveer honderd woorden in zowel ASL als ISL vertalen. De onderzoekers kijken echter al verder: de volgende stappen zijn het nog compacter maken van de ringen en het uitbreiden van de trainingsdata voor de AI. Het doel is om de woordenschat flink te vergroten en ondersteuning toe te voegen voor nog meer van de honderden gebarentalen die wereldwijd gebruikt worden.