Studenten uit Breda gaan mensen gebarentaal leren met AI
De Nederlandse Gebarentaal (NGT) is een officiële taal in Nederland, maar niet iedereen pakt het even snel op. Studenten van de opleiding Applied Data Science & Artificial Intelligence (ADS&AI) bij Breda University of Applied Sciences (BUas) hebben daar een oplossing voor: AI. Zo worden de handgebaren nog beter en de gesprekken dus ook.
In Nederland gebruiken circa 30.000 mensen NGT als primaire taal, en door nog meer mensen als secundaire taal. Er wordt vaak gedacht dat gebarentaal een wereldwijde taal is, maar dat is niet het geval. Nederlands heeft dus zijn eigen gebarentaal: NGT. Het streven is dat meer mensen NGT leren. Dat opent de communicatie met mensen die doof, slechthorend of doofblind zijn.
Nederlandse Gebarentaal
De studenten bouwden in slechts twee weken werkende AI-prototypes waarmee je Nederlandse Gebarentaal kan leren en direct feedback krijgt op hoe je het gebaar uitvoert. De opdracht kwam van Nienke Fluitman, docent bij Gebaren.nl. Ze zag dat er een groot gebrek is aan online lesmateriaal voor NGT, dat ook daadwerkelijk interactief is. Ze stelde een soort camera voor waarmee je kunt oefenen op het handalfabet. Dat is wat mensen gebruiken om woorden en namen te spellen die geen gebaar hebben.
Nienke: "Het resultaat was verbluffend. Ze bouwden een model dat realtime feedback geeft op individuele vingers bij het maken van een letter. Er werd zelfs al een begin gemaakt met een game en hoe gaaf zou het zijn als dat ook nog lukt. Maar wat mij misschien nog het meest raakte, is dat al deze studenten het handalfabet hebben geleerd en hun technische vaardigheden hebben ingezet voor een maatschappelijk doel. Dat is in mijn ogen een absolute winst." De studenten gebruikten AI-technieken zoals actie-herkenning, dynamic time warping (DTW), landmarkdetectie en realtime feedback op individuele handgebaren. Allemaal gebouwd op eigen trainingsdata: de studenten fotografeerden elkaar terwijl ze handgebaren maakten.
Het ging om een challenge van twee weken, maar veel van deze projecten groeien uit tot volwaardige projecten in het derde jaar, of leiden tot stages en afstudeeropdrachten. Na het succes van deze challenge organiseert BUas een vervolgweek om de ontwikkelde tools verder te verfijnen. De universiteit zoekt ook nog naar nieuwe vraagstukken en projecten vanuit bedrijven en organisaties.