Dit systeem vertaalt gedachten direct naar spraak

Neuro-wetenschappers van de Amerikaanse Columbia-universiteit ontwikkelden een systeem dat signalen van de hersenen direct vertaalt naar spraak.

Dit nieuwe systeem is een grote stap voorwaarts in de ontwikkeling van brein-computer-interfaces waarmee mensen die niet of nauwelijks kunnen praten in de toekomst via hun gedachten toch kunnen communiceren.

Vele wetenschappelijke onderzoeken toonden de afgelopen decennia dat er specifieke patronen van breinsignalen in de hersenen te zien zijn als mensen praten of zichzelf inbeelden dat ze praten. Hetzelfde proces vindt plaats in het brein als we niet spreken maar luisteren.

Digitale assistenten

In de eerste instantie probeerden de neuro-ingenieurs van Columbia deze signaalpatronen met simpele computermodellen te analyseren en om te zetten naar spraak. Het resultaat bleek echter totaal onverstaanbaar.

De neuro-ingenieurs besloten het probleem vervolgens heel anders te benaderen. Ze kozen voor een neurale vocoder, oftewel een computeralgoritme dat spraak kan nabootsen nadat het getraind is via opnames van mensen die praten. Dat is dezelfde technologie waarmee digitale assistenten zoals Amazon's Echo en Apple's Siri hebben leren spreken.

Epilepsie-patiënten

In dit geval werd vocoder niet getraind met opnames van door mensen ingesproken teksten, maar met behulp van de breinsignalen van epilepsie-patiënten die luisterden naar teksten gesproken door verschillende mensen.

Vervolgens vroegen de neuro-ingenieurs aan de patiënten om te luisteren naar sprekers die van nul naar negen telden. De unieke breinsignalen die bij ieder cijfer hoorden, werden direct doorgesluisd naar de vocoder die de cijfers met spraak nabootste. Het resultaat van de vocoder-spraak in combinatie met de bijbehorende breinsignalen werden opgeschoond door een neuraal netwerk. Het resultaat is volgens de neuro-ingenieurs een robotstem die in 75 procent van de gevallen wordt verstaan. 

Spraak-implantaat

Op het gebied van omzetten van breinsignalen naar spraak is dit een groot succes. De volgende stap zijn experimenten met meer gecompliceerde woorden en zinnen. De hoop is dat het in de toekomst zal leiden tot een spraak-implantaat die een patiënt de mogelijkheid geeft om zijn gedachten rechtstreeks om te zetten in spraak.