Glad or sad?

eMotion is software die emoties kan herkennen.

Niet alleen van foto's, maar ook realtime bij bewegend beeld. Een bijzonder middel voor onderzoek, maar in de toekomst ook voor gamers.

In hoeverre kijk je vrolijk, boos of verdrietig op een foto? Op de website Glad or Sad kan je dat testen. Dat lijkt zomaar leuk tijdverdrijf, maar de achterliggende software die in staat is emoties te herkennen, kan op veel interessante manieren worden toegepast. Op profielen bij datingsites bijvoorbeeld, of voor onderzoek naar chocola.

Een van de praktijkvoorbeelden is een onderzoek in opdracht van Unilever naar het snackgedrag van vrouwen. De gezichtsuitdrukkingen van driehonderd vrouwen werden in de gaten gehouden terwijl ze een mueslireep, yoghurt, appel, ijs en chocola aten. Wat Unilver verwachtte – en de meeste vrouwen al weten – is dat het eten van ijs en chocola tot meer plezier leidde. In de toekomst wellicht een interessante methode om te bepalen of vetvrij-ijs tot hetzelfde genot leidt als roomijs. Hoe heeft Unilever dat gemeten?

Chocola = blijdschap.

Professor Theo Gevers en Nicu Sebe van de faculteit Computer Science van de Universiteit van Amsterdam doen onderzoek naar het herkennen van emoties. De software die ze hebben ontwikkeld, eMotion, is uniek op de wereld. Het kan niet alleen zes basis emoties onderscheiden, maar doet dit ook realtime.
'Mensen zijn heel goed in het herkennen van emoties op gezichten, maar voor een computer is dit een moeilijke taak', zegt Gevers. 'Als je lacht, verdrietig bent of fronst gebruik je duizenden minuscule spiertjes in je gezicht. Onze software kan deze niet allemaal in de gaten houden, maar let op de verandering in twaalf gebieden van het gezicht.'

De bewegingen van deze gebieden, zoals de mondhoeken, wenkbrauwen, wangen en neus worden gematcht met zes patronen die corresponderen met bepaalde emoties. Als je voor de webcam van Gevers plaatsneemt wordt een 3D map van je gezicht gemaakt in neutrale stand. Vanuit die basispositie worden veranderingen gemeten. Ben je blij dan gaan je mondhoeken en wangen bijvoorbeeld omhoog, walg je ergens van dan zie je dat aan het optrekken van het gebied rond de neus. Zo herkent eMotion de zes basisemoties: blijdschap, verdriet, boosheid, walging, verrassing en angst.

Corrie krijgt een 3D-masker aangemeten.

Terwijl mijn gezicht door eMotion werd gescand was mijn eerste reactie: dit kan je faken! Als ik maar gewoon 'cheese' zeg, net als bij een foto, denkt het systeem dat ik blij ben. Gevers: 'Dat klopt, het werkt in die zin niet als een soort leugendetector, maar het ziet wel de emoties zoals anderen die ook bij jou zouden zien. Het systeem let op de veranderingen, niet op het krampachtig vasthouden van een lach.' (Hoe zit dat eigenlijk met liegen, waar zie je dat? Volgens Gevers is dat subtiel te zien aan kleine bewegingen van het voorhoofd. Gelukkig heb ik een pony, maar dat terzijde.)

Gevers en Sebe werden bekend met hun onderzoek naar de raadselachtige glimlach van Mona Lisa. eMotion wees uit dat ze voor 83% blij was, en voor 9% walging, 6% angst en 2% boos was. Foto's aflezen is een ding, maar volgens Gevers leidt vooral bewegend beeld analyseren tot eindeloze toepassingen. Zo kun je de gezichtsuitdrukkingen van mensen registreren tijdens het kijken van een film, reclames, het lezen van een artikel, bekijken van een website of proeven van een product. 'De resultaten hiervan zijn waardevoller dan van bijvoorbeeld het achteraf invullen van een vragenlijst. Bij een vragenlijst zeg je na een hele film misschien dat hij grappig was, maar de emotie-herkenner kan tot op de seconde weergeven wanneer je iets leuk vond of vreselijk.'

De groene balk staat voor happy, de roze voor walging.

Een toepassing waar nog hard aan wordt gewerkt is het creëren van 3D-avatars. Niet geanimeerd door de computer, maar veel realistischer. Van een aantal foto's kan de software een 3D-versie van een gezicht maken. Dit 'masker' kan je over je eigen gezicht leggen en met je eigen gezicht bewegen. Zo kun je in bijvoorbeeld Second Life rondlopen met het gezicht van Brad Pitt of Bill Clinton, die hun mond openen of hun wenkbrauwen optrekken zodra je dat zelf (voor een webcam) doet.

En wie zou jij dan willen zijn?

Bill doet Corrie na.

Met de website Gladorsad.nl hebben de onderzoekers twee doelen. Ten eerste gebruiken ze alle geüploade foto's om door het systeem te laten analyseren. Daarnaast kunnen bezoeker aangeven welke emoties zij herkennen op foto's. Met de feedback van deze internetters kan het wetenschappelijke model sneller worden verbeterd, meent Gevers.
Eind januari moet een consumentenversie van het eMotion-programma klaar zijn, zodat iedereen dit gratis met zijn eigen webcam kan gebruiken. Kan je tenminste zien of je vriend(in) wel goed op je chats en grappen reageert.

Balkenende is in ieder geval niet happy. Wij ook niet.