Microsoft maakt realistische pratende video's op basis van één foto

Een nieuw AI-model van Microsoft kan met slechts een enkele foto en een kort spraakfragment een video genereren waarin je de persoon ziet praten of zingen.

Microsoft heeft een nieuw AI-model genaamd VASA-1 ontwikkeld voor het genereren van video's van pratende of zingende hoofden. Dat lukt al met behulp van één foto en een kort audiofragment met spraak. Het model zorgt er vervolgens voor dat de lipbewegingen nauwkeurig worden gesynchroniseerd met het geluid. Ook is het model goed in het genereren van een groot aantal gezichtsuitdrukkingen en natuurlijke hoofdbewegingen.

Praten met levensechte avatars

Het huidige model ondersteunt het genereren van video's van 512 bij 512 pixels met maximaal 40 FPS. Maar opvallend is de snelle werking waardoor je nauwelijks hoeft te wachten op het genereren van de beelden. "Dit maakt de weg vrij voor realtime interacties met levensechte avatars die menselijk gespreksgedrag nabootsen”, zegt Microsoft. 

De onderzoeksafdeling van het bedrijf heeft een hele reeks voorbeeldfilmpjes gepubliceerd. Die voorbeelden zijn niet gebaseerd op foto’s van echte mensen, maar het zijn hoofden die zijn gegenereerd met de AI-systemen StyleGAN2 en DALL-E 3. "We onderzoeken het genereren van vaardigheden voor virtuele, interactieve personages, waarbij we géén persoon in de echte wereld nabootsen."

Gevaren maar ook voordelen

Zulke AI-modellen zijn natuurlijk ook voor verkeerde doeleinden in te zetten. Microsoft erkent 'de mogelijkheid van misbruik' van de software en geeft VASA-1 voorlopig niet vrij aan het publiek. Gezien het risico op desinformatie in de aanloop naar de Amerikaanse verkiezingen lijkt dat ook niet verstandig. "We zijn tegen elk gedrag dat misleidende of schadelijke inhoud van echte personen creëert", zegt het bedrijf.

Microsoft somt ook een aantal voordelen van dergelijke AI-modellen op, zoals 'het vergroten van de onderwijsgelijkheid en het verbeteren van de toegankelijkheid voor mensen met communicatieproblemen'.

Kijk ook onze video waarin presentator Eric Bouwman zichzelf met AI overbodig maakt.

Lees meer nieuws over Microsoft en blijf op de hoogte met onze nieuwsbrief.