OpenAI's AI-videomodel nu indrukwekkender dankzij stemmen en geluid, en nu ook met app

OpenAI heeft Sora 2 onthuld, de nieuwe en verbeterde versie van zijn generatieve videomodel, dat nu ook bijpassende stemmen en geluid kan genereren. Nieuw is ook de Sora-app voor iPhone, een soort TikTok maar dan met alleen maar AI-gegenereerde video's.

OpenAI's Sora was al een indrukwekkende AI-videogenerator, de sprong naar Sora 2 is volgens OpenAI gigantisch. Waar het eerste Sora-model gelijkstond aan het eerste taalmodel GPT-1, moet Sora 2 volgens OpenAi gezien worden als GPT-3.5. Met die versie van zijn taalmodel maakte OpenAI echt een sprong knap maar redelijk experimenteel, naar knap en praktisch ook echt bruikbaar.

Dat geldt dus ook voor Sora 2, dat voorheen ondenkbare video's kan maken van bijvoorbeeld 'Olympische gymnastiekroutines, backflips op een paddleboard die de dynamiek van drijfvermogen en stijfheid nauwkeurig modelleren, en drievoudige axels terwijl een kat voor het leven vasthoudt'. Met andere woorden: Sora 2 begrijpt veel beter hoe mensen en dieren eruit zien, zich kunnen bewegen en hoe ze dat doen ten opzichte van de wereld om hen heen.

Bijpassend geluid maakt indrukwekkende video's

"Eerdere videomodellen zijn overoptimistisch - ze zullen objecten vervormen en de realiteit vervormen om met succes uit te voeren op een tekstprompt. Als een basketbalspeler bijvoorbeeld een schot mist, kan de bal spontaan naar de hoepel teleporteren", aldus OpenAI. Sora 2 doet dat stukken beter maar nog niet perfect, stelt het bedrijf.

Toch zijn de resultaten indrukwekkend, en op het niveau van de indrukwekkende Veo 3-tool van Google. Ook Sora 2 kan nu video's genereren met bijpassend geluid en zelfs stemmen die kloppen bij de mondbewegingen. Zo toont een voorbeeld een filmpje dat is gemaakt op basis van de prompt: 'professor spreekt Engels en daarna Duits'. Het resultaat is indrukwekkend: een realistisch ogende, oudere man die eerst Engels met een Duits accent spreekt, en dan Duits. 

Een ander voorbeeld: een mooi filmpje op basis van de prompt 'In de stijl van een studio ghibli anime, rennen een jongen en zijn hond een met gras begroeide berg op met prachtige wolken, met uitzicht op een dorp in de verre achtergrond'. En dat is precies wat je krijgt, waar je voorheen een veel gedetailleerder prompt nodig had voor een minder fraai resultaat. De prompt 'twee bergverkenners in heldere technische jassen, gezichten met ijskorst, ogen samengeknepen met urgentie schreeuwen in de sneeuw, één voor één', levert ook precies zo'n video op. 

TikTok-achtige AI-app

Nieuw is ook de app Sora, die qua opzet doet denken aan TikTok: een oneindige feed vol korte video’s, maar hier komen ze rechtstreeks uit de AI-fabriek. Sora laat je een video genereren op basis van een tekstprompt, een foto of zelfs een video van iemand anders. Het resultaat zijn ook weer die realistische clips die vaak nauwelijks van echt te onderscheiden zijn.

De app is zowel een uithangbord voor Sora als ook een poging om jongere gebruikers aan zich te binden. De app maakt het maken en delen van AI-video's makkelijker, laagdrempeliger en daarmee normaler dan ooit.

Kans op chaos

Dat is op zich leuk voor memes en creativiteit, maar de risico’s liggen voor de hand. Deepfake-technologie in een sociale app roept vragen op over misbruik, nepnieuws en privacy. OpenAI zegt daar maatregelen voor te hebben ingebouwd: watermerken in de video’s, detectiesystemen en beperkingen op wie of wat je kan deepfaken. Toch: we weten hoe dat meestal gaat zodra miljoenen gebruikers ermee aan de slag gaan.

Meer AI-nieuws en mis niets met onze Bright-app.