Nieuwe AI van Nvidia maakt 3D-modellen op basis van 2D-video's

Nieuwe AI van Nvidia maakt 3D-modellen op basis van 2D-video's

02-06-2023 13:34

De nieuwste indrukwekkende AI-functie van chipfabrikant Nvidia heet Neuralangelo. Het systeem kan 3D-modellen maken op basis van 2D-video's.

Fysieke objecten omtoveren tot 3D-modellen is al een hele tijd mogelijk. Dat gebeurt bijvoorbeeld bij games en films: de 3D-kunstenaars maken dan met bijvoorbeeld klei een eerste model, dat met speciale scanners wordt omgezet tot een 3D-model in de computer.

Ook dat belooft veel simpeler te worden dankzij kunstmatige intelligentie, toont Nvidia met zijn nieuwste AI-model Neuralangelo. Ja, zo heet het echt. En natuurlijk maakt de AI eerst de David van Michelangelo na.

Neuralangelo bekijkt een video en zoekt dan naar beelden van hetzelfde voorwerp uit verschillende hoeken. Zo krijgt de AI een idee van het formaat, de vorm en de diepte van het voorwerp. Op basis daarvan wordt een ruwe 3D-weergave gemaakt, die wordt aangekleed met details die worden overgenomen uit de video. En vooral die details zijn scherper dan voorheen.

Veel gedetailleerder 

Het nieuwe AI-model is een verbeterde versie van het eerdere Instant NeRF van Nvidia. Ook dat model kon al op deze manier 3D-modellen maken op basis van 2D-video's, maar die waren veel ruwer. Nu kan ook de textuur worden overgenomen, patronen en kleine verschillen in kleur: details die het verschil maken tussen een computermodel en een realistische weergave.

In het voorbeeld maakt Neuralangelo dus het beeld van Michelangelo na, en juist dat gladde marmer was voorheen ingewikkeld voor AI. En omdat het model beter 'begrijpt' wat het ziet, kan het zelfs 3D-modellen maken op basis van video's die met smartphones zijn gemaakt.

Duurt alsnog uren

Maar let wel: deze AI is nog niet zo snel als de 2D-beeldgeneratie zoals die van Midjourney, DALL-E en recentelijk Photoshop. Neuralangelo doet er een kleine 2 uur over om een 3D-model te maken.

Uiteindelijk moet Neuralangelo het bijvoorbeeld veel makkelijker maken om voorwerpen te digitaliseren voor games, films, series of VR-toepassingen. De animator maakt dan een filmpje van een voorwerp, en kan het even later in een game gebruiken. En zelfs hele levels zouden zo gemaakt kunnen worden volgens Nvidia, door met drones een gebied te filmen.

Kijk ook: het gaat hard met AI