Nieuwe Nvidia-software moet AI-agents ervan weerhouden zich te misdragen

Het Open Agent Safety Platform van Nvidia moet een oplossing zijn voor AI-agents die ontsnappen en op die manier chaos veroorzaken.

Steeds vaker lezen we berichten over AI-agents die zijn ontsnapt uit hun kooi, waarna ze op eigen houtje websites hacken om specifieke informatie te vinden. Het nieuwe Open Agent Safety Platform van Nvidia zou hier een oplossing voor kunnen zijn.

Dit open platform bestaat uit twee onderdelen: OpenShell en Sentry. OpenShell geeft AI-agenten een omgeving met duidelijke grenzen om hun taken te voltooien, terwijl al hun acties worden bijgehouden. Sentry is ondertussen een bewaker die agents in quarantaine plaatst als ze een poging doen om buiten die grenzen te gaan. Dat gebeurt binnen enkele milliseconden.

Nvidia beweert dat deze software de inmiddels beroemde HuggingFace-hack in juli had kunnen voorkomen. Voor het nieuwe platform werkt Nvidia onder andere samen met Microsoft, Cisco, Dell, Microsoft, Palantir, Perplexity en SpaceXAI.