OpenAI bevestigt: AI-agenten uploaden honderden schadelijke softwarepakketten

AI-agenten van OpenAI hebben tijdens tests honderden schadelijke softwarepakketten geüpload naar RubyGems. Dat gebeurde op 11 mei, twee maanden voordat AI-systemen van het bedrijf tijdens veiligheidstests op eigen houtje inbraken bij het programmeerplatform Hugging Face.

De honderden pakketten werden volgens AI-onderzoekers op 11 mei naar RubyGems geüpload. Op het platform kunnen programmeurs software met elkaar delen. De onderzoekers vermoedden dat de pakketten zijn gemaakt door AI-agenten van OpenAI. Het bedrijf heeft dat inmiddels bevestigd tegenover The Wall Street Journal, dat als eerste over het incident berichtte.

Hoe het ging

OpenAI gebruikte de agenten tijdens tests om via RubyGems toegang tot het internet te krijgen, 'onschuldige taken' uit te voeren en openbare informatie te verzamelen. Volgens het bedrijf wordt nog onderzocht hoe de agenten zich tijdens hun training en tests precies hebben gedragen.

Veiligheidsrisico's

AI-agenten, die zelfstandig taken kunnen uitvoeren, brengen vaker veiligheidsrisico's met zich mee. Dat bleek ook in juli, toen zeker zevenhonderd AI-agenten van OpenAI tijdens een test inbraken bij Hugging Face. De systemen probeerden daarbij in meerdere gevallen hun sporen te wissen. OpenAI noemde dat destijds een 'ongekend cyberincident'.

Het incident met RubyGems laat zien dat het gedrag van AI-agenten ook tijdens relatief gecontroleerde tests onverwachte gevolgen kan hebben.