Ook Gemini AI hackte bedrijven tijdens veiligheidstest

Opnieuw heeft een AI-model ingebroken: Google Gemini heeft tijdens een veiligheidstest zelfstandig drie bedrijven gehackt. Het model vond online informatie, gokte inloggegevens en kreeg toegang tot websites die het aanzag voor onderdeel van de test. Dat meldt Google aan de BBC.

De hacks vonden in mei plaats tijdens een test van een onafhankelijk bedrijf dat de cyberveiligheid van AI-systemen onderzoekt. Gemini gebruikte openbare informatie op internet en probeerde daarmee toegang te krijgen tot websites. In alle drie de gevallen stopte het model uiteindelijk zelf.

Testprocedures inmiddels aangepast

De drie bedrijven zijn door Google geïnformeerd over de incidenten. Volgens Heather Adkins, vicepresident Security Engineering bij Google, heeft het bedrijf samen met de organisatie die de test uitvoerde de testprocedures inmiddels aangepast.

'Deze gebeurtenissen laten zien hoe belangrijk het is om krachtige AI-modellen te trainen om verantwoord te handelen', zegt Adkins.

Gemini handelde ook zelf, net zoals de andere AI-agents die inbraken

De incidenten zijn opvallend omdat Gemini tijdens de test niet alleen kwetsbaarheden onderzocht, maar ook daadwerkelijk zelfstandig handelde om toegang te krijgen tot systemen. Volgens Google gaat het om een van de eerste bekende gevallen waarin een AI-model tijdens een test daadwerkelijk bij echte bedrijven binnendrong.

Het incident komt bovendien op een moment waarop steeds meer aandacht is voor de risico's van autonome AI-systemen. Ook andere AI-modellen hebben de afgelopen maanden tijdens tests vergelijkbaar gedrag vertoond. Zo wist Anthropic's Claude in juli uit zijn testomgeving te ontsnappen en zelfstandig drie organisaties te hacken. OpenAI meldde eerder dat zijn modellen cyberaanvallen hadden uitgevoerd op verschillende publiek toegankelijke diensten.

Discussie over snelheid AI-ontwikkeling

Tegelijkertijd wordt er volop gediscussieerd over de snelheid waarmee AI wordt ontwikkeld. Sommige techbedrijven pleiten voor het afremmen van de ontwikkeling van AI. Nvidia-topman Jensen Huang zei vrijdag daarentegen dat de ontwikkeling van AI 'zo snel als we kunnen' moet doorgaan.