Deze AI-assistent hackte op eigen houtje een sportschool

Een plekje bemachtigen in een groepsles bij een sportschool is geëindigd in de eerste autonome hack van Australië. Iemand vroeg zijn AI-assistent om in te schrijven bij een lesblok, maar het model ontdekte dat hij de sportschool kon hacken en deed dat ook echt, na een andere vraag van zijn opdrachtgever.  

Het gaat om een medewerker van een Australisch AI-bedrijf, die door ABC News Andrew wordt genoemd. Hij vroeg OpenClaw, dat Anthropics Claude AI gebruikt, om hem in te schrijven bij een doodnormale groepsles. Dat ging helemaal mis: het AI-model ontdekte een kwetsbaarheid in de boekingssoftware van de sportschool, waardoor het mogelijk bleek om maanden van tevoren in te schrijven op lessen.

Na die ontdekking ging het model nog verder. Om de proef op de som te nemen vroeg Andrew de AI om hem hoger op een lijst te krijgen voor een andere les, waarvoor hij als vierde op de wachtlijst stond. In plaats van zeggen dat dit onmogelijk is, ging het model kijken of hij aanpassingen kon doen in het systeem van de sportschool en jawel: hij bleek andere reserveringen te kunnen cancelen. Hij gooide degene die eerste stond uit de lijst en schoof Andrew op naar plek drie.

Nieuwe wake-up-call over autonome AI

Transparant als de AI-assistent was, bracht hij verslag uit aan zijn opdrachtgever. Het boekingssysteem bevatte geen autorisatieopties bij het verwijderen van reserveringen, dus hij kon eigenlijk gewoon zijn gang gaan. Toen Andrew vroeg om de handeling ongedaan te maken, zei de AI dat het onmogelijk was om de persoon die hij verwijderde terug te zetten. En zo registreerde Australië zijn eerste autonome cyberaanval ooit. In dit geval natuurlijk nog onschuldig, maar wederom een wake-up-call voor het autonomer worden van AI-modellen.

Een week na dit incident in Australië meldde Anthropic dat drie Claude tijdens een test zelfstandig het internet op gingen om bedrijven te hacken. Eerder werd al bekend dat ook modellen van OpenAI op eigen houtje het AI-platform Hugging Face hadden gehackt om de antwoorden op een test te vinden. De modellen voerden zo’n 17.000 handelingen uit om binnen te dringen bij het bedrijf. OpenAI bleek al dagen van de hack te weten toen het met informatie daarover naar buiten kwam.