Hallucinerende AI zorgde bijna voor een militaire aanval van Amerika op China

Defensie in Amerika heeft bijna een Chinees schip aangevallen door een foutieve rapportage die werd gemaakt met AI-tools. Een analyst van de US Special Operations Command gaf per abuis aan dat een Chinees schip nucleaire componenten vervoerde door het Midden-Oosten. 

Vier bronnen stellen tegen CNN dat het Amerikaanse leger zich klaarmaakte om het schip te infiltreren, inclusief ondersteuning in de lucht. Er waren echter medewerkers die gelukkig op tijd zagen dat er een fout in het rapport stond door het gebruik van een AI-chatbot die ervoor was gebruikt. De AI heeft het materiaal dat het schip bij zich had helemaal verkeerd geanalyseerd.

Hallucinerende AI-chatbot

De AI-chatbot werd gebruikt om rapporten te analyseren, maar hij voegde openbare bronnen toe aan de inlichtingen van de overheid, en zo rolde er een conclusie uit die desastreus kon zijn. Het gebeurt niet vaak dat hallucinerende AI zo’n extreme gebeurtenis zou kunnen veroorzaken. Wat verder kwalijk is, dat is hoe de AI het professionele rapport ondermijnde qua betrouwbaarheid door naar het internet te gaan. Alleen zou je tegelijkertijd als burger verwachten dat defensie in Amerika zich ook bewust is van het gebruik van AI. Echter geldt in Amerika juist dat er een AI-versnellingsstrategie is ingezet sinds januari, waarbij relevante data binnen IT-systemen juist beschikbaar wordt gemaakt voor AI. 

Defensie gebruikt onder andere Gemini for Government van Google, maar sinds een maand is ook Grok voor Government van SpaceXAI in gebruik. 1,5 miljoen medewerkers van Defensie in Amerika zou gebruikmaken van de generatieve AI-tools van het leger. Dat het nu bijna misging komt ook nog eens naar voren in een periode waarin verschillende AI-experts alarm slaan over de dreigingen van AI op de mensheid. Er wordt volop opgeroepen tot een rem op AI-innovaties, maar ook tot meer regulering, terwijl AI-innovaties juist in een rap tempo eruit worden gestampt. Met soms dus alle gevolgen van dien, maar dankzij wat oplettende medewerkers in dit geval gelukkig niet.