© Unsplash
Een rapport over de voordelen van AI blijkt zelf vol te staan met AI-hallucinaties
KPMG heeft een rapport over AI offline gehaald nadat onderzoekers tientallen fouten, verzonnen bronvermeldingen en onjuiste claims ontdekten. Het rapport, dat vorig jaar verscheen, beschreef hoe bedrijven zogenoemde AI-agents inzetten om klanten beter van dienst te zijn.
De problemen werden aan het licht gebracht door GPTZero, bekend van zijn AI-detectietools. Onderzoekers van het bedrijf analyseerden het rapport en concludeerden dat slechts vijf van de 45 bronverwijzingen correct verwezen naar bestaande bronnen. De rest bleek gedeeltelijk verzonnen, onjuist weergegeven of zo vaag geformuleerd dat de bron niet te controleren was.
GPTZero noemt het fenomeen 'vibe citing': door AI gegenereerde verwijzingen die geloofwaardig lijken, maar in werkelijkheid niet bestaan.
AI verzon voorbeelden van AI
Niet alleen de bronvermeldingen bleken problematisch. Volgens de onderzoekers was ongeveer de helft van de voorbeelden en beweringen in het rapport onjuist of verkeerd toegeschreven.
Zo stelde KPMG dat luchtvaartmaatschappij Emirates een AI-chatbot genaamd Sara had gelanceerd die boekingen kon wijzigen voor passagiers. In werkelijkheid was Sara geen AI-chatbot maar een digitale assistent, en kon het systeem geen vluchten aanpassen.
Ook beweerde het rapport dat de Zwitserse bank UBS agentische AI had geïntegreerd in investeringsadvies, risicobeheer en compliance. UBS liet aan de Financial Times weten dat die informatie feitelijk onjuist was.
Een vergelijkbaar voorbeeld betrof de Zwitserse spoorwegmaatschappij Swiss Federal Railways. Volgens het rapport gebruikte het bedrijf AI-agents die reizen konden plannen, boeken en optimaliseren op basis van persoonlijke voorkeuren en CO₂-uitstoot. Een woordvoerder van SBB ontkende dat dergelijke systemen bestaan.
Gevaar voor vervolgonderzoek
De kwestie ligt gevoelig omdat rapporten van grote advieskantoren vaak worden gebruikt als bron voor wetenschappelijke artikelen, nieuwsberichten en bedrijfsrapportages.
Volgens GPTZero-topman Edward Tian kunnen foutieve rapporten van gerenommeerde organisaties leiden tot een kettingreactie van verkeerde informatie. Onderzoekers en AI-systemen kunnen de onjuiste claims vervolgens opnieuw gebruiken, waardoor de fouten zich verder verspreiden.
KPMG zegt de zaak serieus te nemen. Een woordvoerder liet weten dat het bedrijf veel waarde hecht aan de nauwkeurigheid en integriteit van zijn publicaties. Het rapport is inmiddels verwijderd en KPMG onderzoekt hoe de fouten hebben kunnen ontstaan.