PwC verkocht AI-advies en leverde rapporten met verzonnen bronnen

Vier adviesrapporten van advieskantoor PwC staan vol met bronvermeldingen die naar artikelen verwijzen die helemaal niet bestaan. Dat schrijft de krant Financial Times na onderzoek van GPTZero, een Amerikaans bedrijf dat software maakt om AI-teksten te herkennen. 

Het gaat om de bronvermeldingen in de voetnoten. Bij een deel daarvan blijkt het geciteerde artikel niet te bestaan, waaronder een MIT-onderzoek over het gebruik van AI bij overheidsdiensten. Ook citaten in de rapporten kloppen niet en de voetnoten staan niet op volgorde.

Dat doet de onderzoekers vermoeden dat het hier om AI gaat. Taalmodellen verzinnen geregeld bronnen en presenteren die alsof ze bestaan; in het jargon heet dat een hallucinatie. 

GPTZero spoorde de valse verwijzingen op met een eigen controletool. Volgens diezelfde software is de tekst grotendeels door AI geschreven, maar die conclusie is minder hard dan de ontbrekende bronnen: detectiesoftware slaat vaker de bal mis en GPTZero verkoopt zelf zulke software.

PwC geeft zelf AI-advies

PwC Middle East zegt aan de Financial Times dat de rapporten worden onderzocht en dat een aantal bronnen aangepast zullen worden. 

Pijnlijk is de zaak vooral omdat PwC de voorbije jaren klanten zelf adviseert over het gebruik van AI. Ook moedigt het zijn eigen personeel aan om AI te gebruiken. 

Het is niet het eerste geval van AI-gebruik dat misloopt in deze sector. Eerder ging KPMG op vrijwel dezelfde manier de mist in met een rapport over AI.