Slecht nieuws voor leraren: AI herkent niet of iets door ChatGPT is geschreven
©Glenn Carstens-Peters
ChatGPT-maker OpenAI werkte maandenlang aan een tool die moest kunnen herkennen of iets door zijn chatbot was geschreven. Vooral in het onderwijs werd daar hoopvol naar gekeken, maar het is mislukt. De tool was veel te onnauwkeurig. Het bedrijf trekt de stekker uit het project.
OpenAI stopt met de ontwikkeling van zijn tool die teksten geschreven door mensen moest onderscheiden van AI-schrijfsels. "We onderzoeken momenteel effectievere herkomsttechnieken voor tekst", meldt het bedrijf achter ChatGPT. OpenAI zegt wel dat het andere 'mechanismen' ontwikkelt waarmee gebruikers kunnen 'herkennen of audio of visuele inhoud door AI is gegenereerd'.
OpenAI geeft toe dat de tool gewoon te slecht was in het detecteren van door AI gemaakte teksten. De zogeheten classifier gaf ook te veel 'valse positieven': waarschuwingen bij teksten die juist wél door mensen waren geschreven. De classifier bleek slechts 26 procent van door AI geschreven tekst correct aan te duiden als 'waarschijnlijk door AI geschreven'. Menselijke schrijfsels werden in 9 procent van de gevallen ten onrechte gelabeld als door AI gegenereerd.
Huiswerk maken met AI
De tool had een manier kunnen zijn voor docenten om vast te stellen of een leerling de chatbot gebruikte voor het maken van zijn huiswerk. Meerdere andere bedrijven werken aan zulke AI-detectietools, die ook meestal nog vrij onnauwkeurig zijn.
ChatGPT is populair onder scholieren en studenten, die de chatbot massaal inzetten om huiswerk- en studieopdrachten te schrijven. Dat het gebruik van ChatGPT recent daalde, komt mede doordat de jonge gebruikers aan het eind van het schooljaar minder de chatbot om hulp vroegen.
Nu de AI-taalmodellen steeds beter worden, zal het alleen maar moeilijker worden om onderscheid te maken tussen AI en mensenwerk.