Maker ChatGPT lanceert tool om AI-teksten te detecteren

ChatGPT-maker OpenAI heeft een site geopend waarmee gecontroleerd kan worden of een tekst door kunstmatige intelligentie is gemaakt. Het werkt alleen nog niet zo goed: de successcore is nog maar 1 op 4.

ChatGPT is een zogenoemde chatbot die de laatste tijd veel ophef heeft veroorzaakt. Met kunstmatige intelligentie (AI) kan ChatGPT volledige teksten genereren op basis van een simpele opdracht. 'Schrijf een boekverslag van 1000 woorden over de Ontdekking van de Hemel' bijvoorbeeld – en scholieren maken daar ook al volop gebruik van. ChatGPT-maker heeft nu ook een soort tegengif: een AI-tekst-detector.

Die detector werkt simpel: voer een tekst in en druk op de knop. Die site vertelt dan of de tekst wel of niet door AI is gegenereerd, en met welke waarschijnlijkheid: groot of klein. Er zijn alleen wel een aantal beperkingen aan de detector. Zo werkt hij het beste in het Engels, en pas vanaf zo'n duizend tekens. En de detector kan ook makkelijk gefopt worden, als AI-tekst eerst her en der nog wordt aangepast.

Belabberde score: maar 1 op 4 goed

Die beperkingen zorgen ervoor dat de detector nog maar belabberd scoort. In de eigen tests van OpenAI wist de detector maar in 26 procent van de gevallen een AI-tekst als zodanig aan te wijzen – driekwart van de AI-teksten slaagt dus gewoon voor de test.

Zogenoemde valse positieven zijn er minder vaak: in 9 procent van de gevallen wordt een handgeschreven tekst toch aangemerkt als AI-gegenereerd. Dat is nog te veel, maar volgens OpenAI wel beter dan een vorige versie van de detector.

Werkt voor alle soorten AI-teksten

OpenAI is helder over de beperkingen, en stelt dat de detector "gebruikt moet worden in aanvulling op andere methoden voor het bepalen van de bron van een tekst". "Het is onmogelijk om alle door AI geschreven teksten betrouwbaar te detecteren, maar we denken dat dit soort detectors kunnen helpen bij de aanpak van AI-teksten die echt claimen te zijn, zoals geautomatiseerde nepnieuws-campagnes, AI voor academisch bedrog en AI-chatbots die zich voordoen als mensen", aldus OpenAI.

De detector zou ongeveer evenredig werken bij alle soorten AI-tekst, niet alleen bij teksten die gemaakt zijn door ChatGPT. Hoewel dit soort detectoren nooit perfect zullen zijn, verwacht OpenAI wel dat er nog veel verbetering mogelijk is. Het bedrijf vraagt om feedback van gebruikers, om die verbetering te versnellen.

Ondertussen wordt ook kunstmatige intelligentie snel beter en vooral overtuigender. Daar moeten we ons niet door laten foppen, zei de topman van OpenAI onlangs. Hij waarschuwde onlangs voor te hoge verwachtingen rond kunstmatige intelligentie. AI is 'nog lang niet' op menselijk niveau – dat lijkt soms zo, omdat de teksten worden gegeneerd naar het voorbeeld van miljoenen bestaande teksten.

Luister ook de Bright Podcast: