Zo slecht scoorden AI-onderzoekers tegenover echte wetenschappers

Onderzoekers van onder meer Princeton hebben AI-agents zes dagen en duizenden dollars aan rekenkracht gegeven. Het doel: beantwoord een echte onderzoeksvraag en schrijf een wetenschappelijke paper. De vragen kwamen uit twee papers die echte onderzoekers net hadden ingediend bij NeurIPS, de grootste AI-conferentie ter wereld. Die mensen mochten aan het einde van de studie de resultaten van de AI's beoordelen. Het resultaat: de AI-wetenschappers zijn zwaar gezakt.

De papers van de menselijke onderzoekers waren nog niet gepubliceerd. Dat zorgde ervoor dat de AI-onderzoekers ze niet konden opzoeken en dus ook niet de antwoorden konden vinden.

En zo gingen de AI's aan de slag, met enkel de onderzoeksvraag van de twee echte studies, toegang tot het internet en alle kennis die ze zelf hadden opgedaan tijdens hun trainingsproces.

De AI-agents voerden al het benodigde technische werk op eigen houtje uit: ze schreven code, draaiden experimenten en verzamelden en verwerkten resultaten. Mensen speelden in het proces geen enkele rol. De eerste hypotheses waar de AI's mee op de proppen kwamen, vonden de menselijke onderzoekers zelfs interessant.

Het liep al snel mis

Maar gedurende het proces begon het mis te lopen. De menselijke onderzoekers merkten dat de AI's geen idee hadden hoe hoog de lat ligt om onderzoek te publiceren, niet creatief genoeg waren om zwakke plekken in de opzet van het onderzoek op te lossen, geen besef leken te hebben van de beschikbare middelen en uiteindelijk totaal de focus van de opdracht uit het oog verloren.