Programmeren met AI biedt niet voor elke ontwikkelaar tijdswinst

Veel programmeurs maken tegenwoordig gebruik van bijvoorbeeld Github Copilot om te helpen programmeren. Dit soort tools hebben de belofte dat je productiviteit omhoog schiet omdat er automatisch regels aan code kunnen worden geschreven. Ook kan het bugs oplossen en veranderingen testen. AI-modellen van DeepMind, OpenAI en Anthropic hebben allerlei innovaties gedaan om zo programmeren te verbeteren.

AI werkt soms vertragend

Een studie van AI-onderzoeksgroep METR toont aan dat het echt niet altijd een enorm voordeel hoeft op te leveren. Het heeft 16 ervaren open source-ontwikkelaars gevraagd om 246 taken uit te voeren. De helft mocht daarvoor AI gebruiken. De verwachting was dat de mensen die AI gebruikten dan ook 24 procent korter over de taak deden, maar het team kwam tot de conclusie dat dat helemaal niet zo was.

“Het was een grote verrassing dat AI mensen juist 19 procent langzamer maakt.” Slechts 56 procent van de ontwikkelaars die aan het onderzoek meededen hadden ervaring met het gebruik van Cursor. De meesten hadden wel ervaring met een webgebaseerd taalmodel, maar voor sommigen was specifiek Cursor helemaal nieuw. Maar daarom waren ze voorafgaand aan het onderzoek ook getraind in Cursor.

Prompts kosten tijd

De onderzoekers denken dat het komt omdat ontwikkelaars eigenlijk vrij veel tijd kwijt zijn aan het schrijven van een goede prompt waardoor de AI doet wat ze willen. Ook kost het veel tijd om te wachten tot de AI zijn werk heeft gedaan. En dan is er nog een iets groter is euvel: de AI presteert niet altijd even goed op complexe code, waardoor dat ook weer meer tijd in beslag neemt.

Er zijn ook onderzoeken die aantonen dat het wel sneller is, maar daarover moeten onderzoekers nog gezamenlijk een eindoordeel trekken. In ieder geval benadrukken de makers dat AI zich razendsnel ontwikkeld en dat hetzelfde onderzoek er over drie maanden al totaal anders uit kan zien. Tegelijkertijd is AI-code ook niet foutloos.