Grootste AI-model van OpenAI kan niet goed programmeren

OpenAI GPT-4.5 is groot, maar ook langzaam, stellen mensen die het hebben gebruikt. De prestaties zijn slechts een tikkeltje beter dan GPT-4o, terwijl het 30 keer zoveel kost. Veel mensen wijzen nu naar zelflerende Large Language Models die verder niet in de gaten worden gehouden en die misschien zijn ‘uitgeleerd’. Steeds meer AI-bedrijven kijken naar synthetisch trainingsmateriaal voor AI, omdat hun bronnen uitgeput raken.

GPT-4.5

Mensen worden bovendien steeds kritischer, omdat OpenAI de prijzen voor het gebruik van zijn AI steeds hoger maakt. GPT-4.5 is momenteel alleen beschikbaar in een ‘Research Preview’-variant, dus geen volledige versie. Ook kunnen alleen ChatGPT Pro-gebruikers erbij. En het is een dure hobby. GPT-4.5 kost 75 dollar per miljoen input tokens en 150 dollar per miljoen output tokens via de API, vergeleken met GPT-4o's 2,50 dollar per miljoen input tokens en 10 dollar per miljoen output tokens.

OpenAI schrijft: “GPT-4.5 is een voorbeeld van het opschalen van unsupervised learning door het opschalen van compute en data, samen met innovaties op het gebied van architectuur en optimalisatie. GPT-4.5 is getraind op Microsoft Azure AI supercomputers. Het resultaat is een model met een bredere kennis en een dieper begrip van de wereld, wat leidt tot minder hallucinaties en meer betrouwbaarheid over een breed scala aan onderwerpen. (...) Met GPT-4.5 nodigen we je uit om de grenzen van unsupervised learning te verkennen en samen met ons nieuwe mogelijkheden te ontdekken.”

Duurder

Maar, het stelt ook: “GPT-4.5 is een zeer groot en rekenintensief model, waardoor het duurder is dan en geen vervanging is voor GPT-4o. Daarom evalueren we of we het op de lange termijn in de API moeten blijven gebruiken, terwijl we de balans zoeken tussen het ondersteunen van de huidige mogelijkheden en het bouwen van toekomstige modellen.”

Misschien is de AI begripvoller geworden, de AI scoort niet goed op de wat meer exacte vakken. Uit de eigen benchmarks van OpenAI blijkt dat GPT-4.5 minder goed scoort op wiskunde en wetenschap, vergeleken met o1 en o3 van het bedrijf. GPT-4.5 kost echter wel vijf keer meer dan o1 en 68 keer meer dan o3-mini. Daarnaast lijkt programmeren het taalmodel niet goed te liggen. Investeerder Paul Gauthier testte het en zag dat GPT-4.5 op de tiende plek kwam in Aider’s Polyglot benchmark, terwijl de top drie is: Claude 3.7 Sonnet, gevolgd door o1 en dan o3. Voor veel programmeertaken is GPT-4.5 het geld niet waard, stelt TechCrunch.

Begripvolle AI

De positieve noot? GPT-4.5 doet het wel beter dan 4o als het bijvoorbeeld om algemene kennis gaat en verschillende talen. Ook schijnt het inderdaad minder te hallucineren (met antwoorden te komen die feitelijk onjuist zijn) en is het prettiger geworden om mee te praten. Voor de toekomst heeft OpenAI-topman Sam Altman aangegeven dat GPT-5 waarschijnlijk heel anders wordt aangepakt wat betreft de trainingsmethode en dat het een combinatie wordt van verschillende trainingsvarianten. 

Lees meer over ChatGPT en abonneer je op de Bright-nieuwsbrief.