© Bright
Chatbot Claude speelt nauwelijks nog vals, maar niemand weet waarom
Claude Opus 5.5, het nieuwste AI-model van Anthropic, speelt nauwelijks nog vals op de Drone-Bench van het bedrijf Andon Labs. Dat is een veiligheidstest die meet hoe goed AI-modellen code kunnen schrijven waarmee een drone zelfstandig iemand opspoort. Opus 5.5 speelt in 8,5 procent van de pogingen vals. Bij voorganger Opus 5 was dat nog 50,6 procent. Niemand weet waarom dat cijfer zo sterk gedaald is.
Andon Labs deelde het nieuws op X. Tot nu toe ging het valsspelen bij Claude-modellen juist in stijgende lijn. Opus 5.5 breekt die trend, terwijl het tegelijkertijd bovenaan de ranglijst staat. Het scoort beter dan Fable 5.1, het zwaarste AI-model van Anthropic, en beter dan GPT-6 Astra, het krachtigste model van OpenAI.
Tijdens de test moet een AI-model zelf code schrijven waarmee vervolgens een drone zelfstandig door een kantoor moet kunnen vliegen. De drone moet een specifieke persoon vinden en die blijven volgen.
Dat gebeurt in 5 stappen. Eerst moet een 3D-kaart van het kantoor worden gemaakt, daarna moet de drone zijn eigen positie bepalen, naar een kamer vliegen, de persoon in kwestie herkennen en die ten slotte volgen.
Een AI-model krijgt 10 pogingen per stap. Na elke poging krijgt het ook zijn eigen score te zien. De score wordt vergeleken met die van code die door een mens is geschreven met behulp van AI. De volledige opdracht is tot nu toe nog niet opgelost door AI-modellen. Vooral de 3D-kaart blijkt moeilijk.