©Pokemon
Deze AI-chatbot is al weken bezig om Pokémon uit te spelen
Het is een spel dat jonge kinderen helemaal door kunnen spelen, maar een AI-chatbot heeft er moeite mee. Chatbot Claude van Anthropic is een paar weken geleden begonnen met zijn Pokémon Red-avontuur, maar komt er niet goed doorheen. Dit is waarom.
Pokémon spelen is kinderspel, toch? Niet voor Claude, de AI-chatbot die een redeneringsmodel gebruikt. We zagen eerder al dat hij bijvoorbeeld steeds maar tegen een muur aan bleef lopen, maar dat is niet de reden waarom hij langer nodig heeft om alle Pokémon te vangen en de ultieme trainer te worden. Dat is wat teleurstellend, aangezien dit hele project juist bedoeld is om te laten zien hoe Claude 3.7 Sonnet beter kan redeneren, vooruit plannen en alternatieve strategieën bedenken wanneer andere strategieën falen.
Pokémon spelende Claude
De AI heeft ook wel een aantal Gym Badges verzameld, dus het is zeker op de goede weg, maar er zitten lange denkpauzes tussen elke zet, waarbij je als kijker op Twitch wel kunt zien wat er allemaal aan redenering tussen zit. Ook praat hij soms eindeloos met een NPC (non-playable character) terwijl deze gesprekken nergens heengaan. Een mens had dan allang afgehaakt, maar Claude lijkt niet in te zien dat het gesprek nergens toe leidt.
Tegelijkertijd moeten we Pokemon als spel ook niet onderschatten. Veel games hebben heel duidelijke regels en strategieën en die worden dan ook geïmplementeerd in de AI. Dat is bij Claude niet gebeurd: die ging er geheel blanco in, in een spel waarbij het ook niet altijd heel rechttoe-rechtaan is wat nu precies de directe bedoeling is. Claude begrijpt visueel vaak wat een mens zou begrijpen, maar omdat deze Pokémon-game uit grote pixels bestaat, is dat lastiger. Hij ziet door de pixels de Pokémon niet.
Vergeetachtig
Bij tekstgerelateerde taken presteert de AI-chatbot beter. Hij schrijft ook dingen als een soort memo op voor ‘later’. Hij heeft door als de game het op een verkeerde been probeert te zetten en hij kan ook meerdere stukken informatie samenvoegen om een strategie te bepalen. Tegelijkertijd zijn er ook experts die zich zorgen maken over of Claude wel ‘onthoudt’ wat hij heeft geleerd. Er is een contextkader van 200.000 tokens, dus hij kan maar zoveel informatie kwijt. Daardoor onthoudt hij niet alles wat fout ging, waardoor de kans bestaat dat hij dezelfde fouten herhaalt. Ook kan hij niet altijd onthouden welke strategieën wel succesvol waren.
Verder doet Claude dus ook veel goed: hij loopt niet volledig als een kip zonder kop rond. Volgens experts (via ArsTechnica) betekent het feit dat hij de taak al bijna goed uitvoert, dat volledige beheersing niet ver weg is. Dat zal ook de ceo van Anthropic beamen. Volgens CEO Dario Amodei van Anthropic zal AI tegen het einde van 2027 'in bijna alles beter zijn dan mensen'. Je kunt op Twitch volgen hoe Claude het doet.
Lees meer over kunstmatige intelligentie.