Onderzoekers maken geheugen van AI-model bijna acht keer groter met deze truc

Onderzoekers hebben een algoritme bedacht waarmee een AI-model veel beter kan onthouden wat belangrijk is en wat niet. Opvallend genoeg is de truc geïnspireerd op wat onze hersenen tijdens het slapen doen.

Het gaat om Hopfield-netwerken, een van de klassieke AI-modellen. Kort gezegd werken die zo: het model leert een reeks patronen aan, bijvoorbeeld afbeeldingen van bomen. Toon je daarna een afbeelding van een boom, zelfs als die niet in de trainingsdata zat of als het beeld incompleet is, dan kan het model zeggen 'dit is een boom'.

Het probleem is dat de opslagruimte van zulke modellen klein is. Een netwerk van honderd neuronen onthoudt maar een dertiental patronen. Bovendien ontstaan er vanzelf 'valse herinneringen'. Die zetten het netwerk op het verkeerde been, waardoor het fout antwoordt.

Dagdromen maakt een groot verschil

Dat een netwerk die valse herinneringen kan opruimen door na het leren te 'dromen', is al langer bekend. Het nadeel is dat wanneer het opruimen te lang duurt, het netwerk ook de echte herinneringen wist. Daarom bedachten onderzoekers in 2025 het Daydreaming-algoritme, dat tegelijk leert en opruimt, alsof het model dagdroomt. Daarmee steeg de capaciteit naar de theoretische bovengrens van één herinnering per neuron, bijna acht keer zoveel als bij het klassieke model.

Eén probleem bleef. Hopfield-netwerken werken alleen goed met gebalanceerde data, bijvoorbeeld zwart-witbeelden met ongeveer evenveel witte als zwarte pixels. Bij sterk over- of onderbelichte beelden gaan de plaatjes te veel op elkaar lijken. 

De nieuwste versie van het algoritme, Centered Daydreaming, dat nu wordt beschreven in het vakblad Journal of Statistical Mechanics, vergelijkt daarom niet de absolute pixelwaarden, maar hun afwijking van het gemiddelde. Bij gezichtsherkenning betekent dat bijvoorbeeld: kijk niet naar de identieke achtergrond, maar naar wat afwijkt van het gemiddelde gezicht. Volgens de onderzoekers kunnen zulke technieken op termijn bijdragen aan AI die veel zuiniger werkt.