Apple ontdekt nieuwe methode die AI-modellen aanzienlijk versnelt

Het bedrijf schrijft in een wetenschappelijk artikel met de titel Your LLM Knows the Future over de 'multi-token prediction'-methode (MTP), die AI-modellen in staat stelt om meerdere woorden tegelijk te voorspellen en te genereren, in plaats van één voor één, zoals nu gebeurt. Dit levert bij het uitvoeren van bepaalde taken een snelheidsverbetering op van wel vijf keer. 

Woord voor woord

Traditionele taalmodellen genereren een tekst token voor token, oftewel woord voor woord. Elk nieuw woord is gebaseerd op de woorden die al zijn gegenereerd, en dat maakt het een tijdrovend proces. Om de volgende token te bepalen, moet het model namelijk duizenden mogelijke opties afwegen om de meest logische en coherente keuze te maken. 

De verschillen

De traditionele AI is eigenlijk als iemand die een legomuur bouwt door elk blokje één voor één te pakken en te plaatsen. Voordat hij het volgende blokje pakt, moet hij eerst controleren of het vorige blokje goed zit. Dit is een zorgvuldig, maar langzaam proces.

Met de nieuwe door Apple omschreven methode kunnen ze dit omzeilen. De nieuwe methode van Apple is namelijk als iemand die niet één, maar meerdere blokjes tegelijk pakt en plaatst. Hij pakt bijvoorbeeld meteen vijf blokjes, bouwt een klein deel van de muur in één keer en controleert pas daarna of het goed zit. Als hij merkt dat de vijfde steen niet past, gaat hij terug en probeert hij een andere combinatie. Dit proces is veel sneller, omdat hij niet elk afzonderlijk blokje hoeft te controleren. Het door Apple ontwikkelde MTP-framework laat het model dus meerdere tokens tegelijk voorspellen.

Twee tot drie keer zo snel

De onderzoekers testten deze MTP-methode met een open-source model en zagen dat de antwoorden twee tot drie keer zo snel werden gegenereerd bij algemene taken en tot wel vijf keer bij specifieke taken zoals programmeren.

Meer lezen over AI? Download dan de Bright-app en abonneer je op onze nieuwsbrief!