Siri kan straks iets wat andere slimme assistenten nog niet lukt

Dankzij een nieuw AI-model kan Siri straks beter begrijpen hoe iPhone-apps werken, wat de assistent een stuk handiger moet maken. Je zou dan je iPhone kunnen vragen om iets te doen, waarna Siri dat binnen apps voor je kan uitvoeren.

Apple is bezig met een grote inhaalslag op AI-gebied. Medewerkers van de iPhone-fabrikant werken aan talloze AI-projecten, die moeten leiden tot slimme nieuwe functies op jouw apparaten. Verwacht wordt dat Apple een eerste reeks AI-vernieuwingen demonstreert tijdens zijn ontwikkelaarscongres WWDC in juni. Een van de nieuwe AI-modellen waar Apple aan werkt is nu via een wetenschappelijke publicatie naar buiten gekomen. 

In een paper, gepubliceerd door de Cornell University, beschrijven Apple-onderzoekers een nieuw multimodaal AI-taalmodel, genaamd Ferret-UI. Daarmee kan AI de gebruikersinterfaces op de iPhone, iPad of andere schermen interpreteren. De Apple-onderzoekers zouden met Ferret-UI een 'opmerkelijke vooruitgang' hebben geboekt.

Begrijpen hoe apps werken

Volgens AppleInsider en 9to5Mac kan Apple dit model toepassen in zijn slimme assistent Siri, die zo beter kan begrijpen hoe apps en iOS zelf eruitzien en werken. Ferret-UI lijkt ook goed aan te sluiten op een ander nieuw AI-model van Apple, genaamd ReALM, dat vragen kan beantwoorden over wat je op het scherm ziet.

Het nieuwe AI-model van Apple vergroot de afbeeldingen van pictogrammen en teksten in apps automatisch om ze beter te kunnen interpreteren. Bovendien deelt Ferret-UI het scherm op in twee kleinere delen, door het scherm als het ware doormidden te snijden. Het doel is een model dat vragen van gebruikers direct kan begrijpen en die snapt wat de verschillende elementen op een scherm doen.

Kan Siri zelf acties in apps uitvoeren?

Als jij bijvoorbeeld aan Siri zou vragen hoe je iets op je iPhone kunt doen, zou de assistent je dit precies kunnen vertellen. Maar mogelijk zou Siri ook taken binnen apps voor je kunnen overnemen, als je daartoe opdracht geeft. Ferret-UI kan mogelijk 'geavanceerde controle' over apparaten bieden. Siri zou dan bijvoorbeeld zelf op de knopjes in apps moeten kunnen klikken.

Ook voor slechtzienden biedt zo'n AI-systeem tal van handige toepassingen. Daarnaast kan Apple dit systeem mogelijk ook gebruiken bij het testen en beoordelen van apps die ter goedkeuring in de App Store zijn ingediend. 

Lees meer nieuws over Apple en blijf op de hoogte met onze nieuwsbrief.