Siri snapt straks wat er op je iPhone-scherm staat

Onderzoekers bij Apple hebben het AI-model ReALM ontwikkeld, dat uitblinkt in vragen beantwoorden over wat je op het scherm ziet. 

ReALM staat voor Reference Resolution As Language Modeling, en onderscheidt zich van de concurrentie door verwijzingen naar dingen op het scherm te snappen. Dat is mogelijk, omdat de layout van het scherm via een taalmodel wordt gereconstrueerd naar tekst.

De onderzoekers noemen deze technologie in hun paper een cruciale stap in het nuttiger maken van spraakassistenten zoals Siri. Je kunt bijvoorbeeld vragen om het telefoonnummer dat in beeld staat te bellen, of het adres dat in beeld staat op te zoeken.

ReALM heeft nog wel moeite als de informatie op het scherm te complex wordt, zoals bij het zien van meerdere afbeeldingen tegelijk. Wel zeggen de onderzoekers dat de resultaten van ReALM vergelijkbaar of beter zijn dan GPT-4.

WWDC

De verwachting is dat Apple tijdens WWDC in juni zijn plannen voor AI op de iPhone uit de doeken doet.

Lees meer over Apple, of blijf op de hoogte via de Bright Nieuwsbrief.