AI weet wat je doet op basis van alleen audio en beweging

Strijken, tennissen, gamen: uit nieuw onderzoek van Apple blijkt dat AI weet wat je aan het doen bent, zonder dat je dit hebt verteld. Het werkt door de audio te combineren met bewegingsdata.

In de paper Using LLM’s for Late Multimodal Sensor Fusion for Activity Recognition wordt besproken of het mogelijk is dat taalmodellen (LLM’s) bepaalde analyses combineert om zo te begrijpen wat de gebruiker doet. De grote taalmodellen schijnen helemaal niet vaak verkeerd te concluderen wat een gebruiker doet, op basis van alleen maar audio en bewegingsinformatie. Daar hoeven ze bovendien ook niet speciaal voor te zijn getraind. Dat kan geld schelen.

AI weet wat je doet

Bovendien werd niet de specifieke audio zelf meegenomen in het onderzoek, maar een omschrijving ervan. Dus niet het geluid van een strijkijzer, maar een paar steekwoorden in tekst die ook weer door AI zijn gemaakt. De onderzoekers gebruikten voor hun onderzoek Ego4D, een grote dataset met media die in het first person-perspectief heeft gemaakt. Er werden filmpjes van 20 seconden toegevoegd met verschillende activiteiten, zoals stofzuigen, basketbal spelen en tv kijken, en dat dus met succes. 

Vervolgens vergeleek Apple de prestaties van deze modellen in twee verschillende situaties: één waarin ze een lijst met 12 mogelijke activiteiten kregen om uit te kiezen en één waarin ze geen meerkeuzeantwoorden kregen. Er werd geëxperimenteerd met verschillende audiolabels, omschrijvingen, maar de AI kon vrij goed destilleren wat de persoon aan het doen was in de video. Dit heeft als potentieel gevaar dat kwaadwillenden een breder plaatje van je kunnen maken of dat het bedrijf dat de AI misschien wijzer zijn dan je zou willen. Het heeft ook voordelen: zo kan AI mogelijk sneller detecteren dat bijvoorbeeld een oudere niet in orde is.

Het is nog maar een onderzoek, maar het geeft wel een inkijkje in waar Apple zoal aan werkt. En vooral: waar AI soms stiekem al toe in staat is.

Lees meer over Apple.