Facebook vat automatisch video's samen in tekst

Facebook ontwikkelt kunstmatige intelligentie waarmee video's automatisch in tekst worden beschreven.

De opmars van online video is gigantisch. Wereldwijd kijken we al elke dag meer dan een miljard uur aan video's op YouTube. Maar dat is niet voor iedereen weggelegd. Mensen met een beperking of traag internet kunnen buiten de oot vallen. Facebooks VideoStory-project moet deze mensen helpen. Een systeem met kunstmatige intelligentie kijkt naar video's en zet ze automatisch om naar een tekstbeschrijving.

Facebook heeft als eerste een dataset van 20.000 video's met 123.000 beschrijvende zinnen gemaakt waarmee de AI-algoritmes zijn getraind. Daarvoor verzamelde het populaire video's die veel commentaren en interactie tussen gebruikers opleverden. Per video voegden de onderzoekers gemiddeld vijf zinnen toe die kort beschreven wat er in de video op specifieke momenten gebeurde.

Het grootste deel van deze dataset werd gebruikt om de VideoStory AI te trainen om automatisch deze beschrijvingen te genereren. Zo'n duizend video's van de dataset werden gebruikt om het leerresultaat van de algoritmes te testen. 

Nog niet perfect

Helemaal perfect waren de automatische beschrijvingen nog niet. Een video van een hond en een baby die buiten in de tuin spelen, werd door de AI beschreven als een 'hond die midden in een huis stond' en 'een hond die in de kamer rond rent en een hond die op en neer springt'. 

Desondanks zeggen de onderzoekers dat hun VideoStory-dataset een goede stap in de richting is om in plaats van een enkele zin die de video beschrijft automatisch een verhaaltje te laten genereren die de video in zijn context beschrijft.

Kijk ook: je smartphone krijgt kunstmatige intelligentie