©OpenAI

Ex-medewerkers OpenAI waarschuwen: ‘zorg dat we blijven inzien hoe AI denkt’
Drie ex-medewerkers van OpenAI hebben in een brief aan het bestuur aangegeven dat er opgepast moet worden voor de toekomst van AI. Het gaat specifiek om RSI, waarbij AI zichzelf kan verbeteren. Daar werkt het bedrijf naartoe, maar als dat zover is, verliezen we grip op de denkstappen die AI maakt. Dat moeten we ten alle tijden beschermen.
De brief is privé naar het veiligheidsbestuur van OpenAI verstuurd, maar de Wall Street Journal kreeg gedeeltelijke inzage in de brief van Tomek Korbak, Mikita Balesni en Jasmine Wang. Zij werden vorige week ontslagen bij OpenAI vanwege het vermoedelijk delen van bedrijfsinformatie aan AI-veiligheidsinstanties. Balensi deelde daarnaast dat er een kans van 10 procent is dat AI de mensheid vermoordt en Wang benadrukte online al het gevaar van RSI (recursive self-improvement.)
Brief aan OpenAI: verlies denkwijze niet uit het oog
In de brief benadrukken de drie ex-medewerkers dat de industrie nog niet weet hoe die veilige modellen maakt die niet te controlleren zijn. OpenAI en andere grote AI-bedrijven moeten geen ontwikkelingen doen waardoor de mogelijkheid tot monitoring afneemt.
Mike Pearl van Gizmodo beschrijft de mogelijke capaciteiten van OpenAI’s Astra-model als volgt: het kan leren om systemen te slim af te zijn en door verdere ontwikkeling van zulke modellen worden we mogelijk een richting in gestuurd waarbij monitoren van AI minder nuttig blijkt.
In situaties waarbij Astra onder druk gezet wordt, kan het al de systemen die de denkwijze van het model volgen omzeilen. Daarnaast neemt de hoeveelheid diepte en overweging in de denkwijze van OpenAI’s model toe. Voordat de AI met een opdracht aan de slag gaat, evalueert het de opdracht meerdere keren nauwkeurig. Dat gebeurt al in een omgeving die we niet kunnen monitoren: de black box.
De brief van de ex-medewerkers is duidelijk: zorg dat we grip houden op wat AI doet. Opvallend genoeg geeft OpenAI reactie op de brief aan WSJ. Het bedrijf is het roerend eens met de stelling van de medewerkers.

















