© Unsplash
Deze AI-browsers omzeilen paywalls voor hun gebruikers ondanks verbod
Een aantal AI-browsers, waaronder Atlas van OpenAI en Comet van Perplexity, kunnen paywalls van sites omzeilen die AI-scraping verbieden.
Dit heeft te maken met het feit dat het lijkt op verkeer van mensen, waardoor de sites de browsers niet blokkeren.
Hoe het precies kan
Veel sites gebruiken een zogeheten clientside-paywall: een laag over de tekst die verschijnt nadat de pagina is geladen. Maar omdat de tekst nog even verschijnt, kan een AI-browser het volledige artikel toch uitlezen. Als dat niet lukt, halen de browsers de informatie simpelweg uit andere bronnen die wel toegang hebben, waarna ze vervolgens alsnog een samenvatting geven aan de gebruiker van de chatbot.
Opvallend is dat deze methode zelfs werkt bij sites die geblokkeerd zijn voor AI-modellen zoals ChatGPT of Perplexity zelf. Omdat Atlas en Comet als echte browsers opereren, zien websites het verkeer als menselijke bezoekers en niet als bots. Atlas kijkt bovendien naar de juridische status van een site: als OpenAI in een rechtszaak zit met een mediabedrijf, zoekt de browser automatisch alternatieve bronnen waarmee wel een licentiedeal bestaat.
Nieuwe browsers
De twee browsers zijn net nieuw: OpenAI Atlas kwam enkele weken geleden uit en Comet verscheen begin oktober. Ze richten zich op het samenvatten van sites en vragen beantwoorden over de inhoud.