Cloudflare gaat AI-bots blokkeren die data scrapen
Cloudflare heeft een functie gelanceerd waarmee website-eigenaren automatisch AI-bots (kunstmatige intelligentie) kunnen blokkeren die zonder toestemming gegevens en content verzamelen. Het Amerikaanse technologiebedrijf, dat online verkeersbeheer en cyberbeveiligingsdiensten levert, zegt "de eerste aanbieder van internetinfrastructuur te zijn die zogenaamde AI- crawlers blokkeert", geautomatiseerde tools die grote hoeveelheden data van websites extraheren, zoals tekst, afbeeldingen en meer. Deze content wordt vervolgens gebruikt om AI-modellen te trainen.
Deze aanpak wordt vaak betwist, vooral wanneer dataverzameling plaatsvindt zonder compensatie voor het gebruik ervan. Zo klaagde Elon Musk in 2023 dat AI-bedrijven de servers van X overbelastten door deze intensieve dataverzameling. Recenter besloot het sociale netwerk Reddit Anthropic aan te klagen voor het verzamelen van informatie van 110 miljoen gebruikers om AI-modellen te trainen, zonder toestemming of compensatie. In andere gevallen hebben AI-bedrijven licentieovereenkomsten voor content gesloten om rechtszaken te voorkomen: OpenAI sloot een dergelijke overeenkomst met News Corp, de eigenaar van de Wall Street Journal en The Sun, om content van verschillende nieuwsmerken te gebruiken.
In een verklaring legt Cloudflare uit dat website-eigenaren voortaan "kunnen kiezen of ze AI-crawlers toegang willen geven tot hun content en hoe AI-bedrijven deze mogen gebruiken". In deze logica zullen AI-bedrijven duidelijk moeten maken wat hun doel is met het verzamelen van content, zoals training, deductie of onderzoek. "Deze nieuwe tool is de eerste stap naar een duurzamere toekomst, zowel voor contentmakers als voor AI-vernieuwers", aldus het bedrijf.
Elk nieuw domein dat besluit om met Cloudflare te werken, wordt nu gevraagd of ze AI-bots willen toestaan of niet.
"Als het internet het AI-tijdperk wil overleven, moeten we uitgevers de controle geven die ze verdienen en een nieuw economisch model creëren dat voor iedereen werkt", aldus Matthew Prince, CEO van Cloudflare, in een verklaring. De directeur is van mening dat deze tools voor contentverzameling "zonder grenzen" werken.
Ongeveer 16% van het wereldwijde internetverkeer verloopt via de handen en technologische hulpmiddelen van Cloudflare.
Cloudflare legt ook uit dat het de steun van verschillende mediamerken heeft gekregen om het protocol te ontwikkelen op basis van een verzoek om toestemming voor deze AI-bots om data van hun respectievelijke websites te verzamelen. De lijst omvat Associated Press, The Atlantic magazine, Buzzfeed, Sky News en Condé Nast, verantwoordelijk voor media zoals Vogue en Wired magazine. Sociale netwerken zoals Reddit en Pinterest vallen hier ook onder.
observador
