Гигантская компания объявила: правила Интернета полностью меняются!

Крупным языковым моделям, таким как ChatGPT, требуется огромное количество обучающих данных для улучшения их производительности, поэтому они используют краулеры, которые получают доступ к разным веб-сайтам для сбора контента для обучения своих систем. С новым шагом Cloudflare эти автоматизированные системы больше не смогут получать доступ к страницам «без разрешения или платы».

ОНИ БУДУТ ПЛАТИТЬ ВЛАДЕЛЬЦАМ САЙТА

Соответственно, издатели веб-сайтов смогут предоставлять доступ ИИ-сканерам, а Cloudflare заявила, что внедрит систему «оплаты за сканирование», которая позволит ИИ-компаниям платить за сканирование данных.

Обучение систем ИИ с использованием онлайн-текста стало одним из самых спорных вопросов эпохи ИИ. Многие издатели инициировали судебные иски, утверждая, что их контент используется компаниями ИИ без разрешения.

По мере обострения этих дискуссий в 2023 году Cloudflare объявила, что позволит веб-сайтам не запрашивать доступ у ИИ-краулеров, добавив специальный тег на свои страницы, но этот метод оказался неприменим. Затем она разработала технологию, которая могла обнаруживать ИИ-ботов, и позволила сайтам автоматически блокировать этих ботов. Теперь этот инструмент будет активен по умолчанию.

Генеральный директор Cloudflare Мэтью Принс заявил New York Times, что «Cloudflare меняет правила интернета», и объявил, что будет напрямую блокировать ИИ-краулеры, чтобы помешать ИИ-компаниям собирать данные из интернета. Принс сказал, что этот шаг был мотивирован опасениями, что ИИ-компании, бесплатно копирующие интернет, демотивируют людей писать новый контент.