Cloudflare позволяет сайтам взимать плату с AI ботов за «Оплату за сканирование»

Cloudflare предлагает издателям новую возможность: взимать плату с AI-ботов за сканирование их сайтов с помощью возрожденной системы оплаты HTTP 402.

С помощью новой системы «Pay Per Crawl» владельцы сайтов могут взимать плату с AI-ботов за доступ к их контенту. Эта система предлагает издателям альтернативный подход к их текущей политике, предлагающей два варианта: либо разрешение на сбор данных AI, либо полное блокирование доступа AI.

«Многие издатели, создатели контента и владельцы сайтов сейчас чувствуют, что перед ними бинарный выбор — либо оставить переднюю дверь широко открытой для AI, который может поглотить все, что они создают, либо создать свой собственный огороженный сад», — говорит Cloudflare. «Но что если существует другой путь?»

С Pay Per Crawl создатели контента теперь могут решать, кто получит доступ и по какой цене. Они могут позволить некоторым AI-ботам входить бесплатно, полностью блокировать других или взимать плату за доступ. «Мы хотели, чтобы создатели контента контролировали, кто получает доступ к их работе», — говорит Cloudflare. «Создатели должны сидеть за рулем».

Этот шаг происходит на фоне растущего негодования по поводу использования контента из интернета компаниями, работающими в области искусственного интеллекта, без согласия. Например, YouTube подвергся критике за то, что позволил Google забирать видео без уведомления создателей. Кроме того, функция AI Overviews от Google снизила трафик на новостных сайтах, таких как HuffPost и The Washington Post, более чем на 50%.

«Google просто берет контент силой и использует его без возврата — это определение воровства», — сказала Даниэль Коффи, президент News/Media Alliance.

Инструмент работает с использованием старого функционала веба: кода ответа HTTP 402, который означает «Требуется оплата». Если AI-бот пытается получить доступ к странице, сервер теперь может ответить 402 и включить в ответ ценник. Если бот согласен заплатить, сервер предоставляет контент.

Cloudflare предоставляет техническую инфраструктуру и обрабатывает платежи. Издатели могут установить фиксированную стоимость за запрос на сканирование и даже применять разные правила для разных ботов. Даже если бот не зарегистрирован в Cloudflare, с него все равно можно «взимать» плату — по сути, блокируя доступ, но оставляя возможность для будущих сделок.

Эта система в будущем может привести к более гибкому лицензированию и динамическому ценообразованию. Как выразилось Cloudflare: «Предоставляя создателям надежный, программный механизм для оценки и контроля их цифровых активов, мы усиливаем их возможности продолжать создание богатого, разнообразного контента, который делает Интернет бесценным».