Cloudflare quer separar pesquisa de treino e cobrar à IA
A Cloudflare vai bloquear por defeito crawlers que misturem pesquisa, treino e agentes em páginas com publicidade. A empresa prepara também um modelo para pagar aos editores quando o conteúdo gera valor em respostas de IA.
Resumo
A Cloudflare vai alterar as regras de acesso dos crawlers de IA, criando uma separação mais clara entre pesquisa, treino de modelos e utilização por agentes. A partir de 15 de setembro de 2026, crawlers que combinem várias destas funções serão bloqueados por defeito em páginas com publicidade quando não permitirem aos proprietários escolher cada finalidade separadamente.
A mudança será aplicada a novos clientes, a novos sites de clientes existentes e aos atuais clientes do plano gratuito que não alterem previamente as suas definições. Os proprietários continuam a poder mudar estas opções no painel da Cloudflare.
Na prática
A pesquisa continuará permitida por defeito, enquanto o treino e o acesso por agentes serão bloqueados nas páginas que exibam anúncios. A Cloudflare argumenta que um crawler que use a mesma identidade para pesquisa e treino obriga os editores a escolher entre aparecer nos resultados e ceder conteúdo para outros usos.
Em paralelo, a empresa está a evoluir o sistema Pay Per Crawl para Pay Per Use. A ideia é remunerar o editor quando o seu conteúdo for usado numa resposta ou acedido como conteúdo premium, e não apenas quando uma página é recolhida. Os primeiros testes envolvem a Ceramic.ai e a You.com.
O que falta saber
A Cloudflare controla uma parte relevante da infraestrutura da Web, mas não define sozinha as regras para todos os sites ou empresas de IA. A eficácia da medida dependerá da capacidade de identificar corretamente os crawlers, da adesão dos editores e da disponibilidade das plataformas de IA para separar as suas diferentes utilizações.
O modelo Pay Per Use está ainda numa fase inicial. Não foram anunciados preços universais, níveis de remuneração ou garantias de receita para os editores, e os resultados podem variar bastante entre grandes publicações e sites mais pequenos.
Porque importa
- Torna mais difícil usar a visibilidade na pesquisa como acesso automático a conteúdo para treino ou agentes.
- Dá aos editores controlos mais específicos sobre quem pode recolher e reutilizar as suas páginas.
- Testa uma alternativa aos acordos de licenciamento negociados apenas por grandes grupos de comunicação.
- Pode obrigar empresas de IA e motores de pesquisa a identificar com maior clareza a finalidade dos seus crawlers.