Google, Microsoft e OpenAI estão em vias de implementar uma novidade que pode transformar a forma como sites controlam o uso de seus conteúdos para treinamento de inteligência artificial. As três empresas anunciaram uma colaboração para honrar uma linha de configuração compartilhada no arquivo robots.txt, permitindo que sites escolham, de forma centralizada, suas preferências de uso em relação ao treinamento de AI, em vez de ter que definir regras diferentes para cada robô de busca.
O que muda com a nova linha de configuração?
A proposta, apresentada por Kevin Kelley da Anthropic, pode simplificar significativamente a vida dos administradores de sites. A linha de configuração proposta, que não adiciona novas diretrizes ao robots.txt, permite que um site opte por não permitir o uso de seu conteúdo para modelagem de AI de maneira geral ou específica. Por exemplo, um site pode optar por bloquear o uso de todo seu conteúdo, exceto por determinadas seções, como uma pasta de imprensa.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Implementação das regras
Porém, mesmo com a nova configuração, Google e Microsoft tratam o assunto de maneiras diferentes. Segundo o Google, se um site ativar a linha de opt-out, mas não especificar o Google-Extended, isso será interpretado como um bloqueio a essa configuração de longo prazo. O Google planeja seguir essa nova abordagem em 2027, fazendo com que a opção de treinamento com o modelo Gemini fique sujeita a essas novas definições.
Por outro lado, a Microsoft anunciará em breve uma nova maneira de lidar com preferências de treinamento e anotações de grounding, que é quando o conteúdo é utilizado para alimentar respostas geradas pela AI. A partir de 1º de fevereiro de 2027, a empresa começará a reconhecer uma nova configuração de “DesallowExtended”, que especifica se o conteúdo pode ser usado por ferramentas AI específicas.
Como isso afeta empresas e consumidores?
A adoção dessa nova forma de controle pode ter um impacto significativo nas empresas. Para os administradores de sites, o processo de atualização e comunicação com múltiplas plataformas de busca se tornará mais eficiente, o que significa que poderão reter melhor a relevância e a integridade de seus conteúdos. No entanto, é importante ressaltar que, mesmo com a reutilização do sinal, nem todos os serviços e suas configurações estarão alinhados, como demonstrado pela diferenciação entre as abordagens da Microsoft e do Google.
Para consumidores, isso pode se traduzir em um acesso mais claro e legítimo ao conteúdo que preferem, já que as empresas terão mais controle sobre o que pode ou não ser utilizado por serviços de AI, promovendo uma transparência nas práticas de uso de dados.
Próximos passos e considerações
Enquanto isso, as empresas envolvidas estão convidando outros provedores de AI a adotarem essa nova configuração, o que pode, eventualmente, levar a um padrão mais amplo de práticas de uso de conteúdo. A proposta apresentada por Kelley ainda está em fase exploratória e expira em 3 de maio de 2027, a menos que uma nova versão seja proposta.
