Os recentes dados sobre o comportamento de bots na internet revelam importantes implicações para empresas e profissionais de marketing. O chatbot da OpenAI, ChatGPT, é frequentemente barrado por muitos sites, superando outros bots em termos de acesso a páginas que não permitiam a indexação. Essa informação é fundamental para marcas, agências e criadores de conteúdo que buscam otimizar sua presença digital e garantir a visibilidade adequada.
O relatório mais recente da TollBit, intitulado "State of the Bots", traz à tona dados da primeira metade de 2026. Uma das descobertas mais notáveis é que aproximadamente 15% dos bots de busca de páginas em sites europeus conseguiram acessar URLs que estavam especificamente marcadas como proibidas. Entre os agentes mais impactantes, o ChatGPT-User se destacou por conseguir acessar páginas restritas em quase metade dos sites europeus que os mencionaram nas regras de exclusão.
Enquanto isso, novos bots, como Claude-User e Perplexity-User, enfrentam menos bloqueios. Apenas 9% dos sites europeus excluem o Claude-User, em comparação com 26% na América do Norte. Isso indica que a maioria dos bots mais recentes não é barrada com frequência, embora ChatGPT-User seja a exceção a essa regra.
A documentação da OpenAI sugere que as regras estabelecidas em robots.txt podem não se aplicar ao ChatGPT-User, já que esse bot acessa uma página quando um usuário solicita. Essa questão levanta um debate sobre a eficácia das restrições impostas pelos sites para controlar o tráfego de IA. O Perplexity-User parece ignorar as regras de exclusão por razões semelhantes, enquanto a Anthropic, por sua vez, afirma que seus bots respeitam essas diretrizes.
O que isso significa na prática? Bloquear o ChatGPT-User pode não ser suficiente para garantir a proteção total da visibilidade do seu site nas buscas do ChatGPT. O agente que realmente decide se um site aparece nos resultados de busca do ChatGPT é chamado de OAI-SearchBot. Portanto, empresas que bloqueiam ambos os agentes para prevenir o tráfego de IA podem estar sacrificando a visibilidade de seu conteúdo sem um controle eficaz.
As evidências nos registros de servidor ou em dados de rede de entrega de conteúdo (CDN) mostram a verdadeira natureza do tráfego, enquanto o arquivo de exclusão apenas reflete o que foi solicitado.
Além disso, a Cloudflare está realizando atualizações em como gerencia suas imersões de bots, transferindo mais controle para a camada de rede. A partir de 15 de setembro, novos domínios adicionados ao Cloudflare terão os bots de treinamento e agentes bloqueados por padrão em páginas que contêm anúncios, mantendo a permissão para os crawlers de busca.
Uma questão em aberto é se essa brecha de solicitação de página vai se manter. Isso depende do argumento de que solicitar uma página é diferente de um crawler a acessar. Essa discussão se torna ainda mais relevante à medida que assistentes virtuais adotam esse método de indexação.
Entender como esses bots operam e qual sua relação com as regras de exclusão pode ajudar empresas e profissionais de marketing a aprimorar suas estratégias de SEO e visibilidade online, ajustando suas abordagens para melhor controlar o acesso ao seu conteúdo e maximizar a exposição.
Crédito da imagem: divulgação/reprodução
