A colaboração entre a Cloudflare e a OpenAI resultou em um avanço significativo na capacidade do ChatGPT de acessar e indexar novas páginas da web. Durante um projeto piloto, que envolveu cerca de 1% da rede total da Cloudflare, as empresas identificaram centenas de milhões de novas URLs que podem agora ser exploradas.
Como a Cloudflare Melhora a Indexação do OpenAI
A Cloudflare utiliza sinais da sua rede para ajudar os crawlers da OpenAI a encontrar páginas que oferecem informações valiosas. Exemplos incluem guias de usuários de produtos, informações sobre requisitos de passaporte e cardápios de restaurantes. Essas páginas, mesmo que não tenham muitos links de outros sites, podem ser extremamente úteis.
Impacto nos Processos de Crawling
Os sinais da Cloudflare permitem que os crawlers da OpenAI evitem fazer solicitações desnecessárias, que muitas vezes resultam em tentativas de acessar arquivos não disponíveis. Essa otimização é crucial, pois reduz a carga no servidor e melhora a eficiência do processo de indexação.
Além disso, as empresas estão testando sinais que podem identificar páginas potencialmente nocivas, como formulários de login falsos, permitindo que apenas páginas seguras sejam indexadas.
Acesso Controlado pelos Sites
É importante ressaltar que um sinal sobre uma página não garante acesso a ela. Os sites têm a capacidade de regular o que pode ser indexado pelo OpenAI através de configurações no arquivo robots.txt. Se um site bloquear o OAI-SearchBot, suas páginas não aparecerão nos resultados do ChatGPT, embora possam ainda ser acessíveis como links de navegação.
Por Que Isso É Importante
Com a adição de mais páginas ao índice do OpenAI, o ChatGPT conseguirá acessar uma variedade maior de informações. No entanto, não há garantia de que uma página indexada será citada nas respostas do ChatGPT, pois o processo de avaliação é independente e não garante visibilidade.
Ademais, os administradores de sites têm a opção de permitir o acesso do OAI-SearchBot enquanto bloqueiam o GPTBot, assegurando que seu conteúdo esteja disponível nas pesquisas mas não usado para treinamento do modelo.
Próximos Passos na Pesquisa
Na fase seguinte do projeto, a Cloudflare e a OpenAI pretendem aprimorar o processo de seleção de páginas pela IA, testando indicadores mais rápidos e confiáveis para as alterações no conteúdo. Também avaliam os impactos dessa descoberta aprimorada para resultados comerciais.
Com a perspectiva de oferecer acesso mais amplo a essa capacidade até o final de 2026, o foco estará em como essa descoberta de conteúdo pode beneficiar empresas e usuários.
Por enquanto, a atividade dos crawlers da OpenAI pode ser monitorada nos logs do servidor dos sites, assim como por meio da ferramenta AI Crawl Control, disponível para todos os planos da Cloudflare.
