A crescente utilização de assistentes de IA para buscas coloca em evidência um problema crítico para empresas e criadores de conteúdo: os links gerados por JavaScript podem tornar suas páginas invisíveis. Em um experimento controlado, foi observado que diversos bots de busca, incluindo aqueles de empresas como OpenAI e Meta, não conseguiram acessar páginas que utilizavam links injetados via JavaScript, destacando a relevância de se considerar como o conteúdo é renderizado e acessado por diferentes crawlers.
No experimento, um diretório de negócios brasileiro com aproximadamente 2.400 páginas foi utilizado. A estrutura do site foi dividida em duas categorias: uma com links hard-coded em HTML e outra com links injetados via JavaScript. Durante 41 dias, um middleware registrou as requisições feitas por diversos crawlers. Os resultados foram alarmantes: enquanto o crawler do Google seguiu links em JavaScript, a maioria dos outros bots não conseguiu acessar essas páginas. O Googlebot, responsável pela construção do índice de busca, atingiu apenas 2% dos conteúdos vinculados via JavaScript, enquanto bots como GPTBot e ClaudeBot não encontraram nenhuma dessas páginas.
O teste divide os crawlers em dois grupos: um composto por links HTML, que conseguiu alta cobertura em todas as páginas, e outro com links JavaScript, onde a maioria dos bots falhou em seguir os links. O GoogleOther, um crawler alternativo da Google, conseguiu acessar uma porcentagem maior de páginas JavaScript em comparação ao Googlebot, mas ainda assim a cobertura não é suficiente para garantir visibilidade real no índice de busca.
Uma análise detalhada do experimento aponta que, após 27 dias, quando as links de JavaScript foram convertidos para HTML, alguns crawlers, como GPTBot e Bingbot, rapidamente descobriram e indexaram as páginas convertidas, enquanto o Google não demonstrou a mesma agilidade. O Googlebot, por exemplo, visitou apenas uma página nova em suas avaliações posteriores.
Esses dados ressaltam que, embora o Google tenha a capacidade de renderizar JavaScript, isso não se traduz necessariamente em descoberta ou indexação eficaz. É essencial que as empresas realizem um mapeamento rigoroso de como suas páginas estão estruturadas e assegurem que os links críticos estejam acessíveis para todos os tipos de crawlers, especialmente em um ambiente crescente de busca por IA.
Concluindo, o modelo tradicional de “Google renderiza JavaScript” não se sustenta como a única verdade em um cenário de busca que evolui rapidamente. As empresas devem adotar práticas de renderização do lado do servidor e revisar constantemente a arquitetura de links para garantir que não apenas o Google, mas todos os crawlers, possam acessar e indexar suas páginas de maneira eficaz. Essa mudança pode ser vital para otimizar a visibilidade nos novos canais de busca emergentes.
Crédito da imagem: divulgação/reprodução
