.ETC»Marketing»Estudo aponta que ChatGPT cita páginas com menor precisão que esperado

Estudo aponta que ChatGPT cita páginas com menor precisão que esperado

Pesquisa revela que a precisão das citações do ChatGPT em relação a fontes do Google é menor do que o esperado, levantando questões sobre seu desempenho em SEO.

Resumir com:
Compartilhar:
Estudo aponta que ChatGPT cita páginas com menor precisão que esperado

Um estudo recente, publicado por pesquisadores da National University of Singapore e da Xi’an Jiaotong University, revelou que a conexão entre o Google e a API de Respostas da OpenAI apresenta uma sinergia impressionante, mas não perfeita. A pesquisa, que analisou o desempenho de diferentes versões do ChatGPT, mostrou que 26,2% das páginas citadas na configuração Instant do GPT-5.5 eram de fontes que podiam ser encontradas nas buscas do Google.

Como a Pesquisa Foi Conduzida

Os pesquisadores acompanharam o fluxo de dados durante o processo de escrita do ChatGPT, registrando as buscas e as páginas selecionadas como fontes. Foram realizadas 80 perguntas originadas de um banco de dados chamado Search Arena, que inclui interações reais de usuários com chatbots. As perguntas foram divididas em quatro tipos: recomendações, pesquisa de fatos, síntese e análise de informações.

Taxa de Correspondência das Citações

A análise dos resultados revelou que, ao combinar dados do Google e da API de Respostas, as correspondências foram superiores quando analisadas no nível do site. Enquanto 28,3% das páginas citadas pelo GPT-5.3 foram encontradas em buscas, a correspondência para o GPT-5.5 caiu para 26,2%. Já nos sites, os números foram de 50,3% e 48,7%, respectivamente.

O Impacto das Mudanças nas Consultas

Um ponto interessante é que o ChatGPT reescreve as perguntas originalmente feitas, transformando-as em termos de busca mais específicos. Em 67% dos casos, mesmo quando as questões eram formuladas em chinês, o modelo optou por executar as buscadas apenas em inglês. Essa adaptação pode afetar os resultados obtidos, já que a transformação da questão inicial pode levar a citados diferentes dos que um pesquisador esperaria.

Por Que Isso Importa

A discrepância entre as citações de páginas e as citações de sites significa que, quando se mede o desempenho do ChatGPT através de ferramentas de rastreamento, pode-se alcançar um número maior de sites comuns do que de páginas específicas. Para profissionais de marketing digital e SEO, isso levanta um alerta sobre a forma como as cisões entre páginas e sites são avaliadas, sugerindo que deve-se monitorar ambas as categorias para obter uma visão mais completa do desempenho de conteúdo.

Perspectivas Futuras

Com a introdução do GPT-6, atualmente em fase de lançamento para usuários selecionados, os dados observados na pesquisa preenchem um contexto importante, mas que pode rapidamente evoluir. Estudos futuros deverão ser conduzidos para examinar como essas mudanças afetam as correspondências entre as citações e o impacto nos resultados de busca.

Priscila Campos

Equipe Editorial

Priscila Campos acompanha temas ligados a marketing, consumo, negócios digitais e tendências de mercado. No Mercado ETC, escreve sobre assuntos que impactam marcas, empresas e consumidores.

TecnologiaNegóciosMarketingAutosConsumo e Sustentabilidade