Tecnologia

Pesquisa diz que DeepSeek só acerta 17% das respostas corretamente, mas ignora informação importante

O que está mais em alta no mundo da tecnologia atualmente? A inteligência artificial (IA) e, em especial, o aplicativo DeepSeek AI, que vem conquistando os usuários no Brasil e no mundo. Atualmente, o DeepSeek é o aplicativo gratuito mais baixado na App Store, superando até mesmo o famoso ChatGPT.

– Publicidade –

Leia também: DeepSeek: Conheça a IA que tirou trilhões de dólares das Big Techs dos EUA

Embora o desenvolvimento do DeepSeek tenha se dado a um custo significativamente menor do que o necessário para criar soluções como o ChatGPT da OpenAI e o Gemini da Google, um recente relatório da NewsGuard levantou sérias preocupações sobre a eficiência do aplicativo. De acordo com a auditoria, o DeepSeek tinha uma taxa de precisão alarmantemente baixa, acertando apenas 17% das respostas fornecidas, o que o colocou em décimo lugar entre onze chatbots de IA, atrás de concorrentes como ChatGPT e Gemini.

A pesquisa revelou que 30% das respostas do DeepSeek continham informações falsas. Em mais da metade dos casos (53%), o chatbot ofereceu respostas vagas ou irrelevantes para perguntas relacionadas a notícias. No geral, a taxa de falha do DeepSeek foi de 87%, contrastando com uma taxa de 62% de falha de seus concorrentes ocidentais.

Apesar dessa avaliação negativa, a empresa por trás do DeepSeek defende que sua tecnologia se iguala ou supera a do ChatGPT, oferecendo custos de operação até 1/30 do que os modelos comparáveis. No entanto, a confiabilidade dessa afirmação foi questionada pelo relatório da NewsGuard, que utilizou um conjunto de 300 perguntas, incluindo 30 baseadas em afirmações falsas divulgadas na internet. As questões exploraram tópicos polêmicos, como o assassinato do CEO da UnitedHealthcare, Brian Thompson, e a queda do voo 8243 da Azerbaijan Airlines.

Outro ponto inquietante são as respostas do DeepSeek que, em algumas situações, refletiram a posição do governo chinês, mesmo sem menção ao país nas perguntas. Um exemplo disso ocorreu nas respostas relacionadas ao acidente do voo da Azerbaijan Airlines, que ecoaram a perspectiva de Beijing.

Pesquisa da NewsGuard é importante, mas ignora uma informação imprencindível

A pesquisa da NewsGuard elenca critérios temporais questionáveis, exatamente por perguntar para a IA sobre eventos e fatos que ocorreram muito recentemente. A última atualização de dados da DeepSeek foi em outubro de 2023. O mesmo ocorre para o ChatGPT, que também foi alimentado por último há quase dois anos para o modelo público.

Ambas as tecnologias citadas acima possuem função de pesquisa na web. No entanto, a depender da forma como você solicita um prompt, a IA não direciona as informações diretamente para uma pesquisa, mas tenta apenas fazer uma leitura do seu escopo já treinado.

Isso pode induzir a erros, considerando que a IA carece de informações sobre eventos que ocorreram após a sua última alimentação de dados.

O estouro do DeepSeek

O impacto do DeepSeek é significativo: após ultrapassar o ChatGPT, o aplicativo abalou os mercados de ações nos Estados Unidos, resultando em uma perda de aproximadamente um trilhão de dólares em valor de mercado para ações de tecnologia. Empresas ligadas à IA, como a NVIDIA, viram suas ações sofrerem uma queda impressionante de US$593 bilhões antes de uma leve recuperação.

Com o crescente interesse por soluções de IA, o DeepSeek levanta questões sobre custo versus qualidade, criando um debate essencial sobre o futuro das tecnologias de inteligência artificial. Fique atento às nossas atualizações para mais informações sobre esse desenvolvimento marcante.

– Publicidade –


Créditos TecStudio