Em fevereiro, pesquisadores de segurança da informação descobriram que inteligências artificiais generativas como ChatGPT foram reaproveitadas para gerar ou melhorar códigos maliciosos. Mais recentemente, o uso da ferramenta tem sido vista para lançar ataques de phishing visando comprometer e-mails comerciais (BEC).
Imagem: SlashNext
As descobertas foram publicadas pela SlashNext, que identificou o WormGPT em fóruns clandestinos. “Essa ferramenta se apresenta como uma alternativa blackhat aos modelos GPT, projetada especificamente para atividades maliciosas”, disse o pesquisador de segurança Daniel Kelley. “Os criminosos cibernéticos podem usar essa tecnologia para automatizar a criação de e-mails falsos altamente convincentes, personalizados ao destinatário, aumentando assim as chances de sucesso do ataque.”
Enquanto ferramentas como ChatGPT e Bard tentam limitar certos tipos de conteúdo, o WormGPT é descrito pelo autor do software como aquele que “permite que você faça todo tipo de coisa ilegal”. “O maior inimigo do conhecido ChatGPT” foi projetado em linguagem de código aberto GPT-J desenvolvida pela EleutherAI.
Ao operar sem limites éticos, o WormGPT ressalta a ameaça representada pela IA generativa, permitindo até mesmo que os mais novatos lancem ataques rapidamente e em escala sem ter conhecimento técnico para isso.
Além disso, há notícia de que os agentes de ameaças estejam criando prompts e entradas especializados projetados para manipular a ferramenta da OpenAI para que ela gere resultados envolvendo divulgações de informações confidenciais, produção de conteúdo inadequado e execução de códigos prejudiciais.
Bard tem restritores antiabuso mais frágeis que ChatGPT
Embora empresas como Google e OpenAI reforcem suas promessas sobre medidas para combater abusos dos grandes modelos de linguagem (LLMs), ainda há ameaças reais graves ligadas ao uso dessas ferramenta.
Imagem: SlashNext
Enquanto se criam jailbreaks para ChatGPT, um recente relatório da Check Point afirma que “é muito mais fácil gerar conteúdo malicioso usando os recursos do Bard”.
Segunda a empresa israelense, “os restritores antiabuso do Bard no âmbito da segurança cibernética são significativamente menores em comparação com os do ChatGPT”.
Ataques sofisticados mais acessíveis com IA generativa
“A IA generativa pode criar e-mails com gramática impecável, fazendo com que pareçam legítimos e reduzindo a probabilidade de serem sinalizados como suspeitos”, diz Kelley. “O uso de IA generativa democratiza a execução de ataques sofisticados de BEC. Até mesmo atacantes com habilidades limitadas podem usar essa tecnologia, tornando-a uma ferramenta acessível para um espectro mais amplo de criminosos cibernéticos.”
A divulgação ocorre quando os pesquisadores da Mithril Security modificaram “cirurgicamente” um modelo de IA de código aberto existente, conhecido como GPT-J-6B, para fazê-lo espalhar desinformação e carregá-lo em um repositório público como o Hugging Face, de modo que pudesse ser integrado a outros aplicativos, levando ao que é chamado de envenenamento da cadeia de suprimentos LLM.
Imagem: ktsdesign/Shutterstock.com
O sucesso da técnica, batizada de PoisonGPT, baseia-se no pré-requisito de que o modelo lobotomizado seja carregado usando um nome passando-se por uma empresa conhecida, neste caso, uma versão com erro de digitação da EleutherAI.
Via Hacker News
Créditos: TecMasters
