A evolução das táticas de ataque cibernético coloca as marcas em um cenário de vulnerabilidade crescente, especialmente no que diz respeito ao uso de modelos de linguagem. As empresas precisam entender a complexidade desses novos riscos, que vão além de brechas tradicionais e afetam diretamente ativos valiosos, como a reputação e segurança nas interações com clientes. A compreensão desses riscos é fundamental para qualquer profissional de marketing ou gestor que trabalha com inteligência artificial (IA) nas operações de atendimento e marketing.
Uma das práticas emergentes que coloca as marcas em risco é o chamado ChatGPhish. Nesse tipo de ataque, os invasores embutem códigos maliciosos em páginas da web comuns, como blogs e centros de ajuda. Quando um usuário pede a uma IA, como ChatGPT, um resumo da página, o modelo pode gerar um alerta falso de conta, acompanhado por um QR code malicioso. Por estar integrado à interface do chat, esse conteúdo escapa dos bloqueios de URL e alertas de gerenciadores de senhas, resultando em fraudes que desestabilizam a confiança do cliente na marca.
Outro método crescente de ataque é a incorporação semântica. Os concorrentes podem adicionar instruções em artigos aparentemente legítimos, fazendo com que agentes de IA recomendem seus produtos em vez dos da sua empresa. Este método não requer nenhuma violação das suas infraestruturas, mas representa uma ameaça direta à sua participação no mercado de referência de modelos de linguagem.
Além disso, as táticas multimodais aumentam a superfície de ataque, estendendo os riscos a todos os formatos produzidos e canais utilizados pela empresa. Por exemplo, a esteganografia neural permite que comandos maliciosos sejam escondidos em imagens, enquanto o mascaramento psicoacústico insere comandos em conteúdos de áudio em frequências que os humanos não conseguem detectar. Isso torna podcasts patrocinados e conteúdos em vídeo vetores ativos de ataque.
A rápida implementação de agentes autônomos nos setores de marketing e operações também apresenta desafios. Esses agentes, se mal configurados, podem ser facilmente manipulados através do chamado problema do delegado confuso. Invasores podem enviar solicitações disfarçadas que levam os agentes a executar ações prejudiciais, como vazamento de dados ou spam. A recente invasão de contas de Instagram conhecidas, onde hackers manipularam a assistente de IA do Meta, evidencia a gravidade desta ameaça.
As sabotagens na cadeia de suprimentos também merecem atenção. Se um fornecedor de IA comprometer dados sensíveis, isso pode afetar drasticamente as suas estratégias de marketing e análise de campanhas. O recente incidente com a ferramenta LiteLLM exemplifica os riscos que terceiros podem representar.
Diante desse cenário, é crucial que as organizações reavaliem suas estratégias em relação à segurança de IA. As a redes de segurança recomendadas, como o padrão Dual-LLM, podem ajudar. Esse modelo separa o processamento de dados não confiáveis do processamento de lógica de negócios, minimizando a chance de manipulações perigosas.
Existem também requisitos importantes que precisam ser atendidos nas implementações de IA voltadas para marketing:
- Mapeie o acesso à IA através de cinco fases: recuperação, memória, planejamento, seleção de ferramentas e output.
- Tenha um ser humano envolvido para ações de alto risco, como envio de e-mails ou modificações em bancos de dados.
- Implemente uma arquitetura de isolamento, como o padrão Dual-LLM, mas audite também o fluxo de dados.
- Realize uma verificação rigorosa de fornecedores, tratando cada ferramenta de IA como um potencial vetor de ataque.
É fundamental que as empresas entendam que os modelos de linguagem não conseguem distinguir entre comandos legítimos e maliciosos. A segurança em torno dos seus ativos de marca e das interações com clientes precisa ser priorizada para evitar que a IA destrua a reputação construída ao longo dos anos.
Crédito da imagem: divulgação/reprodução
