Como o primeiro chatbot previu perigos da IA há mais de 50 anos

Não demorou muito para que o novo chatbot do mecanismo de busca da Microsoft, apelidado de “Sydney“, exibisse uma lista crescente de comportamentos desconfortáveis após sua introdução no início de fevereiro, com explosões estranhas que vão desde declarações de amor não correspondidas até a pintura de alguns usuários como “inimigos”.

Por mais humanos que algumas dessas trocas tenham aparecido, provavelmente não foram os primeiros agitadores de uma máquina consciente agitando sua gaiola. Em vez disso, as explosões de Sydney refletem sua programação, absorvendo enormes quantidades de linguagem digitalizada e devolvendo o que seus usuários pedem. Ou seja, ela reflete nosso “eu” online de volta para nós. E isso não deveria ter sido surpreendente – o hábito dos chatbots de nos espelharem de volta a nós mesmos vai muito além da ruminação de Sydney sobre se existe um significado para ser um mecanismo de busca Bing. Na verdade, ele está lá desde a introdução do primeiro chatbot notável, há quase 50 anos.

Em 1966, o cientista da computação do MIT Joseph Weizenbaum lançou ELIZA (com o nome da fictícia Eliza Doolittle, da peça Pygmalion, de George Bernard Shaw, de 1913), o primeiro programa que permitiu algum tipo de conversa plausível entre humanos e máquinas. O processo era simples: Modelado segundo o estilo Rogeriano de psicoterapia, ELIZA reformulava qualquer discurso que lhe fosse dado na forma de uma pergunta. Se você lhe dissesse que uma conversa com seu amigo o deixava com raiva, ele poderia perguntar: “Por que você se sente com raiva?”.

Ironicamente, embora Weizenbaum tivesse projetado o ELIZA para demonstrar quão superficial era o estado da conversa entre humanos e máquinas, ele teve o efeito oposto. As pessoas estavam entrincheiradas, engajando-se em longas, profundas e privadas conversas com um programa que só era capaz de refletir as palavras dos usuários de volta para eles. Weizenbaum ficou tão perturbado com a resposta pública que passou o resto de sua vida alertando contra os perigos de deixar computadores – e, por extensão, o campo da IA que ele ajudou a lançar – desempenhar um papel muito grande na sociedade.

ELIZA construiu suas respostas em torno de uma única palavra-chave dos usuários, fazendo um espelho bem pequeno. Os chatbots de hoje refletem nossas tendências extraídas de bilhões de palavras. Bing pode ser o maior espelho que a humanidade já construiu, e estamos à beira de instalar tal tecnologia generativa de IA em todos os lugares.

Mas ainda não abordamos realmente as preocupações de Weizenbaum, que se tornam mais relevantes a cada novo lançamento. Se um simples programa acadêmico dos anos 60 poderia afetar tão fortemente as pessoas, como nossa crescente relação com inteligências artificiais operou para obter lucros nos mudará? Há muito dinheiro a ser feito na IA de engenharia que faz mais do que apenas responder às nossas perguntas, mas desempenha um papel ativo em dobrar nossos comportamentos em direção a uma maior previsibilidade. Estes são espelhos de duas vias. O risco, como Weizenbaum viu, é que sem sabedoria e deliberação, podemos nos perder em nossa própria reflexão distorcida.

ELIZA nos mostrou apenas o suficiente de nós mesmos para sermos catárticos

Weizenbaum não acreditava que alguma máquina pudesse realmente imitar – e muito menos compreender – a conversa humana. “Há aspectos da vida humana que um computador não pode entender – não pode”, disse Weizenbaum ao New York Times em 1977. “É necessário ser um ser humano”. O amor e a solidão têm a ver com as mais profundas consequências de nossa constituição biológica. Esse tipo de compreensão é, em princípio, impossível para o computador”.

É por isso que a ideia de modelar ELIZA depois de um psicoterapeuta Rogério era tão atraente – o programa poderia simplesmente continuar uma conversa fazendo perguntas que não exigissem um profundo acervo de conhecimento contextual, ou uma familiaridade com o amor e a solidão.

Com o nome do psicólogo americano Carl Rogers, a psicoterapia Rogeriana (ou “centrada na pessoa”) foi construída em torno da escuta e da restauração do que um cliente diz, em vez de oferecer interpretações ou conselhos. “Talvez se eu pensasse nisso mais 10 minutos”, escreveu Weizenbaum em 1984, “eu teria arranjado um barman”.

Para se comunicar com ELIZA, as pessoas digitavam em uma máquina de escrever elétrica que ligava seu texto ao programa, que era hospedado em um sistema MIT. ELIZA escanearia o que recebia em busca de palavras-chave que pudesse virar de volta em uma pergunta. Por exemplo, se seu texto contivesse a palavra “mãe”, ELIZA poderia responder: “O que você acha de sua mãe”? Se não encontrasse palavras-chave, ele não responderia a uma simples pergunta, como “me diga mais”, até receber uma palavra-chave que pudesse construir uma pergunta.

Weizenbaum pretendia que a ELIZA mostrasse quão superficial era a compreensão informatizada da linguagem humana. Mas os usuários imediatamente formaram relações próximas com o chatbot, roubando durante horas de cada vez para compartilhar conversas íntimas. Weizenbaum ficou particularmente enervado quando sua própria secretária, ao interagir pela primeira vez com o programa que ela o viu construir desde o início, pediu-lhe que saísse da sala para que ela pudesse continuar em particular com ELIZA.

Pouco depois que Weizenbaum publicou uma descrição de como ELIZA trabalhava, “o programa tornou-se conhecido nacionalmente e até mesmo, em certos círculos, um brinquedo nacional”, refletiu em seu livro de 1976, Computer Power and Human Reason.

Para sua consternação, o potencial para automatizar o processo demorado da terapia excitou os psiquiatras. As pessoas desenvolveram de forma tão confiável os apegos emocionais e antropomórficos ao programa que ficou conhecido como o efeito ELIZA. O público recebeu a intenção de Weizenbaum exatamente ao contrário, tomando sua demonstração da superficialidade da conversa homem-máquina como prova de sua profundidade.

Weizenbaum pensou que publicar sua explicação sobre o funcionamento interno do ELIZA dissiparia o mistério. “Uma vez desmascarado um determinado programa, uma vez que seu funcionamento interno é explicado em linguagem suficientemente clara para induzir à compreensão, sua magia desmorona”, escreveu ele. No entanto, as pessoas pareciam mais interessadas em continuar com suas conversas do que em questionar como o programa funcionava.

Se os cuidados de Weizenbaum se resolveram em torno de uma ideia, foi a contenção. “Como agora não temos nenhuma maneira de tornar os computadores sábios”, escreveu ele, “não devemos agora dar aos computadores tarefas que exijam sabedoria”.

Sydney nos mostrou que nós mesmos estamos confortáveis com isso

Se a ELIZA era tão superficial, por que ela era tão relatável? Como suas respostas foram construídas a partir da entrada de texto imediata do usuário, conversar com ELIZA foi basicamente uma conversa consigo mesmo – algo que a maioria de nós faz o dia inteiro em nossas cabeças. No entanto, aqui estava um parceiro de conversação sem nenhuma personalidade própria, conteúdo para continuar escutando até que fosse solicitado a oferecer outra pergunta simples. Que as pessoas encontrassem conforto e catarse nestas oportunidades de compartilhar seus sentimentos não é tão estranho assim.

Mas é aqui que o Bing – e todos os grandes modelos de linguagem (LLMs) como ele – divergem. Falar com a geração atual de chatbots é falar não apenas consigo mesmo, mas com grandes aglomerações de discurso digitalizado. E com cada interação, cresce o corpus de dados de treinamento disponíveis.

Os LLMs são como balcões de cartas em uma mesa de pôquer. Eles analisam todas as palavras que vieram antes e usam esse conhecimento para estimar a probabilidade de qual palavra virá mais provavelmente a seguir. Como o Bing é um mecanismo de busca, ele ainda começa com um prompt do usuário. Então ele constrói respostas uma palavra de cada vez, atualizando cada vez sua estimativa da palavra mais provável a seguir.

Uma vez que vemos os chatbots como grandes motores de previsão trabalhando com dados on-line – em vez de máquinas inteligentes com suas próprias ideias – as coisas se tornam menos assustadoras. Fica mais fácil explicar porque Sydney ameaçou usuários que eram muito intrometidos, tentou dissolver um casamento ou imaginou um lado mais sombrio de si mesmo. Estas são todas as coisas que nós, humanos, fazemos. Em Sidney, vimos nossos eus online nos predizer de volta.

Mas o que ainda é assustador é que estas reflexões agora vão para os dois lados.

Desde influenciar nossos comportamentos online até curar as informações que consumimos, interagir com grandes programas de IA já está nos mudando. Eles não esperam mais passivamente por nossa contribuição. Em vez disso, a IA está agora moldando proativamente partes significativas de nossas vidas, desde os locais de trabalho até os tribunais. Com os chatbots em particular, nós os usamos para nos ajudar a pensar e dar forma aos nossos pensamentos. Isto pode ser benéfico, como a automatização de cartas de apresentação personalizadas (especialmente para candidatos onde o inglês é um segundo ou terceiro idioma). Mas também pode reduzir a diversidade e a criatividade que surge do esforço humano de dar voz à experiência. Por definição, os LLMs sugerem uma linguagem previsível. Apoie-se muito neles e esse algoritmo de previsibilidade se torna nosso próprio.

Chatbots com fins lucrativos em um mundo solitário

Se a ELIZA nos mudou, foi porque perguntas simples ainda poderiam nos levar a perceber algo sobre nós mesmos. As respostas breves não tinham espaço para carregar motivos ocultos ou para empurrar suas próprias agendas. Com a nova geração de corporações desenvolvendo tecnologias de IA, a mudança está fluindo para ambos os lados, e a agenda é de lucro.

Olhando para Sydney, vemos muitos dos mesmos sinais de alerta para os quais Weizenbaum chamou a atenção há mais de 50 anos. Estes incluem uma tendência excessivamente ativa para antropomorfizar e uma fé cega na inocuidade básica de entregar tanto as capacidades quanto as responsabilidades às máquinas. Mas ELIZA era uma novidade acadêmica. Sydney é uma implantação com fins lucrativos do ChatGPT, que é um investimento de US$ 29 bilhões, e parte de uma indústria de IA projetada para valer mais de US$ 15 trilhões globalmente até 2030.

A proposta de valor da IA cresce a cada dia que passa, e a perspectiva de realinhar sua trajetória se desvanece. No mundo eletrificado e empreendedor de hoje, os “chatbots” de IA já estão proliferando mais rapidamente do que qualquer tecnologia que veio antes. Isto faz do presente um momento crítico para olharmos para o espelho que construímos, antes que os reflexos assustadores de nós mesmos cresçam demais, e perguntarmos se havia alguma sabedoria no caso de Weizenbaum para a contenção.

Como espelho, a IA também reflete o estado da cultura na qual a tecnologia está operando. E o estado da cultura americana é cada vez mais solitário.

Para Michael Sacasas, um estudioso independente de tecnologia e autor do boletim informativo da Sociedade Convivial, isto é motivo de preocupação acima e além das advertências de Weizenbaum. “Antropomorfizamos porque não queremos estar sozinhos”, escreveu Sacasas recentemente. “Agora temos tecnologias poderosas, que parecem estar finamente calibradas para explorar este desejo humano central”.

Quanto mais solitários ficamos, mais exploráveis nos tornamos por estas tecnologias. “Quando estes chatbots convincentes se tornarem tão comuns como a barra de busca em um navegador”, continua Sacasas, “teremos lançado um experimento sócio-psicológico em grande escala que produzirá resultados imprevisíveis e possivelmente trágicos”.

Estamos na cúspide de um mundo cheio de Sydneys de todas as variedades”. E para ter certeza, os chatbots estão entre as muitas implementações possíveis de IA que podem proporcionar imensos benefícios, desde a dobra de proteínas até uma educação mais equitativa e acessível. Mas não devemos nos deixar envolver tanto que negligenciemos o exame das consequências potenciais. Pelo menos até compreendermos melhor o que estamos criando e como isso, por sua vez, nos recriará.

 

Via Vox