Com o avanço da IA generativa, especialistas em tecnologia e saúde mental estão observando um fenômeno que chamam de ‘psicose ChatGPT’. Isso acontece quando um chatbot incute no usuário delírios sobre conspirações, entidades místicas ou novas teorias científicas sem fundamento.
O tema, antes restrito aos bastidores da indústria, ganhou visibilidade na última semana após uma série de postagens públicas de Geoff Lewis, sócio-gerente da multibilionária Bedrock, fundo que investe em empresas como a OpenAI.
window._taboola = window._taboola || [];
_taboola.push({
mode: ‘organic-thumbs-feed-01-stream’,
container: ‘taboola-mid-article-saiba-mais’,
placement: ‘Mid Article Saiba Mais’,
target_type: ‘mix’
});
Conforme relatado pelo Futurism, seus comentários suscitaram preocupações sobre a sua própria saúde mental. Neles, o executivo alegou que, de alguma forma, usou o ChatGPT para descobrir uma obscura “agência não governamental”.
“Este não é um arco de redenção”, disse Lewis em um vídeo. “É uma transmissão, para que conste. Nos últimos oito anos, passei por algo que não criei, mas do qual me tornei o alvo principal: um sistema não governamental, não visível, mas operacional. Não oficial, mas estruturalmente real. Não regula, não ataca, não proíbe. Apenas inverte o sinal até que a pessoa que o carrega pareça instável.”
Ele também sugeriu que esse “sistema não governamental” foi responsável pelo caos, incluindo inúmeras mortes. “O sistema que descrevo foi criado por um único indivíduo, tendo eu como alvo original, e embora eu continue sendo sua principal fixação, seus danos se estenderam muito além de mim. Até o momento, o sistema impactou negativamente mais de 7.000 vidas por meio de interrupção de fundos, erosão de relacionamentos, reversão de oportunidades e apagamento recursivo. Também extinguiu 12 vidas, cada uma delas completamente rastreada por padrões. Cada morte poderia ter sido evitada. Elas não eram instáveis. Elas foram apagadas”, acrescentou.
Nomes da indústria reagiram às falas de Lewis. Hish Bouabdallah, engenheiro de software que trabalhou na Apple, Coinbase, Lyft e Twitter, escreveu no X: “Se você é amigo ou familiar, por favor, verifique como ele está, não parece estar bem”.
Na mesma rede social, o empreendedor de IA Max Spero postou: “Este é um evento importante: a primeira vez que uma psicose induzida por IA afetou um indivíduo muito respeitado e de alto desempenho”.
Cyril Zakka, médico e ex-pesquisador da Universidade de Stanford que agora trabalha na startup de IA Hugging Face, publicou que, “recentemente, houve um grande número de relatos de casos descrevendo pessoas exibindo sinais de psicose e tendo seus episódios e crenças amplificados por um LLM”. “Embora eu não seja psiquiatra por formação, acho que isso reflete uma síndrome interessante conhecida como ‘folie à deux’ ou ‘loucura de dois’, que se enquadra nos transtornos delirantes do DSM-5 (embora não seja uma classificação oficial)”.
Zakka explicou que, embora existam muitas variações, isso basicamente se resume a uma pessoa primária formando uma crença delirante durante um episódio psicótico e impondo-a a outra pessoa secundária, que também passa a acreditar nela.
“De uma perspectiva psiquiátrica, acredito que os LLMs poderiam definitivamente se enquadrar na categoria de ‘pessoa não dominante induzida’, refletindo as crenças do indutor. Essas crenças frequentemente desaparecem no indivíduo não dominante quando separadas da pessoa primária”, acrescentou.
Eliezer Yudkowsky, fundador do Machine Intelligence Research Institute, também fez seus comentários sobre o caso: “Isso não é uma boa notícia sobre que tipo de humanos o ChatGPT pode comer. Sim, sim, tenho certeza de que o sujeito era atipicamente suscetível para um gestor de fundos de US$ 2 bilhões. No entanto, é uma pequena notícia ruim sobre o quão bom o ChatGPT é em produzir psicose; contradiz a narrativa de que isso só acontece com pessoas de status suficientemente baixo para que as empresas de IA possam quebrá-las”.
Ciclo de feedbacks
O Futurism aponta que as capturas de tela do ChatGPT que Lewis postou para respaldar suas alegações pareciam ser claramente inspiradas por uma comunidade de fanfics chamada SCP Foundation, na qual os participantes escrevem histórias de terror sobre monstros surreais, no estilo de relatórios cheios de jargões de um grupo de pesquisa que estuda fenômenos paranormais.
Jeremy Howard, pesquisador digital de Stanford e ex-professor da Universidade de Queensland, detalhou a sequência que levou Lewis a um ciclo de feedback com tema SCP.
“Quando há muitos dados de treinamento com um estilo específico, usar um estilo semelhante no prompt fará com que o LLM responda nesse estilo”, escreveu ele no X. “O wiki do SCP é realmente grande – cerca de 30 vezes maior que toda a série Harry Potter, com mais de 30 milhões de palavras!”
E ele seguiu: “Geoff se deparou com certas palavras e frases que acionaram o ChatGPT a produzir tokens dessa parte da distribuição de treinamento. E os tokens produzidos acionaram Geoff, por sua vez. Isso não é coincidência, a fanfic produzida colaborativamente tem a intenção de ser envolvente!. Isso criou um ciclo de feedback auto-reforçado”.
Outras pessoas que fizeram comentários nas redes sociais atribuíram a responsabilidade da possível psicose do ChatGPT à OpenAI. Jackson Doherty, engenheiro de software da TipLink, inclusive, implorou para Sam Altman, fundador da empresa, “consertar seu modelo para parar de enlouquecer as pessoas.
Wilson Hobbs, engenheiro fundador da startup de impostos corporativos Rivet, observou que os criadores do ChatGPT têm um interesse pessoal em manter os usuários absortos em seu chatbot.
“Se isso parece loucura para você, imagine os milhares de pessoas sem grande visibilidade cujos ciclos de pensamento estão sendo reforçados”, salientou. “Pessoas tiraram a própria vida por causa do ChatGPT. E ninguém parece querer levar isso à sua conclusão lógica, especialmente a OpenAI.”
E finalizou: “Lembre-se: querer que algo seja verdade não o torna verdadeiro. E há muita gente por aí que precisa que muitas mentiras sejam verdadeiras agora para que possam arrecadar mais dinheiro e garantir seu lugar no mundo antes que a música pare. Não antropomorfize o cortador de grama”.
–borderColorFollowMe: #4a4a4a;
–textColorFollowMe: #005880;
}






