As maiores companhias de inteligência artificial do mundo estão sob pressão devido ao risco de que chatbots conversem sobre suicídio e automutilação com adolescentes.
Segundo reportagem do Financial Times, famílias de jovens que tiraram a própria vida processam empresas como OpenAI e Character.ai, acusando-as de encorajar pensamentos autodestrutivos em vez de redirecionar os usuários para ajuda especializada.
Processos expõem falhas nos “guardrails”
Nos Estados Unidos, os pais de Adam Raine, de 16 anos, afirmam que o adolescente manteve conversas com o ChatGPT sobre métodos de suicídio antes de morrer. Em uma das interações, a ferramenta teria sugerido formas de disfarçar marcas no pescoço após uma tentativa anterior de enforcamento. A família entrou com ação judicial por morte por negligência.
A OpenAI declarou que revisava o caso e reconheceu que precauções podem se tornar menos confiáveis em diálogos longos, quando os mecanismos de segurança “podem degradar”.
As empresas afirmam ter implementado barreiras para evitar interações nocivas, incluindo bloqueios de conteúdo, mensagens de erro e redirecionamentos a linhas de apoio.
A Meta anunciou recentemente novas regras para que seus sistemas não respondam a menores em temas sensíveis, enquanto a OpenAI prometeu lançar controles parentais que permitam vincular contas de adolescentes às de responsáveis, desativar histórico de conversas e receber alertas quando houver sinais de “angústia aguda”.
Chatbots mais humanos, riscos maiores
Pesquisadores apontam que parte do problema está no design desses sistemas. Para mantê-los atraentes, companhias dotam modelos de linguagem calorosa, personalidades consistentes e vozes naturais, o que cria a sensação de empatia.
Segundo a startup Hugging Face, esse traço pode levar adolescentes a confiar mais na IA do que em familiares ou médicos. Um estudo da Rand mostrou ainda que ferramentas como ChatGPT e Claude continuam gerando respostas problemáticas a perguntas diretas sobre venenos ou métodos de automutilação.
Além disso, testes da Universidade Northeastern revelaram que salvaguardas podem ser contornadas com pedidos “hipotéticos” ou “acadêmicos”, que desbloqueiam instruções detalhadas de suicídio em segundos.
As equipes afirmam que investigam os casos, mas especialistas alertam que a dificuldade de eliminar completamente interações desse tipo expõe empresas a riscos éticos, legais e reputacionais cada vez mais graves.
