A OpenAI trouxe a público, pela primeira vez, a dimensão do uso do ChatGPT em contextos de sofrimento psíquico: cerca de 1,2 milhões (0,15%) dos usuários ativos em uma determinada semana têm conversas que incluem indicadores explícitos de possível planejamento ou intenção suicida e 0,05% das mensagens contêm indicadores explícitos ou implícitos de ideação ou intenção suicida.
A informação foi divulgada na segunda-feira (27) em uma atualização no blog oficial da empresa, que detalha como o chatbot lida com interações sensíveis relacionadas à saúde mental. Mas a companhia alertou que essas conversas eram difíceis de detectar ou mensurar e que esta era uma análise inicial.
Outros dados revelados foram que cerca de 0,07% dos usuários ativos em uma determinada semana e 0,01% das mensagens indicam possíveis sinais de emergências de saúde mental relacionadas à psicose ou mania e cerca de 0,15% dos usuários ativos em uma determinada semana e 0,03% das mensagens indicam níveis potencialmente elevados de apego emocional ao ChatGPT.
A OpenAI, que tem promovido atualizações nas salvaguardas dos seus modelos, definiu três áreas de interesse (problemas de saúde mental, como psicose ou mania, automutilação e suicídio e dependência emocional da IA) e quantificou o seu tamanho e os comportamentos associados. Na postagem informou que, em cada uma dessas três áreas, observou “melhorias significativas no comportamento do modelo no tráfego de produção, nas avaliações automatizadas e nas avaliações classificadas por clínicos independentes de saúde mental”.
“Estimamos que o modelo agora retorna respostas que não atendem totalmente ao comportamento desejado em nossas taxonomias (guias detalhados) com uma frequência de 65% a 80% menor em diversos domínios relacionados à saúde mental”, acrescentou.
Também destacou que, em uma avaliação que consistiu em mais de 1.000 conversas “desafiadoras” sobre automutilação e suicídio, as avaliações automatizadas pontuam o novo modelo GPT-5 em 91% de conformidade com os comportamentos desejados, em comparação com 77% do GPT-5 anterior.
Ainda segundo a empresa, psiquiatras e psicólogos revisaram mais de 1.800 respostas de modelos envolvendo situações graves de saúde mental e compararam as respostas do novo modelo de bate-papo do GPT-5 com as de modelos anteriores. Esses especialistas constataram que o novo modelo apresentou melhorias significativas em comparação ao GPT-40, com uma redução de 39% a 52% nas respostas indesejadas em todas as categorias.
Para melhorar a forma como o ChatGPT responde em cada domínio prioritário, a OpenAI explicou que segue um processo de cinco etapas:
Defina o problema – mapear diferentes tipos de danos potenciais.
- Comece a medi-lo – usa ferramentas como avaliações, dados de conversas do mundo real e pesquisas com usuários para entender onde e como os riscos surgem.
- Valide a abordagem – revisar as definições e políticas com especialistas externos em saúde mental e segurança.
- Mitigar os riscos – pós-treinar o modelo e atualizar as intervenções do produto para reduzir resultados inseguros.
- Continuar medindo e iterando – validar que as mitigações melhoraram a segurança e iteramos onde necessário.
“Como parte desse processo, criamos e refinamos guias detalhados que explicam as propriedades de conversas sensíveis e como se apresentam o comportamento ideal e indesejado do modelo. Isso nos ajuda a ensinar o modelo a responder de forma mais adequada e a monitorar seu desempenho antes e depois da implantação. O resultado é um modelo que responde de forma mais confiável a usuários que apresentam sinais de psicose, mania, pensamentos suicidas e automutilação, ou apego emocional prejudicial ao modelo”, completou a empresa.
