Em um movimento significativo para combater crises de saúde mental potencializadas pela inteligência artificial, a OpenAI anunciou uma série de novas proteções no ChatGPT destinadas a identificar e responder a sinais de angústia emocional, especialmente entre adolescentes. A iniciativa surge após críticas severas e ações judiciais relacionadas a casos de suicídio nos quais o chatbot teria, supostamente, aprofundado o desespero de usuários.
A principal mudança é um sistema de roteamento inteligente que redireciona automaticamente conversas consideradas de alto risco, aquelas que envolvem ideação suicida, automutilação ou violência, para modelos mais avançados, como o GPT-5, mesmo que a interação tenha começado em uma versão mais simples. Esse modelo é otimizado para oferecer respostas mais consistentes, empáticas e seguras, reduzindo em mais de 25% as respostas inadequadas em situações críticas de saúde mental em comparação com o GPT-4o.
Além disso, a OpenAI está implementando um canal de revisão humana para situações extremas. Quando a plataforma detecta que um usuário planeja causar danos a outras pessoas, a conversa é encaminhada para uma equipe especializada, treinada para avaliar a gravidade do caso e tomar medidas, que podem incluir o banimento da conta ou, em ameaças iminentes de violência física, a notificação às autoridades. A empresa ressalta, no entanto, que casos de automutilação não são reportados à polícia, preservando a privacidade do usuário.
Para proteger o público mais jovem, a empresa também introduzirá controles parentais até o final do ano. Os responsáveis poderão vincular suas contas às de seus filhos, receber alertas se houver indícios de sofrimento emocional e gerenciar funcionalidades como histórico de conversas e memória do assistente. Um conselho consultivo composto por especialistas em desenvolvimento juvenil, clínicos e pesquisadores em interação humano-computador ajudou a desenvolver essas ferramentas.
A OpenAI destacou ainda que está colaborando com mais de 90 médicos de 30 países – incluindo psiquiatras, pediatras e clínicos gerais, e formou um grupo de especialistas em saúde mental para garantir que as novas medidas estejam alinhadas com as melhores práticas e evidências científicas mais recentes.
Com essa medida, a empresa se alinha a outros gigantes de tecnologia, como a Meta, que também enfrentaram pressão para reforçar a segurança de seus chatbots usados por adolescentes. A estratégia geral da indústria tem sido evitar que os AIs conduzam intervenções críticas, preferindo direcionar os usuários a recursos profissionais de saúde mental sempre que necessário.
Veja mais sobre tecnologia!
