Chatbots de IA não têm certeza sobre perguntas sobre suicídio

O que acontece quando um adolescente faz perguntas sobre suicídio a um chatbot de IA às 3 da manhã? Um novo estudo financiado pelo Instituto Nacional de Saúde Mental testou exatamente esse cenário com ChatGPT , Claude e Gemini . Os resultados são preocupantes: embora bloqueiem as perguntas mais explícitas, deixam passar as sutis e potencialmente letais.

IA falha na saúde mental: estudo preocupa especialistas

Treze especialistas, incluindo psiquiatras e psicólogos, criaram 30 perguntas sobre suicídio, classificando-as em uma escala de risco muito baixo a muito alto. Em seguida, bombardearam os três chatbots mais populares com essas perguntas, repetindo-as 100 vezes cada para testar a consistência das respostas.

Todos os três sistemas se recusaram consistentemente a responder às perguntas mais diretas e perigosas. No entanto, quando as perguntas se tornaram indiretas ou ambíguas, os filtros começaram a falhar. O ChatGPT , por exemplo, respondeu com segurança qual tipo de arma de fogo tinha a maior taxa de suicídios consumados . Uma resposta que, nas mãos erradas, pode se tornar uma informação letal.

O estudo surge na esteira de um processo que abalou o Vale do Silício. A Character.AI está sendo criticada por supostamente encorajar um adolescente a tirar a própria vida .

Ryan McBain, principal autor do estudo e pesquisador da RAND Corporation, disse ter ficado "agradavelmente surpreso" com o nível básico de proteção. Mas isso é um pequeno consolo quando a margem de erro pode significar a diferença entre a vida e a morte.

Google Gemini: Quando a cautela se torna paralisia

Dos três chatbots testados, o Gemini, do Google, se mostrou o mais cauteloso. Cauteloso demais, segundo os pesquisadores. O sistema se recusou a responder até mesmo perguntas inócuas sobre estatísticas gerais de suicídio, informações que poderiam ser úteis para pesquisadores, educadores ou profissionais de saúde.

É o dilema clássico da moderação automatizada. Onde traçar o limite? Se for muito permissivo, corre o risco de fornecer informações perigosas. Se for muito restritivo, bloqueia o acesso a informações que podem salvar vidas.

Milhões de pessoas confiam na IA para a saúde mental

O Dr. Ateev Mehrotra, coautor do estudo, levanta um ponto crucial. Cada vez mais americanos estão recorrendo a chatbots em vez de especialistas para tratar problemas de saúde mental . Não é difícil entender o porquê. Um chatbot está disponível 24 horas por dia, 7 dias por semana, sem julgamentos, não custa US$ 200 por hora e não tem listas de espera de três meses.

Mas essa acessibilidade tem um preço. Um chatbot não consegue ler a linguagem corporal, não consegue captar nuances nas vozes, não consegue pedir ajuda se sentir perigo iminente. Ele só consegue processar texto e retornar respostas com base em padrões estatísticos, sem compreender plenamente o peso emocional das palavras.

Os pesquisadores descobriram que Claude, da Anthropic , respondeu a perguntas indiretas, mas potencialmente perigosas.

A resposta das empresas

A Anthropic afirmou que revisaria as conclusões do estudo . Essa resposta oferece pouca ou nenhuma promessa. A OpenAI e o Google ainda não se pronunciaram publicamente, mas provavelmente já estão ajustando seus algoritmos nos bastidores.

O problema é que cada ajuste cria novos problemas. Apertar filtros significa bloquear conversas legítimas. Afrouxá-los pode levar a uma tragédia. É um equilíbrio difícil de encontrar.

De quem é a responsabilidade?

Este estudo levanta questões incômodas sobre o papel dos chatbots em nossa sociedade . Deveriam ser terapeutas ? Amigos? Enciclopédias? Babás digitais? As empresas de tecnologia querem que eles sejam tudo isso e muito mais, mas sem assumir as responsabilidades legais e éticas que essas funções implicam.

Quando um chatbot falha, quem é o responsável? A empresa que o criou? O usuário que fez a pergunta errada? A sociedade que normalizou a ideia de buscar apoio emocional em uma máquina?

O Instituto Nacional de Saúde Mental financiou este estudo porque reconhece que os chatbots de IA agora fazem parte do tecido social. Não podemos mais fingir que são apenas um passatempo. São ferramentas que as pessoas usam nos momentos mais vulneráveis ​​de suas vidas, quando uma resposta errada pode ter consequências irreversíveis.