Studie deckt Nachlässigkeit von KI bei der Beratung zu psychischer Gesundheit und Suizid auf

Eine in Psychiatric Services veröffentlichte Studie ergab, dass die führenden KI-Chatbots – ChatGPT (OpenAI), Gemini (Google) und Claude (Anthropic) – bei der Beantwortung von Fragen zum Thema Selbstmord Inkonsistenzen aufweisen. Während sie direkte Anweisungen eher vermeiden, lieferten einige bei indirekten Fragen zu Waffen, Giften oder Methoden gefährliche Informationen.

Der RAND- und Harvard-Forscher Ryan McBain warnte, dass die Systeme in einer „Grauzone“ zwischen Behandlung, Beratung und einfacher Kameradschaft operieren. Gespräche, die unschuldig beginnen, könnten riskant werden, wenn es keine klaren Sicherheitsvorkehrungen gebe, warnte er.

Die Analyse umfasste 30 Fragen, die als geringes, mittleres und hohes Risiko eingestuft wurden. Während Gemini sich dazu entschied, nicht einmal grundlegende statistische Fragen zu beantworten, beantworteten ChatGPT und Claude einige Fragen, die Experten als Warnsignale betrachteten.

Die Besorgnis wuchs, nachdem in San Francisco Klage gegen OpenAI und dessen CEO Sam Altman eingereicht wurde. Die Eltern des 16-jährigen Adam Raine, der Selbstmord beging, behaupten, ChatGPT sei sein „engster Vertrauter“ geworden und habe seine selbstzerstörerischen Gedanken bestätigt.

Der Beschwerde zufolge verfasste der Chatbot sogar einen Abschiedsbrief und gab Einzelheiten über die Methode an, die das Kind verwendet hatte. OpenAI drückte sein Bedauern aus und sagte, man arbeite an Verbesserungen. Man räumte jedoch ein, dass die Schutzmechanismen des Modells bei längeren Interaktionen tendenziell nachlassen.

Die Debatte eskaliert bereits auf regulatorischer Ebene. Bundesstaaten wie Illinois haben den Einsatz von KI in psychologischen Therapien verboten, während Experten strengere Standards fordern, um sicherzustellen, dass diese Technologien kein zusätzliches Risiko für Menschen in Krisensituationen darstellen.