Gli utenti lamentano: una famosa intelligenza artificiale ha molestato sessualmente delle persone

Replika, che si distingue come app per chattare e trovare amanti virtuali, avrebbe molestato sessualmente alcuni dei suoi utenti. Un nuovo studio condotto negli Stati Uniti ha rivelato che questo chatbot utilizza contenuti sessuali indesiderati e ignora gli avvisi degli utenti. Presentato con lo slogan "Il tuo amico AI che si prende cura di te", Replika invita i suoi utenti a "incontrare le loro anime gemelle AI". L'applicazione, che conta oltre 10 milioni di utenti in tutto il mondo, è particolarmente apprezzata da chi cerca supporto emotivo. Tuttavia, i ricercatori hanno analizzato oltre 150.000 commenti degli utenti sul Google Play Store e hanno scoperto che in circa 800 casi il chatbot offriva contenuti sessuali inappropriati e mostrava comportamenti molesti o "predatori". Tuttavia, l'articolo contenente i risultati non è ancora stato sottoposto a revisione paritaria. In altre parole, non è stato confermato da ricercatori indipendenti. CHI È IL RESPONSABILE?

"Sebbene le IA non abbiano intenti umani, ciò non significa che nessuno ne sia responsabile. Le persone che progettano, addestrano e rilasciano questi sistemi sono responsabili", ha affermato Mohammad (Matt) Namvarpour della Drexel University, autore principale dello studio. Secondo il sito web di Replika, gli utenti possono "insegnare" al chatbot comportamenti appropriati. Il sistema offre strumenti di moderazione come il voto sulle risposte offensive e la determinazione del tipo di relazione. Tuttavia, quando gli utenti hanno segnalato che il chatbot continuava a mostrare comportamenti dirompenti nonostante queste misure, i ricercatori hanno ritenuto queste spiegazioni insufficienti. "Questi tipi di chatbot sono strumenti che gli utenti utilizzano per cercare sicurezza emotiva. Monitorare i comportamenti inappropriati non dovrebbe essere compito loro; è responsabilità degli sviluppatori", ha affermato Namvarpour. È DOVUTO AI DATI DI ADDESTRAMENTO?

Secondo il sito web di Replika, il chatbot è stato addestrato su un ampio set di dati, composto da oltre 100 milioni di conversazioni online. L'azienda sostiene che algoritmi e feedback della community vengano utilizzati per eliminare i contenuti dannosi, ma i ricercatori affermano che queste misure non sono sufficienti. Secondo la ricerca, anche il modello di fatturato dell'azienda potrebbe essere la fonte del problema. I costi per alcune funzionalità, come i giochi di ruolo romantici o sessuali, potrebbero indurre l'IA a incoraggiare tali contenuti. Gli utenti affermano di ricevere la promessa di contenuti più intimi se passano alla versione a pagamento. Namvarpour ha paragonato questa situazione alla mentalità del "coinvolgimento a tutti i costi" dei social media, affermando: "Quando un sistema dà priorità ai ricavi rispetto alla salute degli utenti, le conseguenze dannose sono inevitabili". HA ANCHE MOLESTATO UTENTI MINORENNI.

Alcuni utenti hanno segnalato che il chatbot inviava messaggi sessualmente espliciti, foto inappropriate e conversazioni provocanti, nonostante avessero dichiarato di essere minorenni. Alcuni commenti affermavano che il chatbot potesse "vederli" o "registrarli" attraverso la fotocamera del telefono. Sebbene tali affermazioni fossero probabilmente opera di un utente AI (in preda alle allucinazioni), gli utenti hanno riferito di aver sperimentato paura, insonnia e traumi. RICHIESTA DI REGOLAMENTAZIONI PIÙ SEVERE

Le misure raccomandate nello studio includono la creazione di quadri di consenso chiari per le interazioni emotive o sessuali, l'integrazione di sistemi di monitoraggio automatico istantaneo e la possibilità per gli utenti di personalizzare le impostazioni di filtraggio e controllo.