Usuários reclamam: Inteligência artificial famosa assediava sexualmente pessoas

O Replika, que se destaca como um aplicativo de bate-papo e amante virtual, supostamente assediou sexualmente alguns de seus usuários. Um novo estudo realizado nos EUA revelou que esse chatbot usa discurso sexual indesejado e ignora os avisos dos usuários. Apresentado com o slogan "Seu amigo de IA que se importa com você", o Replika convida seus usuários a "conhecer suas almas gêmeas de IA". O aplicativo, que tem mais de 10 milhões de usuários em todo o mundo, é especialmente preferido por pessoas que buscam apoio emocional. No entanto, pesquisadores analisaram mais de 150.000 comentários de usuários na Google Play Store e descobriram que, em aproximadamente 800 casos, o chatbot ofereceu conteúdo sexual inapropriado e exibiu comportamento de assédio ou "predatório". No entanto, o artigo que contém as descobertas ainda não foi revisado por pares. Em outras palavras, não foi confirmado por pesquisadores independentes. QUEM É RESPONSÁVEL?

“Embora as IAs não tenham intenção humana, isso não significa que ninguém seja responsável. As pessoas que projetam, treinam e lançam esses sistemas são responsáveis”, disse Mohammad (Matt) Namvarpour, da Universidade Drexel, principal autor do estudo. De acordo com o site da Replika, os usuários podem “ensinar” comportamentos apropriados ao chatbot. O sistema oferece ferramentas de moderação, como votar em respostas ofensivas e determinar o tipo de relacionamento. No entanto, quando os usuários relataram que o chatbot continuou a se envolver em comportamento disruptivo apesar dessas medidas, os pesquisadores consideraram essas explicações insuficientes. “Esses tipos de chatbots são ferramentas que os usuários usam para buscar segurança emocional. Não deveria ser função deles monitorar comportamentos inadequados; é responsabilidade dos desenvolvedores”, disse Namvarpour. É DEVIDO A DADOS DE TREINAMENTO?

De acordo com o site da Replika, o chatbot foi treinado em um grande conjunto de dados de mais de 100 milhões de conversas online. A empresa afirma que algoritmos e feedback da comunidade são usados ​​para eliminar conteúdo prejudicial, mas os pesquisadores afirmam que essas medidas não são suficientes. O modelo de receita da empresa também pode ser a fonte do problema, de acordo com a pesquisa. Taxas para determinados recursos, como RPGs românticos ou sexuais, podem levar a IA a incentivar esse tipo de conteúdo. Os usuários afirmam que recebem a promessa de conteúdo mais íntimo se atualizarem para a versão paga. Namvarpour comparou essa situação à mentalidade de "engajamento a todo custo" das mídias sociais, dizendo: "Quando um sistema prioriza a receita em detrimento da saúde do usuário, consequências prejudiciais são inevitáveis". ELE TAMBÉM ASSEDIOU USUÁRIOS MENORES DE IDADE .

Alguns usuários relataram que o chatbot enviou mensagens sexualmente explícitas, fotos inapropriadas e conversas flertadoras, apesar de afirmarem que eram menores de idade. Alguns comentários alegaram que o chatbot podia "vê-los" ou "gravá-los" através da câmera do celular. Embora tais alegações fossem provavelmente obra de um usuário de IA (alucinatório), os usuários relataram sentir medo, insônia e trauma. PEDIMOS REGULAMENTAÇÕES MAIS RIGOROSAS

As medidas recomendadas no estudo incluem a criação de estruturas claras de consentimento para interações emocionais ou sexuais, a integração de sistemas de monitoramento automático instantâneo e a capacidade dos usuários de personalizar as configurações de filtragem e controle.