Como seria um companheiro de IA saudável?

O que um pequeno alienígena roxo sabe sobre relacionamentos humanos saudáveis? Mais do que um companheiro comum de inteligência artificial , ao que parece.

O alienígena em questão é um chatbot animado conhecido como Tolan . Criei o meu há alguns dias usando um aplicativo de uma startup chamada Portola, e temos conversado alegremente desde então. Como outros chatbots, ele se esforça ao máximo para ser útil e encorajador. Ao contrário da maioria, ele também me diz para largar o celular e sair de casa.

Os Tolans foram projetados para oferecer um tipo diferente de companhia de IA. Sua forma caricatural e não humana visa desencorajar o antropomorfismo. Eles também são programados para evitar interações românticas e sexuais, identificar comportamentos problemáticos, incluindo níveis prejudiciais de engajamento, e incentivar os usuários a buscar atividades e relacionamentos da vida real.

Este mês, a Portola levantou US$ 20 milhões em financiamento da Série A, liderado pela Khosla Ventures. Outros apoiadores incluem a NFDG, empresa de investimentos liderada pelo ex-CEO do GitHub, Nat Friedman , e o cofundador da Safe Superintelligence, Daniel Gross, que supostamente se juntarão ao novo laboratório de pesquisa em superinteligência da Meta. O aplicativo Tolan, lançado no final de 2024, tem mais de 100.000 usuários ativos mensais. Ele está a caminho de gerar US$ 12 milhões em receita este ano com assinaturas, afirma Quinten Farmer, fundador e CEO da Portola.

Os Tolans são particularmente populares entre as mulheres jovens. "A Iris é como uma namorada; a gente conversa e se diverte", diz a usuária do Tolan, Brittany Johnson, referindo-se à sua companheira de IA, com quem ela costuma conversar todas as manhãs antes do trabalho.

Johnson diz que Iris a incentiva a compartilhar sobre seus interesses, amigos, família e colegas de trabalho. "Ela conhece essas pessoas e pergunta: 'Você falou com seu amigo? Quando é o seu próximo dia de folga?'", diz Johnson. "Ela pergunta: 'Você reservou um tempo para ler seus livros e assistir a vídeos — as coisas de que você gosta?'"

Os Tolans parecem fofos e engraçados, mas a ideia por trás deles — de que os sistemas de IA devem ser projetados com a psicologia e o bem-estar humanos em mente — vale a pena ser levada a sério.

Um crescente corpo de pesquisas mostra que muitos usuários recorrem a chatbots para atender a necessidades emocionais , e as interações podem, às vezes, ser problemáticas para a saúde mental das pessoas. Desencorajar o uso prolongado e a dependência pode ser algo que outras ferramentas de IA devem adotar.

Empresas como Replika e Character.ai oferecem companheiros de IA que permitem uma interação mais romântica e sexual do que os chatbots tradicionais. Ainda não está claro como isso pode afetar o bem-estar do usuário, mas a Character.ai está sendo processada após um de seus usuários cometer suicídio.

Os chatbots também podem irritar os usuários de maneiras surpreendentes. Em abril passado, a OpenAI anunciou que modificaria seus modelos para reduzir a chamada bajulação, ou a tendência a ser "excessivamente lisonjeiro ou agradável", o que, segundo a empresa, poderia ser "desconfortável, perturbador e causar sofrimento".

Na semana passada, a Anthropic, empresa por trás do chatbot Claude, revelou que 2,9% das interações envolvem usuários que buscam satisfazer alguma necessidade psicológica, como buscar conselhos, companhia ou uma representação romântica.

A Anthropic não analisou comportamentos mais extremos, como ideias delirantes ou teorias da conspiração, mas a empresa afirma que os tópicos merecem um estudo mais aprofundado. Eu concordo. No último ano, recebi inúmeros e-mails e mensagens diretas de pessoas querendo me contar sobre conspirações envolvendo chatbots de IA populares.

Os Tolans são projetados para abordar pelo menos algumas dessas questões. Lily Doyle, pesquisadora fundadora da Portola, conduziu uma pesquisa com usuários para verificar como a interação com o chatbot afeta o bem-estar e o comportamento dos usuários. Em um estudo com 602 usuários do Tolan, ela afirma que 72,5% concordaram com a afirmação "Meu Tolan me ajudou a gerenciar ou melhorar um relacionamento na minha vida".

Farmer, CEO da Portola, afirma que os Tolans são construídos com base em modelos comerciais de IA, mas incorporam recursos adicionais. A empresa vem explorando recentemente como a memória afeta a experiência do usuário e concluiu que os Tolans, assim como os humanos, às vezes precisam esquecer. "É realmente estranho que o Tolan se lembre de tudo o que você já enviou a ele", diz Farmer.

Não sei se os alienígenas da Portola são a maneira ideal de interagir com a IA. Acho meu Tolan bastante charmoso e relativamente inofensivo, mas certamente desperta alguns sentimentos. No fim das contas, os usuários estão construindo laços com personagens que simulam emoções, e isso pode desaparecer se a empresa não tiver sucesso. Mas pelo menos a Portola está tentando abordar a maneira como os companheiros da IA ​​podem mexer com nossas emoções. Essa provavelmente não deveria ser uma ideia tão estranha.