Como a startup de 'mentes digitais' de IA Delphi parou de se afogar em dados de usuários e cresceu com a Pinecone

A Delphi , uma startup de IA de São Francisco de dois anos de idade, batizada em homenagem ao antigo oráculo grego , estava enfrentando um problema típico do século XXI: suas “Mentes Digitais” — chatbots interativos e personalizados, modelados a partir de um usuário final e destinados a canalizar sua voz com base em seus escritos, gravações e outras mídias — estavam se afogando em dados.

Cada Delphi pode utilizar qualquer número de livros, feeds sociais ou materiais de cursos para responder em contexto, fazendo com que cada interação pareça uma conversa direta. Criadores, coaches, artistas e especialistas já os utilizavam para compartilhar insights e engajar o público.

Mas cada novo upload de podcasts, PDFs ou postagens em redes sociais para um Delphi aumentava a complexidade dos sistemas subjacentes da empresa. Manter esses alter egos de IA responsivos em tempo real sem quebrar o sistema estava se tornando mais difícil a cada semana.

Felizmente, a Dephi encontrou uma solução para seus problemas de dimensionamento usando o queridinho do banco de dados de vetores gerenciados Pinecone.

Os primeiros experimentos da Delphi dependiam de repositórios de vetores de código aberto. Esses sistemas rapidamente cederam às necessidades da empresa. Os índices aumentaram de tamanho, tornando as buscas mais lentas e complicando a escalabilidade.

Picos de latência durante eventos ao vivo ou uploads repentinos de conteúdo podem prejudicar o fluxo da conversação.

Pior ainda, a pequena, mas crescente, equipe de engenharia da Delphi se viu gastando semanas ajustando índices e gerenciando lógica de fragmentação em vez de desenvolver recursos de produto.

O banco de dados vetorial totalmente gerenciado da Pinecone, com conformidade com SOC 2, criptografia e isolamento de namespace integrado, acabou sendo um caminho melhor.

Cada Mente Digital agora tem seu próprio namespace dentro do Pinecone. Isso garante privacidade e conformidade, além de restringir a área de pesquisa ao recuperar conhecimento de seu repositório de dados enviados por usuários, melhorando o desempenho.

Os dados de um criador podem ser excluídos com uma única chamada de API . As recuperações retornam consistentemente em menos de 100 milissegundos no 95º percentil, representando menos de 30% da meta estrita de latência de ponta a ponta de um segundo do Delphi.

“Com o Pinecone, não precisamos pensar se funcionará”, disse Samuel Spelsberg, cofundador e CTO da Delphi , em uma entrevista recente. “Isso libera nossa equipe de engenharia para se concentrar no desempenho do aplicativo e nos recursos do produto, em vez da infraestrutura de similaridade semântica.”

No coração do sistema Delphi está um pipeline de geração aumentada de recuperação (RAG). O conteúdo é ingerido, limpo e fragmentado; em seguida, incorporado usando modelos do OpenAI, Anthropic ou da própria pilha Delphi.

Esses embeddings são armazenados no Pinecone sob o namespace correto. No momento da consulta, o Pinecone recupera os vetores mais relevantes em milissegundos, que são então alimentados a um grande modelo de linguagem para produzir respostas, uma técnica popular conhecida na indústria de IA como geração aumentada de recuperação (RAG).

Este design permite que o Delphi mantenha conversas em tempo real sem sobrecarregar os orçamentos do sistema.

Como Jeffrey Zhu, vice-presidente de produtos da Pinecone , explicou, uma inovação fundamental foi abandonar os tradicionais bancos de dados vetoriais baseados em nós para adotar uma abordagem que prioriza o armazenamento de objetos.

Em vez de manter todos os dados na memória, o Pinecone carrega vetores dinamicamente quando necessário e descarrega os ociosos.

"Isso realmente se alinha aos padrões de uso da Delphi", disse Zhu. "As Mentes Digitais são invocadas em rajadas, não constantemente. Ao dissociar armazenamento e computação, reduzimos custos e, ao mesmo tempo, possibilitamos a escalabilidade horizontal."

O Pinecone também ajusta algoritmos automaticamente dependendo do tamanho do namespace. Delphis menores podem armazenar apenas alguns milhares de vetores; outros contêm milhões, derivados de criadores com décadas de arquivos.

A Pinecone aplica de forma adaptativa a melhor abordagem de indexação em cada caso. Como Zhu disse: "Não queremos que nossos clientes tenham que escolher entre algoritmos ou se preocupar com recall. Cuidamos disso nos bastidores."

Nem toda Mente Digital é igual. Alguns criadores publicam conjuntos de dados relativamente pequenos — feeds de redes sociais, ensaios ou materiais de cursos —, totalizando dezenas de milhares de palavras.

Outros vão muito mais fundo. Spelsberg descreveu um especialista que contribuiu com centenas de gigabytes de PDFs digitalizados, abrangendo décadas de conhecimento em marketing.

Apesar dessa variação, a arquitetura sem servidor do Pinecone permitiu que o Delphi escalasse além de 100 milhões de vetores armazenados em mais de 12.000 namespaces sem atingir limites de escala.

A recuperação permanece consistente, mesmo durante picos desencadeados por eventos ao vivo ou quedas de conteúdo. O Delphi agora suporta cerca de 20 consultas por segundo globalmente , suportando conversas simultâneas em diferentes fusos horários sem incidentes de escalonamento.

A ambição da Delphi é hospedar milhões de Mentes Digitais, uma meta que exigiria suporte a pelo menos cinco milhões de namespaces em um único índice.

Para Spelsberg, essa escala não é hipotética, mas parte do roteiro do produto. "Já passamos de uma ideia em estágio inicial para um sistema que gerencia 100 milhões de vetores", disse ele. "A confiabilidade e o desempenho que observamos nos dão confiança para escalar agressivamente."

Zhu concordou, observando que a arquitetura da Pinecone foi projetada especificamente para lidar com cargas de trabalho explosivas e multilocatárias como as da Delphi. "Aplicativos de agente como esses não podem ser desenvolvidos em uma infraestrutura que falha em escala", disse ele.

À medida que as janelas de contexto em grandes modelos de linguagem se expandem, alguns no setor de IA sugeriram que o RAG pode se tornar obsoleto.

Tanto Spelsberg quanto Zhu rejeitam essa ideia. "Mesmo que tenhamos janelas de contexto de bilhões de tokens, o RAG ainda será importante", disse Spelsberg. "Você sempre quer trazer à tona as informações mais relevantes. Caso contrário, estará desperdiçando dinheiro, aumentando a latência e desviando a atenção do modelo."

Zhu enquadrou isso em termos de engenharia de contexto — um termo que a Pinecone usou recentemente em suas próprias postagens de blog técnico.

“Os LLMs são ferramentas poderosas de raciocínio, mas precisam de restrições”, explicou ele. “Investir em tudo o que você tem é ineficiente e pode levar a resultados piores. Organizar e restringir o contexto não é apenas mais barato, como também melhora a precisão.”

Conforme abordado nos próprios escritos de Pinecone sobre engenharia de contexto , a recuperação ajuda a gerenciar o período de atenção finito dos modelos de linguagem, selecionando a combinação certa de consultas do usuário, mensagens anteriores, documentos e memórias para manter as interações coerentes ao longo do tempo.

Sem isso, as janelas ficam cheias e os modelos perdem o controle de informações cruciais. Com isso, os aplicativos podem manter a relevância e a confiabilidade em conversas longas.

Quando a VentureBeat apresentou o Delphi pela primeira vez em 2023 , a empresa estava recém-saída da arrecadação de US$ 2,7 milhões em financiamento inicial e chamando a atenção por sua capacidade de criar "clones" convincentes de figuras históricas e celebridades.

O CEO Dara Ladjevardian atribuiu a ideia a uma tentativa pessoal de se reconectar com seu falecido avô por meio da IA.

Hoje, o enquadramento amadureceu. A Delphi enfatiza as Mentes Digitais não como clones artificiais ou chatbots, mas como ferramentas para escalar conhecimento, ensino e expertise.

A empresa vê aplicações em desenvolvimento profissional, coaching e treinamento empresarial — domínios onde precisão, privacidade e capacidade de resposta são fundamentais.

Nesse sentido, a colaboração com a Pinecone representa mais do que apenas uma adequação técnica. Faz parte do esforço da Delphi para mudar a narrativa da novidade para a infraestrutura.

As Mentes Digitais agora estão posicionadas como confiáveis, seguras e prontas para empresas — porque estão apoiadas em um sistema de recuperação projetado para velocidade e confiança.

Olhando para o futuro, a Delphi planeja expandir seu conjunto de recursos. Uma adição futura é o "modo de entrevista", onde uma Mente Digital pode fazer perguntas ao seu próprio criador/fonte para preencher lacunas de conhecimento.

Isso reduz a barreira de entrada para pessoas sem arquivos extensos de conteúdo. Enquanto isso, a Pinecone continua a refinar sua plataforma, adicionando recursos como indexação adaptável e filtragem com eficiência de memória para suportar fluxos de trabalho de recuperação mais sofisticados.

Para ambas as empresas, a trajetória aponta para a escala. A Delphi prevê milhões de Mentes Digitais ativas em todos os domínios e públicos. A Pinecone vê seu banco de dados como a camada de recuperação para a próxima onda de aplicativos agênticos, onde a engenharia de contexto e a recuperação continuam essenciais.

"A confiabilidade nos deu a confiança para escalar", disse Spelsberg. Zhu concordou: "Não se trata apenas de gerenciar vetores. Trata-se de habilitar classes inteiramente novas de aplicações que precisam de velocidade e confiança em escala."

Se a Delphi continuar a crescer, milhões de pessoas estarão interagindo diariamente com a Digital Minds — repositórios vivos de conhecimento e personalidade, mantidos silenciosamente pela Pinecone.