A Bright Data venceu Elon Musk e a Meta no tribunal — agora sua plataforma de IA de US$ 100 milhões está enfrentando as grandes empresas de tecnologia

A Bright Data , empresa israelense de web scraping que derrotou a Meta e a X de Elon Musk em um tribunal federal, revelou na quarta-feira um conjunto abrangente de infraestrutura de IA projetado para dar aos sistemas de inteligência artificial acesso irrestrito a dados da web em tempo real — um recurso que a empresa argumenta que as plataformas de Big Tech estão tentando monopolizar.

O anúncio do Deep Lookup , Browser.ai e protocolos aprimorados de coleta de dados representa uma expansão dramática para a empresa de uma década, que se transformou de um serviço especializado em web scraping no que o CEO Or Lenchner chama de "uma camada de infraestrutura exclusiva para empresas de IA". A mudança ocorre em um momento em que as empresas de inteligência artificial lutam cada vez mais para acessar as informações atuais da web necessárias para alimentar chatbots, agentes autônomos e outros aplicativos de IA.

“A inteligência dos LLMs atuais não é mais seu fator limitante; o acesso é”, disse Lenchner em entrevista exclusiva ao VentureBeat. “Passamos a última década lutando pelo acesso aberto a dados públicos da web, e essas novas ofertas nos levam ao próximo capítulo de nossa jornada, caracterizado por dados verdadeiramente acessíveis e pela consequente ascensão de agentes com consciência contextual.”

O lançamento ocorre após as vitórias judiciais de alto nível da Bright Data em 2024, quando juízes federais rejeitaram ações judiciais da Meta e da X , alegando que a empresa havia obtido dados públicos de suas plataformas ilegalmente. Essas decisões estabeleceram precedentes legais cruciais que definem o que constituem " dados públicos " na internet — informações que podem ser visualizadas sem login e, portanto, podem ser coletadas e utilizadas legalmente.

Os processos judiciais revelaram que tanto a Meta quanto a X eram clientes da Bright Data mesmo enquanto processavam a empresa, destacando a postura contraditória de muitas gigantes da tecnologia em relação à raspagem da web. As decisões têm implicações mais amplas para o setor de IA, que depende fortemente de dados da web para treinar e operar modelos de linguagem.

“Foi revelado no tribunal que ambos eram clientes da Bright Data, porque todos precisam de dados, todos, especialmente aqueles que estão construindo modelos”, explicou Lenchner. “Somos a única empresa que tem os recursos financeiros, e eu diria até a coragem, para fazer isso.”

O juiz William Alsup , que presidiu o caso X, escreveu que dar às empresas de mídia social "liberdade para decidir, em qualquer base, quem pode coletar e usar dados" corre o risco de criar "monopólios de informação que prejudicariam o interesse público". A decisão estabeleceu que dados visualizáveis ​​sem credenciais de login constituem informações públicas que podem ser legalmente obtidas.

A Bright Data entrou com uma reconvenção contra a X , alegando que a plataforma violou as leis antitruste ao tentar criar um monopólio de dados para beneficiar a empresa de IA de Musk, a xAI. "A única razão pela qual a X está tentando impedir a Bright Data de permitir que seus clientes extraiam dados da X é que ela será a única entidade que poderá usufruir dos dados relevantes e de qualidade que a X produz", disse Lenchner.

Os novos produtos da empresa atendem ao que Lenchner identifica como os três requisitos principais para sistemas de IA: algoritmos, poder computacional e acesso a dados. Embora a Bright Data não desenvolva algoritmos de IA nem forneça recursos computacionais, ela pretende se tornar a solução definitiva para o terceiro requisito.

O Deep Lookup funciona como um mecanismo de pesquisa em linguagem natural projetado para responder a perguntas comerciais complexas e multifacetadas em tempo real. Ao contrário de mecanismos de busca genéricos ou chatbots de IA que fornecem resumos, o Deep Lookup se especializa em resultados abrangentes para consultas que começam com "localizar tudo". Por exemplo, os usuários podem perguntar "todas as companhias de navegação que navegaram pelos canais do Panamá e de Suez em 2023, cujas receitas no terceiro trimestre caíram mais de 2%".

O sistema utiliza o enorme arquivo web da Bright Data, que atualmente contém mais de 200 bilhões de páginas HTML e adiciona 15 bilhões mensalmente. Até o ano que vem, a expectativa é que o arquivo ultrapasse 500 bilhões de páginas. "Não se trata apenas de páginas da web aleatórias, mas sim do que realmente importa para o mundo, porque nossos 20.000 clientes representam bilhões de usuários da internet", observou Lenchner.

O Browser.ai representa o que a empresa chama de "o primeiro navegador nativo de IA desbloqueável do setor". Projetado especificamente para agentes autônomos de IA, o serviço baseado em nuvem imita o comportamento humano para acessar sites sem acionar sistemas de detecção de bots. Ele suporta comandos de linguagem natural e pode realizar interações complexas na web, como reservar voos ou fazer reservas em restaurantes.

A infraestrutura do navegador já processa mais de 150 milhões de ações na web diariamente, de acordo com a empresa. "Quase todas são clientes", disse Lenchner sobre as empresas de agentes de IA que levantaram fundos significativos. "Porque o que descobrimos, e elas também descobriram, é que resolvemos o problema de entrar em um site sem ser bloqueado e executar ações na web no site."

Os Servidores MCP (Model Context Protocol) fornecem uma camada de controle de baixa latência, permitindo que agentes de IA pesquisem, rastreiem e extraiam dados em tempo real. O protocolo permite que desenvolvedores criem sistemas de IA que podem atuar com base em informações atuais, em vez de depender apenas de dados de treinamento.

A vantagem competitiva da Bright Data advém do que Lenchner descreve como uma "obsessão" em superar mecanismos de bloqueio de sites. A empresa detém mais de 5.500 patentes sobre sua tecnologia e opera a maior rede de proxy do mundo, com mais de 150 milhões de endereços IP em 195 países.

“Temos uma visão muito boa da internet”, explicou Lenchner. “Há muito tempo, mapeamos a internet e, também há muito tempo, arquivamos grandes partes dela.”

A abordagem da empresa envolve técnicas sofisticadas para imitar o comportamento humano, usando dispositivos reais, endereços IP e impressões digitais do navegador, em vez de simples scripts automatizados. Isso torna a detecção e o bloqueio de sites extremamente difíceis.

"A única maneira de nos bloquear, na prática, é colocar os dados por trás do login, e aí nem tentaremos", disse Lenchner. "Às vezes, há uma nova lógica de bloqueio que não conseguimos resolver imediatamente. Nossa equipe de pesquisa levará 12 horas, três dias, o máximo que levou, e nós a desbloquearemos."

A receita ultrapassa US$ 100 milhões com a explosão da demanda por IA após o ChatGPT

Embora a Bright Data continue sendo uma empresa de capital privado, Lenchner confirmou à VentureBeat que a receita recorrente anual da empresa ultrapassa significativamente US$ 100 milhões. A empresa tem apresentado um crescimento explosivo desde o lançamento do ChatGPT no final de 2022, à medida que as empresas de IA se esforçavam para acessar dados de treinamento e informações em tempo real.

“A partir de março de 2023, que foi praticamente quando o GPT-3 mudou o mundo, o caso de uso da IA, ou o que chamamos de dados para IA, simplesmente explodiu para nós como empresa”, disse Lenchner. “Todo o resto também está crescendo, porque todos precisam de mais dados, ponto final. Mas este caso de uso é diferente de tudo que já vimos antes.”

A empresa atende mais de 20.000 empresas, incluindo empresas da Fortune 500 e grandes laboratórios de IA. Seus clientes tradicionais incluem plataformas de e-commerce que monitoram preços de concorrentes, empresas de serviços financeiros que buscam inteligência de mercado e empresas que realizam pesquisas de negócios.

A Bright Data investiu pesado em infraestrutura de conformidade para lidar com questões de privacidade relacionadas à coleta de dados. A empresa segue os regulamentos do GDPR europeu e do CCPA da Califórnia , notificando automaticamente os indivíduos quando suas informações pessoais são coletadas de fontes públicas e oferecendo opções de exclusão.

“A regulamentação e a legislação são claras desde que o GDPR europeu e, pelo menos, as regulamentações da Califórnia e da CCPA entraram em vigor”, explicou Lenchner. “Se coletarmos seu endereço de e-mail, por exemplo, enviaremos automaticamente um e-mail dizendo: 'Olá, somos nós. Coletamos suas informações pessoais de domínio público. Aqui está um botão enorme em que você pode clicar se quiser revisá-las e, obviamente, pode solicitar a exclusão delas.'”

A empresa mantém uma grande equipe de conformidade e ampla documentação de suas práticas, o que se mostrou valioso durante os processos judiciais. "Nós, empresas, nos admiramos especialmente porque nossa postura ética foi examinada duas vezes em tribunais dos EUA", disse Lenchner.

A batalha pelo acesso a dados da web reflete tensões mais amplas no setor de IA sobre controle de informações e vantagem competitiva. À medida que os sistemas de IA se tornam mais sofisticados, o acesso a dados atuais e abrangentes da web torna-se cada vez mais valioso — e controverso.

Lenchner prevê que a web se tornará "mais fechada" com o tempo, semelhante à forma como o Google mantém acesso exclusivo aos seus recursos de rastreamento da web, enquanto outros precisam usar serviços alternativos. "Alguns gigantes da tecnologia terão acesso gratuito a todos os sites com seus agentes", disse ele. "O restante precisará usar nossa infraestrutura ou a infraestrutura de outra empresa."

A empresa também está observando novas tendências, incluindo empresas que estão abandonando chatbots de IA para fins de marketing e o surgimento de novos protocolos como o MCP, que permitem que agentes de IA interajam com serviços da web de forma mais eficaz.

“Todos esses caras que consomem enormes quantidades de dados, e todos nós os usamos, estão contribuindo para a construção dos cérebros dos robôs”, disse Lenchner. “Tudo bem ter um chatbot conversando com um humano, porque é isso que um robô eventualmente fará.”

A transformação da Bright Data de serviço de web scraping para provedora de infraestrutura de IA reflete as necessidades em rápida evolução do setor de inteligência artificial. À medida que as empresas se apressam para implementar agentes de IA e sistemas autônomos, o acesso a dados da web em tempo real torna-se tão crucial quanto o poder computacional e a sofisticação algorítmica.

Os precedentes legais estabelecidos pelas vitórias judiciais da Bright Data podem ser tão significativos quanto suas inovações técnicas, potencialmente moldando a forma como toda a indústria de IA acessa e utiliza informações da web. Com as principais plataformas de tecnologia restringindo cada vez mais o acesso a dados enquanto desenvolvem seus próprios sistemas de IA, provedores independentes de infraestrutura como a Bright Data podem se tornar essenciais para manter o equilíbrio competitivo no ecossistema de IA.

“Somos uma empresa de infraestrutura”, enfatizou Lenchner. “Somos engenheiros muito talentosos que dificilmente vão a lugar nenhum, apenas sentamos diante de nossos computadores e escrevemos código. Estamos fazendo isso bem. Não temos intenção de fazer mais nada.”

A versão beta do Deep Lookup será lançada na terça-feira para clientes empresariais, com acesso público em geral disponível por meio de lista de espera. O Browser.ai e os Servidores MCP já estão disponíveis para clientes empresariais por meio da plataforma existente da Bright Data.