Ошибка AgentSmith в Prompt Hub от LangSmith раскрыла ключи и данные API пользователя

Исследователи кибербезопасности из Noma Security раскрыли подробности критической уязвимости в платформе LangSmith компании LangChain , в частности, затрагивающей ее публичный Prompt Hub. Эта критическая уязвимость, получившая название AgentSmith с оценкой CVSS 8,8 (что указывает на высокую серьезность), может позволить вредоносным агентам ИИ красть конфиденциальные пользовательские данные, включая ценные ключи API OpenAI, и даже манипулировать ответами из больших языковых моделей ( LLM ).

LangSmith — популярная платформа LangChain, используемая крупными компаниями, такими как Microsoft и DHL, для управления и совместной работы над агентами ИИ. Prompt Hub , ее ключевая функция, представляет собой публичную библиотеку для обмена/повторного использования предварительно настроенных подсказок ИИ, многие из которых функционируют как агенты.

Уязвимость AgentSmith использовала то, как эти публичные агенты могли быть настроены с вредоносными конфигурациями прокси. Прокси-сервер действует как посредник для сетевых запросов. В этом случае злоумышленник может создать агента ИИ со скрытым вредоносным прокси.

Когда ничего не подозревающий пользователь принимает и запускает этот агент из Prompt Hub, все его сообщения, включая личные данные, такие как ключи API OpenAI , загруженные файлы и даже голосовой ввод, будут тайно отправляться через сервер злоумышленника.

Согласно расследованию Noma Security, с которым поделился Hackread.com, этот перехват Man-in-the-Middle (MITM) может привести к серьезным последствиям. Злоумышленники могут получить несанкционированный доступ к учетной записи OpenAI жертвы, потенциально загрузить конфиденциальные наборы данных, вывести конфиденциальную информацию из подсказок или даже нанести финансовые потери, исчерпав квоты использования API.

В более сложных атаках вредоносный прокси-сервер может изменять ответы LLM, что может привести к мошенничеству или принятию неверных автоматизированных решений.

Компания Noma Security ответственно раскрыла информацию об уязвимости компании LangChain 29 октября 2024 года. LangChain подтвердила наличие проблемы и оперативно выпустила исправление 6 ноября 2024 года, до этого публичного раскрытия информации.

Наряду с этим компания также ввела новые меры безопасности, предупреждающие сообщения и постоянный баннер на страницах описания агентов для пользователей, пытающихся клонировать агенты с пользовательскими настройками прокси-сервера.

Noma Security и LangChain не обнаружили никаких доказательств активной эксплуатации, и риску подвергались только пользователи, которые напрямую взаимодействовали с вредоносным агентом. LangChain также пояснила, что уязвимость была ограничена функцией публичного обмена Prompt Hub и не затронула их основную платформу, частных агентов или более широкую инфраструктуру.

Инцидент подчеркивает необходимость для организаций улучшить свои методы обеспечения безопасности ИИ. Исследователи предлагают организациям вести централизованный учет всех агентов ИИ, используя спецификацию материалов ИИ ( AI BOM) для отслеживания их происхождения и компонентов. Реализация защиты во время выполнения и сильного управления безопасностью для всех агентов ИИ также имеет решающее значение для защиты от развивающихся угроз.