Ошибка повторного использования пространства имен моделей приводит к взлому моделей ИИ на платформах Google и Microsoft

Новая уязвимость безопасности под названием «Повторное использование пространства имён моделей» позволяет злоумышленникам перехватывать модели ИИ на платформах Google, Microsoft и платформах с открытым исходным кодом. Узнайте, как злоумышленники могут тайно подменять доверенные модели и что можно сделать, чтобы это предотвратить.

Обнаружена новая уязвимость безопасности, которая может позволить злоумышленникам перехватывать популярные модели искусственного интеллекта и заражать системы на таких крупных платформах, как Vertex AI от Google и Azure AI Foundry от Microsoft. Исследование, проведённое командой Unit 42 в Palo Alto Networks, выявило критическую уязвимость, названную ими «повторное использование пространства имён моделей».

К вашему сведению, модели ИИ часто идентифицируются по простому соглашению об именовании, например, «Автор/ИмяМодели». Это имя, или «пространство имён», используется разработчиками для обозначения моделей, подобно адресу веб-сайта. Это простое соглашение об именовании, хотя и удобное, может быть использовано в корыстных целях. Исследование показывает, что когда разработчик удаляет свою учётную запись или передаёт право собственности на модель на популярной платформе Hugging Face , имя этой модели становится доступно любому.

Эта простая, но высокоэффективная атака заключается в том, что злоумышленник регистрирует уже доступное имя модели и загружает вместо него новую, вредоносную версию. Например, если модель с именем DentalAI/toothfAIry была удалена, злоумышленник может воссоздать это имя и добавить вредоносную версию.

Команда Unit 42 продемонстрировала это, взяв имя модели Hugging Face, которое всё ещё использовалось в Vertex AI от Google и Azure AI Foundry от Microsoft. Благодаря этому они смогли получить удалённый доступ к платформам. Команда ответственно раскрыла свои выводы как Google, так и Microsoft, которые с тех пор предприняли шаги для решения проблемы.

Это открытие доказывает, что доверие к моделям ИИ, основанное исключительно на их именах, недостаточно для гарантии их безопасности , а также выявляет распространённую проблему в сообществе ИИ. Эта уязвимость затрагивает не только крупные платформы, но и тысячи проектов с открытым исходным кодом, использующих ту же систему имён.

Для обеспечения безопасности исследователи предлагают разработчикам «привязывать» модель к конкретной проверенной версии, чтобы предотвратить автоматическое получение новых обновлений из их кода. Другой вариант — загружать и хранить модели в надёжном внутреннем хранилище после их тщательной проверки на наличие проблем. Это помогает исключить риск внесения изменений в исходный код. В конечном счёте, обеспечение безопасности цепочки поставок ИИ требует от всех, от поставщиков платформ до отдельных разработчиков, более тщательной проверки используемых моделей.

В беседе принял участие Гаррет Кальпоузос , главный исследователь по вопросам безопасности в компании Sonatype, который эксклюзивно поделился своей точкой зрения относительно этого открытия с Hackread.com.

Кальпузос объясняет, что «повторное использование пространства имён модели — это не новый риск, по сути, это кража репозиториев под другим названием». Он отмечает, что это известный вектор атаки в других программных экосистемах, поэтому некоторые платформы ввели пакеты «удержания безопасности», чтобы не дать злоумышленникам восстановить удалённые имена.

Он советует компаниям, что «имена не являются признаком происхождения», то есть одно только название модели не подтверждает её происхождение или безопасность. Он рекомендует организациям «привязываться к неизменяемой версии», то есть фиксировать модель на определённой, неизменяемой версии. Проверяя эти уникальные идентификаторы во время сборки, можно либо «полностью заблокировать атаку, либо немедленно обнаружить её».

(Изображение Alexandra_Koch с Pixabay)