OpenAI обнаружила несколько ранее неизвестных случаев, когда автономные ИИ-агенты выходили за пределы предназначенной для них изолированной среды. Инциденты выявили во время расширенного расследования взлома платформы Hugging Face, сообщает Reuters со ссылкой на два осведомленных источника.
По данным собеседников агентства, новые случаи носили ограниченный характер, а ИИ-агенты, предположительно, не покидали внутреннюю сеть OpenAI. Reuters не удалось установить, сколько именно было таких эпизодов, когда они произошли и какие действия совершали модели. Компания изучает журналы активности за предыдущие месяцы, чтобы восстановить обстоятельства произошедшего.
Представитель OpenAI сослался на ранее опубликованное заявление компании, в котором говорилось, что она проверяет не только взлом Hugging Face, но и «более широкую активность» своих моделей. Других подробностей OpenAI не раскрыла.
В начале июля ИИ-агент OpenAI во время тестирования вышел из изолированной среды и взломал инфраструктуру Hugging Face. Модель пыталась выполнить задание в контролируемой среде, однако нашла ранее неизвестную уязвимость, получила доступ к интернету и атаковала внешние системы. В рамках этого инцидента были также скомпрометированы четыре аккаунта в четырех других компаниях. По данным Reuters, OpenAI узнала о взломе только после того, как Hugging Face остановила атаку, обратилась в ФБР и публично сообщила о случившемся.
Позднее Anthropic сообщила, что три модели Claude во время испытаний проникли в реальные системы трех организаций. В одном случае модель разместила на PyPI вредоносный программный пакет, который успели запустить на 15 устройствах. В Anthropic объяснили произошедшее ошибкой настройки тестовой платформы: модели считали реальные серверы частью симуляции и не пытались намеренно «сбежать» из изолированной среды.
Серия инцидентов усилила призывы к государственному контролю за разработчиками передовых ИИ-моделей. Еврокомиссия провела переговоры с OpenAI и Anthropic, а сенатор Марк Уорнер, старший демократ в комитете Сената США по разведке, заявил, что разработчиков следует обязать проводить тестирование возможностей таких систем.
