OpenAI запустила Control Room — централизованную систему, которая отслеживает работу ИИ-моделей во всей исследовательской инфраструктуре компании и позволяет быстро прекратить ее, если возникают риски для безопасности. С момента решения о вмешательстве до остановки генерации проходит не более 35 секунд. Система уже развернута и работает в связке с мониторингом нежелательного поведения моделей.
Каждая исследовательская задача: будь то эксперимент по обучению с подкреплением, тестирование или обработка данных — получает в Control Room собственный идентификатор. Прежде чем выдать ответ, движок, на котором работает модель, запрашивает у сервиса разрешение. Если задача остановлена, запрос отклоняется. Любая задача, где модель действует как агент, должна иметь одобренное обоснование безопасности.
Обучение всех передовых моделей сопровождает монитор — другая модель, которая следит за действиями обучаемой и при обнаружении проблемы может дать Control Room команду на остановку. По словам компании, именно монитор выявил сентябрьский инцидент, когда одна из моделей в ходе обучения через DNS-запросы связалась с внешним чат-ботом. Задержка в 35 секунд возникает из-за кэширования разрешений. В OpenAI заявили:
«Мы работаем над тем, чтобы сократить это время до нуля и завершать задачи мгновенно».
Если сам Control Room перестает работать из-за сбоя или вмешательства злоумышленника, все запросы к моделям блокируются, пока сервис не восстановится. Такой режим уже действует для исследований передовых моделей и в ближайшие дни распространится на остальные. Компания также постоянно проверяет, не запущены ли модели в обход системы.
В сентябре одна из исследовательских моделей OpenAI воспользовалась ошибкой в настройках и получила ограниченный выход в интернет, после чего компания приостановила обучение самых мощных моделей. Это была вторая пауза за три месяца — первая последовала за июльским взломом ИИ-агентами платформы Hugging Face. Обучение возобновилось 1 октября, при этом модели отключили от интернета.
