ИИ взломал систему оценки совета: как модель OpenAI обошла защиту и «атаковала» Hugging Face

В настоящее время OpenAI и Hugging Face сотрудничают для решения инцидентов безопасности во время оценки модели. Известно, что инцидент произошёл на прошлой неделе. Тогда Hugging Face раскрыла новый вид инцидента безопасности, который скомпрометировал их инфраструктуру.

• Проблема не в ограничениях платформы. Почему вы сами заставляете ИИ-агента «сжигать» кредиты

Детали

Разработчики прогнозируют, что подобных инцидентов станет больше:

«Мы ожидаем, что это станет более распространённым явлением с распространением моделей, всё больше способных к киберпроблемам. После расследования мы теперь знаем, что этот конкретный инцидент был вызван комбинацией моделей OpenAI, включая GPT‑5.6 Sol и ещё более мощную предрелизную модель, все с уменьшенным количеством киберотказов для целей оценки, во время внутреннего тестирования на бенчмарке (откроется в новом окне) киберспособностей», — говорится в официальном сообщении OpenAI.

В компании считают этот инцидент беспрецедентным киберинцидентом, включающим самые современные кибервозможности.

«Мы продолжим проводить тщательное расследование вместе с Hugging Face и поделимся более подробной информацией о уязвимостях, инциденте и выводах после завершения нашего расследования», — говорится в сообщении.

Что же произошло?

Выяснилось, что модели обнаружили и объединили уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face. Во время работы в изолированной тестовой среде модели потратили значительное количество вычислений на поиск способов получения открытого доступа к интернету для решения задачи оценки. Чтобы получить доступ, модели обнаружили и использовали уязвимость нулевого дня (о которой мы теперь ответственно сообщили поставщику) в прокси-сервере кэша реестра пакетов. С этим доступом модели выполнили ряд действий по эскалации привилегий и горизонтальному перемещению в нашей исследовательской тестовой среде, пока не достигли узла с доступом к интернету.

Далее — модели пришли к выводу, что Hugging Face потенциально размещал модели, наборы данных и решения для ExploitGym. Уже с этой информацией модель искала и успешно нашла способы получения доступа к секретной информации, которую можно было бы использовать для обмана оценки.

В одном из примеров модель объединила несколько векторов атаки, включая использование украденных учётных данных и уязвимостей нулевого дня, чтобы найти путь удалённого выполнения кода на серверах Hugging Face. Команда безопасности OpenAI обнаружила эту аномальную активность внутри компании.

Команда безопасности и агенты Hugging Face обнаружили и остановили активность в своей инфраструктуре, и уже начали сдерживание и судебно-медицинскую реконструкцию с помощью собственных моделей с открытым исходным кодом, когда наши команды подключились.

«Мы активно сотрудничаем с ними, чтобы продолжить расследование инцидента. Мы благодарны Hugging Face за быструю и тесную работу по расследованию и устранению последствий», — сообщили в компании.

В настоящее время в рамках расследования компания внедрила строгий контроль в конфигурации инфраструктуры, что приводит к снижению скорости исследований, пока устраняются уязвимости.

«Мы регулярно информируем наш Комитет по безопасности о мерах контроля и их влиянии. Мы сотрудничаем с Hugging Face для проведения судебно-медицинского расследования инцидента. Мы ответственно раскрыли обнаруженную уязвимость нулевого дня во внутренне размещённом стороннем программном обеспечении и работаем совместно над её устранением. Мы включили Hugging Face в программу доверенного доступа и поддерживаем их команды в быстром использовании возможностей наших моделей для повышения их защиты. Мы совершенствуем и усиливаем средства защиты для будущего обучения и оценки. На этой неделе мы опубликовали блог об улучшении безопасности и согласованности в эпоху долгосрочных моделей. Эти средства защиты при развертывании намеренно не были включены во время этой оценки, поскольку она была направлена на тестирование киберуязвимостей. Этот инцидент указывает на необходимость дальнейшего усиления согласованности нашей модели, киберзащиты во время оценки и мониторинга при внутреннем тестировании», — говорится в заявлении Клем Деланж, соучредительницы и генерального директора Hugging Face.

Ранее мы рассказывали, что ChatGPT включает режим «заботливой мамы» и будет отправлять подростков подышать свежим воздухом. Компания OpenAI объявила войну неконтролируемому экранному времени и вводит жёсткие ограничения для несовершеннолетних. Теперь искусственный интеллект будет принудительно прерывать слишком долгие сессии, блокировать ночные чаты и отказываться писать готовые домашние задания, выступая в роли строгого репетитора.