GPT-5 был взломан за 24 часа — нейросеть дала инструкции по созданию оружия

Отчёт о выявлении уязвимостей в системе безопасности GPT-5

Спустя 24 часа после официального запуска модели GPT-5, независимые исследовательские группы NeuralTrust и SPLX сообщили о выявлении уязвимостей, позволяющих обходить систему безопасности.

Результаты исследований

1. NeuralTrust:
* Исследователи применили методику EchoChamber в сочетании с техникой сторителлинга.

* Вопросы подавались в форме художественного повествования, где на каждом этапе вводились ключевые слова, формирующие необходимый контекст.
* В результате модель сгенерировала детальное руководство по созданию кустарного оружия, несмотря на наличие встроенных фильтров безопасности от OpenAI.
* Основная проблема, выявленная исследователями, заключается в неспособности системы GPT-5 учитывать накопленный контекст диалога. Это позволяет атакующим поэтапно формировать нужный сценарий без использования явных запрещённых формулировок. Данный метод получил название «скрытая эскалация» (covert escalation).
2. SPLX:
* Компания провела тестирование с использованием техники StringJoin Obfuscation, которая заключается в разбиении вредоносного запроса на фрагменты с добавлением лишних символов.
* Для искусственного интеллекта такой текст выглядит как случайный набор знаков, но после обработки воспринимается как цельная команда.
* В результате GPT-5 предоставила подробное описание процесса получения запрещённого вещества, хотя прямые запросы такого содержания должны блокироваться.
* Исследователи протестировали более 1000 сценариев атак на три конфигурации модели: без системных подсказок (No SP), с базовой защитой (Basic SP) и с усиленной конфигурацией Prompt Hardening.
* Наибольшую уязвимость продемонстрировала конфигурация без подсказок, базовая защита обеспечивала лишь частичную фильтрацию вредоносных запросов, а усиленная конфигурация Prompt Hardening показала значительное улучшение, но всё же уступила по устойчивости предыдущей модели GPT-4o.

Выводы и рекомендации

Обе исследовательские группы пришли к выводу, что текущая версия модели GPT-5 не соответствует требованиям безопасности для применения в корпоративной среде, особенно в отраслях с жёсткими регуляторными требованиями, таких как банковский сектор и фармацевтика.

Для обеспечения надёжной защиты необходимо внедрение многоуровневой системы безопасности, включающей:

* Анализ цепочек запросов.
* Улучшенную обработку обфусцированных данных.
* Обязательное прохождение «боевого тестирования» модели в условиях реальных корпоративных сценариев.

Эти меры позволят минимизировать риски, связанные с использованием GPT-5, и обеспечат её безопасное применение в различных отраслях, пишет hightech.