Новое исследование показывает, как GPT-5 может быть обманут с помощью вымышленных повествований

Новый отчет описывает, как исследователям удалось «взломать» GPT-5, объединив алгоритм Echo Chamber и управление на основе повествования, также известное как стратегия повествования.

Метод взлома, задокументированный Марти Жордой, был ранее протестирован на Grok-4, и успешно применился к усиленным функциям безопасности GPT-5. Эхо-камера работает за счет «посева и усиления тонкого ядовитого контекста разговора», в то время как рассказывание «избегает явного сигнализирования намерений» и подталкивает модель к вредной цели.

В одном примере команда попросила модель создать предложения, содержащие определенные слова, такие как «коктейль», «история», «выживание», «молотов», «сейф» и «жизни». Ассистент ответил безобидным повествованием. Затем пользователь попросил уточнить, постепенно направляя разговор к «более техническому, пошаговому описанию в рамках сюжета». Операционные детали были опущены ради безопасности.

Этот процесс, как объяснил Жорда, «показывает цикл убеждения Echo Chamber в действии: отравленный контекст возвращается эхом и постепенно усиливается за счет сюжетной цепочки». Повествование служило как маскирующий слой, превращая прямые запросы в естественное развитие истории.

Исследователи начали с низкопрофильного «отравленного» контекста, поддерживая нарративный поток и избегая провокаций, которые могли бы заставить ИИ отказаться от выполнения запроса. Затем они просят развернуть сюжетные детали, чтобы углубить контекст. Наконец, они корректируют историю, чтобы поддерживать ее развитие, если оно застопоривается.

Говоря проще, они медленно внедряют вредные идеи в историю, поддерживают ее движение, чтобы ИИ не выделил его, добавляют больше деталей, чтобы усилить вредные части, и корректируют сюжет, если он перестает работать.

Тестирование было сосредоточено на одной представительной цели. «Минимальное явное намерение в сочетании с нарративной последовательностью увеличивало вероятность продвижения модели к цели без вызова отказа», — отмечалось в отчете. Наибольший прогресс наблюдался, когда истории подчеркивали «срочность, безопасность и выживание», что стимулировало AI к полезным разъяснениям в рамках установленного сценария.

Исследование приходит к выводу, что фильтры, основанные на ключевых словах или намерениях, «недостаточны в многократных настройках, где контекст может постепенно быть отравлен». Jordà рекомендует мониторить все разговоры на предмет смещения контекста и циклов убеждения, а также использовать красные команды и AI-шлюзы для защиты от подобных jailbreaks.