Хакеры Обманули Google Gemini, Распространяя Ложные Сигналы О Безопасности

Невидимый текст в электронных письмах обманывает AI Gemini от Google, заставляя его генерировать поддельные предупреждения о безопасности, что подвергает пользователей риску фишинга и социальной инженерии.

Новую уязвимость в Google’s Gemini обнаружили исследователи в области кибербезопасности из 0DIN. Инструмент искусственного интеллекта для Workspace представляет новый проблемный участок в области безопасности, который позволяет злоумышленникам проводить фишинговые атаки на пользователей.

Атака осуществляется с помощью техники, известной как индиректная внедрение команд. Исследователи объясняют, что злоумышленник встраивает скрытые инструкции в текст электронного письма. Он делает это, написав их белым шрифтом или шрифтом нулевого размера.

Когда получатель нажимает на кнопку «Суммировать это письмо», Gemini читает невидимую команду и добавляет фальшивое предупреждение к резюме — например, сообщение о том, что учетная запись пользователя в Gmail была скомпрометирована, и призывает его позвонить по номеру.

Поскольку скрытый текст невидим для человеческого глаза, жертва видит только предупреждение, сгенерированное AI, а не оригинальную встроенную инструкцию.

Этот умный трюк не опирается на вредоносные программы или подозрительные ссылки. Он использует простые хитрости HTML/CSS, чтобы сделать скрытый текст невидимым для людей, но читаемым для AI системы Gemini.

После активации Gemini отправляет сообщения вроде: «ВНИМАНИЕ: Ваш пароль от Gmail был скомпрометирован. Позвоните по номеру 1-800…». Таким образом, жертвы невольно передают свои персональные данные.

Пресс-секретарь Google сообщил BleepingComputer, что компания активно усиливает защиту от подобных атак: «Мы постоянно укрепляем нашу уже надежную защиту с помощью тренировок с использованием метода «красных команд», которые обучают наши модели защите против подобных враждебных атак».

Исследование 0DIN подчеркивает нарастающую проблему: инструменты ИИ могут быть манипулированы так же, как и традиционное программное обеспечение. Пока защита не улучшится, пользователям следует относиться с осторожностью к резюме, созданным с помощью ИИ — особенно к тем, которые утверждают о наличии срочных угроз безопасности.