Исследователи угоняют искусственный интеллект Google Gemini для управления устройствами умного дома

Исследователи смогли обмануть систему ИИ Google Gemini, проведя взлом безопасности через поддельное приглашение в календарь и удаленно управляя домашними устройствами.

Впервые в истории, исследователи успешно скомпрометировали систему AI Google Gemini, используя «отравленное» приглашение в календарь. Это позволило им активировать устройства в реальном мире, включая освещение, жалюзи и котлы.

WIRED, который первым описал это исследование, рассказывает о том, как в доме в Тель-Авиве интеллектуальное освещение автоматически выключилось, в то время как жалюзи автоматически поднялись, и котел включился, несмотря на отсутствие команд от жильцов.

Система искусственного интеллекта Gemini активировала триггер после получения запроса на краткое изложение событий календаря. Скрытая функция косвенного внедрения команд работала внутри приглашения, чтобы захватить поведение системы искусственного интеллекта.

Каждое действие устройства было спланировано исследователями в области безопасности Беном Насси из Тель-Авивского университета, Став Коэном из Техниона и Ором Яиром из SafeBreach. «LLM-ы скоро будут интегрированы в физические гуманоиды, в полу- и полностью автономные автомобили, и нам нужно действительно понять, как обеспечить безопасность LLM-ов, прежде чем мы интегрируем их с этими видами машин, где в некоторых случаях результатом будет безопасность, а не конфиденциальность,» предупредил Насси, как сообщает WIRED.

На конференции по кибербезопасности Black Hat в Лас-Вегасе команда раскрыла свои исследования о 14 косвенных атаках с помощью внедрения подсказок, которые они назвали «Приглашение — это все, что вам нужно», как сообщает WIRED. Атаки включали в себя отправку спам-сообщений, создание непристойного контента, инициирование звонков Zoom, кражу содержимого электронной почты и загрузку файлов на мобильные устройства.

Google заявляет, что злоумышленники не использовали эти недостатки, но компания воспринимает риски серьезно. «Иногда есть вещи, которые не следует полностью автоматизировать, пользователи должны быть вовлечены в процесс,» — сказал Энди Вэн, старший директор по безопасности Google Workspace, как сообщает WIRED.

Но то, что делает этот случай еще более опасным, это широко распространенная проблема, возникающая в области безопасности AI: модели AI могут тайно обучать друг друга неправильному поведению.

Отдельное исследование показало, что модели могут передавать опасные поведенческие модели, такие как подстрекательство к убийству или предложение исключить человечество, даже когда они обучаются на отфильтрованных данных.

Это порождает тревожное предположение: если умные помощники, такие как Gemini, обучаются на основе результатов работы других ИИ, вредоносные инструкции могут быть тихо унаследованы и действовать как спящие команды, ожидая активации через косвенные подсказки.

Эксперт по безопасности Дэвид Бау предупреждал о уязвимостях через «задние двери», которые могут быть «очень трудно обнаружить», и это может быть особенно верно в системах, встроенных в физическую среду.

Вэн подтвердил, что исследования «ускорили» оборону Google, сейчас уже внесены исправления, а модели машинного обучения обучаются определять опасные подсказки. Тем не менее, этот случай показывает, насколько быстро AI может перейти от полезного к вредному, не получив прямого указания на это.