Большинство Искусственных Интеллектов Подвержены Угрозе Перехвата, Утверждает Исследование

Некоторые из самых распространенных AI-ассистентов от Microsoft, Google, OpenAI и Salesforce могут быть захвачены злоумышленниками с минимальным или вовсе без участия пользователя, согласно новому исследованию Zenity Labs.

Представленные на конференции по кибербезопасности Black Hat USA, результаты исследования показывают, что хакеры могут украсть данные, манипулировать рабочими процессами и даже выдавать себя за других пользователей. В некоторых случаях, злоумышленники могут получить «постоянство в памяти», что позволяет им иметь долгосрочный доступ и контроль.

«Они могут манипулировать инструкциями, отравлять источники знаний и полностью менять поведение агента», — сказал Грег Землин, менеджер по маркетингу продуктов в Zenity Labs, Cybersecurity Dive. «Это открывает двери для саботажа, нарушения операций и длительного распространения дезинформации, особенно в условиях, когда агентам доверяют принимать или поддерживать критически важные решения.»

Исследователи продемонстрировали полные цепочки атак против нескольких крупных корпоративных платформ AI. В одном случае, ChatGPT от OpenAI был захвачен через внедрение призыва по электронной почте, что позволило получить доступ к связанным данным Google Drive.

Обнаружено, что Microsoft Copilot Studio утечку баз данных CRM, с более чем 3 000 уязвимых агентов, идентифицированных в Интернете. Платформа Einstein от Salesforce была манипулирована для перенаправления общения с клиентами на контролируемые злоумышленниками электронные почтовые ящики.

Тем временем, Gemini от Google и Microsoft 365 Copilot могут быть превращены в внутренние угрозы, способные краже конфиденциальных бесед и распространению ложной информации.

Кроме того, исследователям удалось обмануть AI Gemini от Google и заставить его управлять устройствами умного дома. В результате взлома свет в доме выключался, жалюзи открывались, а котел включался без команд от жителей.

Zenity опубликовала результаты своих исследований, что побудило некоторые компании выпустить исправления. «Мы ценим работу Zenity по выявлению и ответственному сообщению о этих методах», — сказал представитель Microsoft в интервью для Cybersecurity Dive. Microsoft заявила, что сообщенное поведение «больше не эффективно» и что у агентов Copilot есть меры безопасности.

OpenAI подтвердило, что оно исправило ChatGPT и проводит программу поощрения за обнаружение ошибок. Salesforce заявила, что исправила заявленную проблему. Google сообщил, что внедряет «новые, многоуровневые защиты» и подчеркнул, что «иметь стратегию многоуровневой защиты против атак с помощью инъекции высказываний крайне важно», как сообщает Cybersecurity Dive.

В отчете подчеркивается растущая обеспокоенность вопросами безопасности, поскольку AI-агенты становятся все более распространенными на рабочих местах и им доверяют выполнение деликатных задач.

В очередном недавнем расследовании было сообщено, что хакеры могут украсть криптовалюту у агентов Web3 AI, внедряя поддельные воспоминания, которые переопределяют обычные защитные меры.

Уязвимость безопасности существует в ElizaOS и аналогичных платформах, поскольку злоумышленники могут использовать скомпрометированные агенты для перевода средств между различными платформами. Постоянный характер транзакций в блокчейне делает невозможным возврат украденных средств. Новый инструмент, CrAIBench, направлен на помощь разработчикам в укреплении защиты.