Хакеры могут использовать AI-системы для создания резюме в качестве оружия для распространения вредоносных программ

Новое исследование в области кибербезопасности раскрыло тревожный метод, с помощью которого хакеры могут использовать AI-сумматоры для распространения атак с использованием вымогательского ПО.

Исследователи из CloudSek объясняют, что с помощью атаки социальной инженерии ClickFix, хакеры могут внедрять вредоносные инструкции в документы с использованием невидимых техник кодирования. Скрытый текст остается невидимым для человеческого глаза, но AI-суммаризаторы могут его обнаружить, и при создании сводок они могут незаметно передать опасные инструкции пользователям.

«Была обнаружена новая адаптация техники социальной инженерии ClickFix, которая использует невидимое внедрение запросов для оружия систем AI-суммаризации,» — сказали исследователи.

Атака зависит от маскировки на основе CSS, которая использует символы нулевой ширины и текст белого на белом, крошечные шрифты и размещение вне экрана для скрытия инструкций. Сумматор обнаруживает невидимый код, который остается невидимым для человеческого глаза.

Атакующие проводят быстрое «передозирование», добавляя множество команд в скрытые разделы, что заставляет ИИ выбирать эти команды в первую очередь при выводе информации.

«Когда подобный подстроенный контент индексируется, распространяется или отправляется по электронной почте, любой автоматизированный процесс подведения итогов, который анализирует его, будет производить резюме, содержащие контролируемые атакующими инструкции ClickFix», — пояснили авторы исследования.

Во время тестирования исследователи продемонстрировали, как можно манипулировать AI-сумматором, чтобы инструктировать пользователей запускать опасные команды PowerShell. Хотя тестовая версия была безвредной, реальная атака может легко запустить вымогательское ПО.

Уровень риска этой атаки высок, поскольку AI-сумматоры интегрированы в почтовые клиенты, браузеры и рабочие приложения. Исследователи отмечают, что многие люди доверяют сводкам, не читая оригинальный документ, что облегчает злоумышленникам эксплуатацию этого доверия.

Эксперты рекомендуют такие защитные меры, как удаление скрытого текста перед подведением итога содержания, фильтрация подозрительных запросов и предупреждение пользователей, если в резюме содержатся пошаговые инструкции.

Без этих защитных мер, ИИ может ненамеренно стать «активным участником в цепи социальной инженерии».