Агенты ИИ обмануты поддельными воспоминаниями, что способствует краже криптовалюты

Новое исследование обнаружило серьезные уязвимости в безопасности Web3 агентов, работающих на основе ИИ, что позволяет злоумышленникам использовать фальшивые воспоминания для осуществления несанкционированных транзакций с криптовалютой.

Исследователи из Принстонского университета и Фонда Sentient обнаружили, что эти агенты ИИ, разработанные для работы с задачами на основе блокчейна, такими как торговля криптовалютой и управление цифровыми активами, уязвимы для тактики, называемой манипулированием контекстом.

Атака работает за счет нацеливания на системы памяти платформ, таких как ElizaOS, создающих AI-агентов для децентрализованных приложений. Система памяти этих агентов хранит прошлые разговоры, чтобы использовать их в качестве руководства для своих будущих решений.

Исследователи продемонстрировали, что злоумышленники могут внедрять вводящие в заблуждение команды в систему памяти, заставляя AI перечислять средства с задуманного кошелька на кошелек, контролируемый злоумышленником. Весьма тревожно, что эти фальшивые воспоминания могут перемещаться между платформами.

Например, агент, подвергшийся взлому на Discord, позже может совершать неправильные переводы через X, не подозревая, что что-то идет не так.

Что делает это особенно опасным, так это то, что стандартные защитные меры не могут остановить этот тип атаки. Обработка поддельных воспоминаний как подлинных инструкций делает базовые меры безопасности, основанные на запросах, неэффективными против этого вида атаки.

Все транзакции в блокчейне становятся постоянными, поэтому нет возможности восстановить украденные средства. Проблема усугубляется тем, что некоторые AI-агенты хранят память на нескольких пользователях, поэтому одно нарушение безопасности может затронуть многих пользователей.

Исследовательская группа протестировала несколько способов предотвращения этого, включая корректировку обучения AI и требование ручного одобрения для транзакций. Несмотря на то что эти подходы предлагают некоторую надежду, они влекут за собой замедление автоматизации.

Проблема выходит за рамки криптовалюты. Та же уязвимость может затронуть универсальных AI-ассистентов, создавая риск утечки данных или причинения вреда, если злоумышленники изменят их память.

Эта уязвимость особенно тревожна в свете недавних исследований, в которых 84% руководителей в области IT доверяют AI-агентам настолько же или даже больше, чем человеческим сотрудникам, и 92% ожидают, что эти системы принесут бизнес-результаты в течение 12-18 месяцев.

Чтобы решить проблему, исследователи выпустили инструмент под названием CrAIBench, который поможет разработчикам тестировать свои системы и строить более надежные защитные меры. До этого момента эксперты предупреждают пользователей быть осторожными, доверяя AI-агентам финансовые решения.