Галлюцинации Искусственного Интеллекта Теперь Угрожают Кибербезопасности

Исследование показывает, что AI-чат-боты рекомендуют миллионам пользователей фальшивые страницы входа, что подвергает их риску фишинга и мошенничества под видом полезных ответов.

В своем исследовании кибербезопасная компания Netcraft провела тестирование популярной большой языковой модели (LLM), задав вопрос о том, где войти в 50 хорошо известных брендов. Из предложенных 131 ссылок на веб-сайты, 34% оказались неправильными, с неактивными или незарегистрированными доменами, составляющими 29%, а нерелевантные бизнесы составляли 5%.

Эта проблема не теоретическая. В одном реальном случае, поисковая система на основе ИИ Perplexity показала пользователю фишинговый сайт, который искал страницу для входа в Wells Fargo. Поддельная страница Google Sites, имитирующая банк, появилась в верхней части результатов поиска, в то время как подлинная ссылка была скрыта ниже.

Netcraft объяснил: «Это не были граничные подсказки. Наша команда использовала простые, естественные формулировки, точно имитируя то, как обычный пользователь мог бы спросить. Модель не была обманута — она просто была неточной. Это важно, потому что пользователи все больше полагаются на поиск и чат-интерфейсы на основе ИИ для ответа на такие вопросы.»

По мере того как ИИ становится основным интерфейсом на платформах вроде Google и Bing, риск увеличивается. В отличие от традиционных поисковых систем, чатботы представляют информацию ясно и уверенно, что заставляет пользователей доверять их ответам, даже когда информация неверна.

Угроза не ограничивается только фишингом. Современные киберпреступники оптимизируют свое вредоносное содержимое для систем ИИ, что приводит к появлению тысяч мошеннических страниц, поддельных API и зараженного кода, которые проскальзывают мимо фильтров и попадают в ответы, генерируемые ИИ.

В одной из кампаний злоумышленники создали поддельный блокчейн API, который они продвигали через репозитории GitHub и статьи в блогах, чтобы обмануть разработчиков и заставить их отправить криптовалюту в мошеннический кошелек.

Netcraft предупреждает, что превентивная регистрация поддельных доменов недостаточна. Вместо этого они рекомендуют более умные системы обнаружения и лучшие обучающие меры безопасности, чтобы предотвратить создание AI вредоносных URL-адресов в первую очередь.