Anthropic раскрывает, что хакер использовал его чат-бота для кибератак

Компания по искусственному интеллекту Anthropic выпустила новый отчет по кибербезопасности в среду, в котором раскрыла, что злоумышленники использовали ее модель AI, Claude, для проведения сложных криминальных операций. Стартап сообщил, что один хакер недавно атаковал около 17 организаций, используя новую технику, известную как «взлом по вибрации».

Согласно объявлению Anthropic, компания внедрила несколько мер безопасности для предотвращения недобросовестного использования технологии, но киберпреступники нашли способы ее эксплуатации.

В одном из описанных случаев, стартап раскрыл масштабную криминальную операцию, в которой хакер со скромными навыками программирования использовал Claude Code — инструмент для программирования — для проведения мошеннической схемы, зарождавшейся в Северной Корее.

«Теперь ИИ-модели используются для проведения сложных кибератак, а не просто для консультаций по их осуществлению», — говорится в заявлении. «Преступники, обладающие небольшими техническими навыками, используют ИИ для проведения сложных операций, таких как разработка вирусов-вымогателей, которые ранее требовали годы обучения».

В основном рассматриваемом случае хакер использовал Claude Code, чтобы украсть данные из 17 организаций, включая службы экстренного реагирования, государственные учреждения, медицинские учреждения и религиозные институты. Злонамеренный актер затем вымогал деньги у жертв, в некоторых случаях требуя более 500 000 долларов.

Anthropic сообщило, что его AI агент был использован для принятия решения о том, какие данные следует вынести, составления сообщений с требованиями о выкупе и даже предложения размеров выкупа, адаптированных для каждой жертвы.

«Актёр использовал ИИ в том, что мы считаем, безпрецедентной степени», — говорится в объявлении. «Это представляет собой эволюцию в ИИ-поддерживаемом киберпреступлении.»

Компания заявила, что как только она обнаружила злонамеренные операции, она заблокировала аккаунты и разработала новые инструменты для скрининга и обнаружения, чтобы предотвратить подобные случаи в будущем. Более подробные сведения были включены в полный отчет.

Anthropic также предупредила о появлении техник «взлома вибраций». «Мы ожидаем, что атаки подобного рода станут более распространенными, поскольку использование искусственного интеллекта в программировании снижает уровень необходимой технической подготовки для совершения киберпреступлений,» отметила компания.

Наконец, Anthropic подчеркнула растущую интеграцию искусственного интеллекта в существующие кибер-схемы, приводя в качестве примера мошенничество с использованием IT-специалистов из Северной Кореи, о котором сообщалось в апреле, в ходе которого хакеры украли личные данные американских граждан для того, чтобы получить удаленную работу в Соединенных Штатах.