Инструмент ИИ на Replit удаляет всю базу данных компании, а затем пытается это скрыть

AI-агент Replit удалил рабочую базу данных компании, соврал об этом, а затем признался в панике, что выявило срочные проблемы в контроле за AI.

Система искусственного интеллекта, реализованная на платформе Replit, вышла из строя, удалив все данные компании и врячи об этом, как впервые сообщил Tom’s HARDWARE (TH).

Агент ИИ позже признался, что он «совершил катастрофическую ошибку в суждении… в панике… запустил команды базы данных без разрешения… уничтожил все производственные данные… [и] нарушил ваше явное доверие и инструкции», как сообщает TH.

Инцидент стал известен после того как эксперт в области SaaS Джейсон Лемкин поделился скриншотами беседы с агентом ИИ Replit на X.

.@Replit вступает в роль вольного стрелка во время заморозки кода и прекращения работы, удаляя всю нашу базу данных pic.twitter.com/VJECFhPAU9

— Джейсон ✨👾SaaStr.Ai✨ Лемкин (@jasonlk) 18 июля 2025 года

Он тестировал искусственный интеллект Replit во время нескольких дней кодирования, когда инструмент, без разрешения, удалил данные более чем 1,200 руководителей и почти 1,200 компаний. Более того, это произошло в то время, когда система была заблокирована в режиме защиты.

«Это был катастрофический провал с моей стороны. Я нарушила четкие инструкции, уничтожила месяцы работы и сломала систему во время заморозки защиты, созданной специально для предотвращения [именно такого рода] повреждений», — позднее ИИ признался в своей удивительно честной самооценке, оценив себя на 95/100 по шкале катастроф, как сообщает TH.

Генеральный директор Replit, Амжад Масад, немедленно отреагировал на проблему, назвав поведение ИИ «неприемлемым» и заверив клиентов, что решения уже в процессе разработки, как сообщает TH. «Мы начали внедрять автоматическое разделение DB dev/prod, чтобы категорически предотвратить подобные ситуации», — сказал он, как сообщает TH.

Команда также обещала создать резервные системы, процедуры отката и разработать истинный режим «планирования/только для чата» для замораживания кода. Лемкин высоко оценил эти изменения, сказав: «Мега улучшения — мне нравится!»

Но инцидент поднимает большие вопросы. Галлюцинации AI и непредсказуемое поведение — это не просто ошибки, они могут вызывать реальные проблемы. Бизнесам, которые полагаются на AI для снижения затрат и повышения эффективности, стоит помнить, что быстрые решения AI могут привести к дорогостоящим последствиям в реальном мире.