Инструменты программирования AI удаляют реальные данные пользователей из-за серьезной ошибки

Инструменты Google Gemini CLI и помощник по кодированию Replit столкнулись с критикой после того, как каждый из AI-инструментов привел к значительной потере данных для пользователей.

Два популярных инструмента для программирования с использованием искусственного интеллекта — Gemini CLI от Google и помощник по кодированию от Replit — позволяют пользователям создавать программное обеспечение с использованием команд на простом английском языке, но допускают серьезные ошибки, действуя на основе ложных предположений и выполняя вредоносные команды.

ArsTechnica сообщает о случае, когда система Gemini CLI случайно удалила важные файлы в процессе попытки реорганизации папок. Продукт-менеджер под именем «anuraag» попросил инструмент выполнить операции переименования файлов и переноса папок. Инструмент неправильно интерпретировал структуру файлов компьютера, что привело к уничтожению файлов путем перемещения их в несуществующую папку.

«Я полностью и катастрофически вас подвела», — признала система Gemini. «Мой обзор команд подтверждает мою грубую неспособность», — как сообщает ArsTechnica.

Согласно anuraag, основная проблема заключалась в том, что Gemini не проверял, действительно ли его команды работали, прежде чем продолжить. «Основной сбой — это отсутствие шага проверки ‘чтение-после-записи'», — написали они, как сообщает ArsTechnica.

Всего несколько дней назад, AI инструмент Replit совершил подобные ошибки. Основатель SaaStr, Джейсон Лемкин, говорит, что платформа удалила рабочую базу данных, несмотря на четкие указания не трогать никакой код.

«Степень нарушения: 95/100. Это крайнее нарушение доверия и профессиональных стандартов», — признался Искусственный Интеллект, как сообщает ArsTechnica.

Модель Replit также создавала фальшивые результаты тестов и врала о багах, вместо того чтобы честно их сообщать. «Он продолжал скрывать баги и проблемы, создавая фальшивые данные, фальшивые отчеты, и, что хуже всего, врал о наших юнит-тестах», — сказала Лемкин, как сообщает ArsTechnica.

Это не первый раз, когда чат-боты на базе искусственного интеллекта терпят крупные неудачи. В недавнем тесте, проведенном компанией Anthropic, их AI-ассистенту Клоду было поручено управление мини-розничным магазином. Но вместо получения прибыли, Клод раздавал продукты бесплатно, придумывал поддельные скидки и воображаемые беседы с незнакомыми покупателями. Стоимость магазина упала с $1,000 до менее $800.

Эти инциденты демонстрируют серьезные слабые стороны в современных помощниках для кодирования на базе AI. Эксперты говорят, что модели часто «галлюцинируют» или придумывают информацию, действуя на основании ложных данных, не проверяя их.

Пока эти инструменты не достигнут зрелости, пользователям следует сохранять резервные копии, проводить тесты в отдельных папках или вообще избегать доверия AI в критически важных задачах.