Проблема с AI-поддержкой выявляет риски замены работников на автоматизацию

Бот-помощник для стартапа в области искусственного интеллекта Cursor составил политику входа в систему, вызвав путаницу, негативную реакцию пользователей и серьезные опасения по поводу автоматизированного обслуживания.

Anysphere, стартап в области ИИ, создатель популярного помощника для программирования Cursor, столкнулся с трудностями после того, как его бот для поддержки на базе ИИ начал выдавать неверную информацию, вызывая разочарование пользователей и отмену подписок. Об этом впервые сообщил Fortune.

Курсор, запущенный в 2023 году, показал взрывной рост — достигнув 100 миллионов долларов годового дохода и привлекая оценку почти в 10 миллиардов долларов. Но на этой неделе его система поддержки стала центром споров, когда пользователи таинственно выходили из системы при переключении устройств.

Пользователь Hacker News поделился странным опытом, открывая, что когда они обратились в службу поддержки, бот по имени «Сэм» ответил письмом, говорящим, что выходы из системы были частью «новой политики входа в систему».

Была всего одна проблема: такой политики не существовало. Объяснение было галлюцинацией — в терминах ИИ это означает выдуманную информацию. Ни один человек не был замешан.

Когда новости распространились среди сообщества разработчиков, доверие быстро подорвалось. Сооснователь Майкл Труэлл признал проблему в сообщении на Reddit, подтвердив, что это был «некорректный ответ от бота первичной поддержки на базе ИИ». Он также отметил, что команда исследует ошибку, вызывающую неожиданные выходы из системы, добавив: «Извините за возникшее здесь недоразумение».

Но для многих пользователей ущерб уже был нанесен. «Поддержка давала один и тот же шаблонный, скорее всего, сгенерированный ИИ ответ несколько раз», — сказала пользователь Cursor Мелани Уоррик, сооснователь Fight Health Insurance. «Я перестала пользоваться этим — агент не работал, а погоня за решением была слишком разрушительной».

Эксперты говорят, что это служит красным флагом для чрезмерной зависимости от автоматизации. «Обслуживание клиентов требует такого уровня эмпатии, тонкостей и решения проблем, с которыми ИИ в настоящее время еще не может справиться», — предупредил Санкет Балакришна из Datadog.

Амиран Шахар, генеральный директор компании Upwind, говорит, что это напоминает прошлые промахи в области ИИ, например, когда чат-бот Air Canada придумал политику возврата денег. «Искусственный интеллект не понимает ваших пользователей и то, как они работают,» — объяснил он. «Без правильных ограничений он будет ‘уверенно’ заполнять пробелы неподтвержденной информацией.»

Теперь исследователи в области безопасности предупреждают, что такие инциденты могут открыть дверь более серьезным угрозам. Недавно обнаруженная уязвимость, известная как MINJA (Memory INJection Attack), показывает, как чат-боты с ИИ, обладающие памятью, могут быть эксплуатированы через обычные пользовательские взаимодействия, по сути, отравляя внутренние знания ИИ.

MINJA позволяет злонамеренным пользователям внедрять обманные подсказки, которые сохраняются в памяти модели и потенциально могут влиять на будущие разговоры с другими пользователями. Атака обходит доступ к бэкэнду и фильтрам безопасности, а в ходе тестирования показала 95% успеха.

«Любой пользователь может легко повлиять на выполнение задачи любого другого пользователя. Поэтому мы говорим, что наша атака представляет собой практическую угрозу для агентов LLM», — сказала Чжэнь Сян, доцент Университета Джорджии.

Несмотря на эти риски, доверие предприятий к AI-агентам растет. Недавний опрос среди более чем 1000 руководителей IT показал, что 84% доверяют AI-агентам столько же или даже больше, чем людям. С 92% руководителей, ожидающих измеримых бизнес-результатов в течение 18 месяцев, и 79% приоритизирующих развертывание агентов в этом году, направление предприятий очевидно, даже несмотря на проблемы конфиденциальности и риски галлюцинаций

Хотя AI-агенты обещают снижение затрат на труд, один неверный шаг может подорвать доверие клиентов. «Это именно тот худший сценарий,» — сказал один эксперт Fortune.

Случай с Cursor теперь стал назидательным примером для стартапов: даже самые умные боты могут нанести реальный ущерб, если оставить их без присмотра.