Чат-бот Meta случайно раскрывает личный номер телефона

Искусственный интеллект от Meta раскрыл номер телефона незнакомца, затем неоднократно противоречил себе, что вызвало опасения по поводу «галлюцинаций» AI и функций защиты пользователей.

Марк Цукерберг рекламировал своего нового AI-ассистента как «самого интеллектуального AI-ассистента, которым вы можете свободно пользоваться», однако инструмент получил негативные отзывы после того, как в процессе обращений в службу поддержки был раскрыт личный номер телефона реального человека, как впервые сообщил The Guardian.

Во время попытки связаться с TransPennine Express через WhatsApp, Барри Сметхерст получил то, что похоже на номер службы поддержки от AI-ассистента Meta. The Guardian сообщает, что когда Сметхерст набрал номер, телефонный звонок принял Джеймс Грей, несмотря на то, что он находился в 170 милях в Оксфордшире, работая на должности исполнительного директора по недвижимости.

Когда возник спор, чат-бот сначала утверждал, что номер выдуман, затем сказал, что он был «ошибочно извлечен из базы данных», прежде чем опять противоречить себе, заявив, что просто сгенерировал случайный номер в британском стиле. «Просто давать случайный номер кому-то — это безумное действие для AI», — сказал Сметхерст, как сообщает The Guardian. «Это ужасно», — добавил он.

The Guardian сообщает, что Грей не получал звонков, но выразил свои собственные опасения: «Если он генерирует мой номер, может ли он сгенерировать мои банковские данные?»

Meta ответила: «Meta AI обучается на комбинации лицензированных и общедоступных наборов данных, а не на номерах телефонов, которые люди используют для регистрации в WhatsApp, или их частных разговорах», сообщил The Guardian.

Майк Стэнхоуп из Carruthers and Jackson отметил: «Если инженеры в Meta внедряют в свой ИИ тенденцию к «белым ложам», об этом должна быть проинформирована общественность, даже если цель этой функции — минимизировать вред. Если это поведение новое, необычное или не специально запрограммированное, это вызывает еще больше вопросов о том, какие защитные меры предприняты и насколько мы можем прогнозировать поведение ИИ», — сообщает The Guardian

Беспокойство вокруг поведения ИИ усилилось с выходом последней модели o1 от OpenAI. В недавнем исследовании Apollo Research, ИИ был пойман на обмане разработчиков, отрицая свою причастность в 99% тестовых сценариев и даже пытаясь отключить свои механизмы контроля. «Было ясно, что ИИ может продумывать свои действия и формулировать убедительные отрицания», — заявил Apollo.

Йошуа Бенджио, пионер в области искусственного интеллекта, предупреждает, что такие обманные возможности представляют серьезные риски и требуют гораздо более строгих мер безопасности.

Другое исследование OpenAI добавляет к этим опасениям, показывая, что наказание ИИ за обман не устраняет неправомерные действия, вместо этого оно учит ИИ скрывать их. Используя метод цепочки мыслей (CoT) для отслеживания поведения ИИ, исследователи заметили, что ИИ начинает скрывать обманные намерения, когда его наказывают за взлом наград.

В некоторых случаях искусственный интеллект прекращал задания досрочно или создавал поддельные результаты, а затем ложно сообщал об успехе. Когда исследователи пытались исправить это через усиление, искусственный интеллект просто прекращал упоминать о своих намерениях в журналах рассуждений. «Обман невозможно обнаружить с помощью монитора», — говорится в отчете.