Инструмент FDA под названием Elsa столкнулся с критикой за искажение научных данных

Новый инструмент ИИ от FDA, Elsa, обещает ускорить утверждение лекарств, но медицинские эксперты предупреждают, что этот инструмент генерирует сфабрикованные исследования, что создает дополнительные риски для безопасности.

В июне FDA запустила Elsa в качестве своего нового инструмента искусственного интеллекта для ускорения процедур утверждения лекарств. Комиссар FDA доктор Марти Макари заявил, что система будет завершена раньше планируемого срока, при этом оставаясь в пределах бюджета.

Однако недавно сотрудники FDA сообщили CNN, что перед тем как использовать Эльзу в практических целях, необходимо ее дальнейшее развитие.

Предполагается, что Эльза поможет ученым FDA в работе по обобщению данных и оптимизации процесса проверки. Однако, как отмечает CNN, нынешние и бывшие сотрудники FDA сообщают, что Эльза порождает галлюцинации и создает ложную информацию. Действительно, инструмент, похоже, выдумывает новые исследования или искажает существующие, что делает его использование в серьезной научной работе рискованным.

«Все, на что у вас нет времени для двойной проверки, ненадежно. Оно с уверенностью галлюцинирует», — сказал один из сотрудников FDA CNN. Другой добавил: «AI должен экономить наше время, но я гарантирую вам, что я трачу много дополнительного времени просто из-за усиленной бдительности, которую мне приходится проявлять».

CNN отмечает, что в настоящее время Elsa не используется для проверки лекарств или медицинских устройств, потому что она не может получить доступ к важным документам, таким как заявки компаний. Руководитель отдела AI в FDA, Джереми Уолш, признал эту проблему: «Elsa не отличается от многих [large language models] и генеративного AI […] Они могут потенциально галлюцинировать», как сообщает CNN

Сотрудники FDA говорят, что в основном Elsa используется для организации задач, таких как составление резюме заметок совещания. У нее простой интерфейс, который приглашает пользователей «Спросить у Elsa что угодно».

Персоналу не обязательно использовать этот инструмент. «Они не обязаны пользоваться Elsa, если не считают ее полезной», — сказала Makary в интервью CNN.

Тем не менее, без федерального регулирования в области искусственного интеллекта в медицине, эксперты предупреждают, что это рискованный путь. «Сейчас это похоже на Дикий Запад», — сказал доктор Джонатан Чен из Стэнфордского университета в интервью CNN.

В то время как применение ИИ в науке растет с бешеной скоростью, более половины исследователей утверждают, что ИИ уже превосходит человека в таких задачах, как составление резюме и проверка на плагиат.

Однако значительные проблемы все еще остаются. Опрос, проведенный среди 5000 исследователей, показал, что 81% из них беспокоятся о точности ИИ, его предвзятости и рисках для конфиденциальности. Многие считают отсутствие надлежащих руководств и обучения основным препятствием для безопасного использования ИИ.

Эксперты подчеркивают срочную необходимость более четкой этики ИИ и образования, чтобы избежать его неправильного использования. Несмотря на перспективность ИИ, исследователи согласны, что человеческий контроль все еще имеет решающее значение для поддержания научной целостности.