Искусственный интеллект в здравоохранении: новый стандарт Stanford для измерения реальной эффективности

Исследователи из Стэнфорда провели виртуальные тесты ЭМИС с использованием искусственного интеллекта, которые показывают, как модели типа Claude 3.5 могут помочь врачам в выполнении рутинных задач в области здравоохранения.

Исследователи из Стэнфорда устанавливают новые критерии оценки, чтобы определить, способны ли системы искусственного интеллекта выполнять реальные медицинские задачи. Несмотря на то что AI показал потенциал для медицинских приложений в различных областях, эксперты предупреждают, что ему все еще требуется дальнейшее тестирование.

«Работа над этим проектом убедила меня в том, что искусственный интеллект не сможет заменить врачей в ближайшее время», — сказала Камерон Блэк, соавтор и стипендиат клинической информатики в Stanford Health Care.

Чтобы исследовать это, команда разработала MedAgentBench, виртуальную систему электронных медицинских карт (EHR), созданную для оценки того, как искусственный интеллект выполняет медицинские процедуры, которые врачи проводят ежедневно.

Важно отметить, что в отличие от чат-ботов, ИИ-агенты могут действовать автономно, обрабатывая сложные многоступенчатые задачи с использованием данных пациента, делая заказы на анализы и выписывая рецепты на лекарства.

«Чат-боты что-то говорят. ИИ-агенты могут что-то делать», — сказал Джонатан Чен, доцент медицины и биомедицинской информатики и старший автор. «Это означает, что они теоретически могут напрямую получать информацию о пациенте из электронной медицинской записи, рассуждать о этой информации и предпринимать действия, напрямую внося заказы на анализы и медикаменты. Это гораздо более высокий уровень автономии в мире медицинского ухода с высокими ставками. Нам нужна точка отсчета, чтобы установить текущее состояние возможностей ИИ по воспроизводимым задачам, к которым мы можем стремиться», — добавил Чен.

Для тестирования виртуальной системы исследователи получили данные из 100 профилей пациентов, которые накопили 785 000 записей. Во-вторых, примерно дюжина крупных языковых моделей (LLM) была протестирована на 300 клинических задачах.

Результаты показали, что модель Claude 3.5 Sonnet v2 достигла 70% успеха как наиболее эффективная модель, однако многие модели не смогли справиться со сложными рабочими процессами, а также процессами интеграции системы.

«Мы надеемся, что этот эталон поможет разработчикам моделей отслеживать прогресс и дальнейшее продвижение возможностей агентов,» — сказала Цзян Исин, аспирант и соавтор.

Эксперты предсказывают, что искусственные интеллекты возьмут на себя выполнение основной клинической административной работы, что, возможно, снизит уровень выгорания у врачей, не полностью заменяя практику человеческих врачей.

«Меня увлекает поиск решений для проблемы выгорания медицинских работников», — сказала Блэк. «Я надеюсь, что, работая над агентными AI-приложениями в здравоохранении, которые усиливают наш персонал, мы сможем облегчить нагрузку на врачей и предотвратить этот надвигающийся кризис», — добавила Блэк.