Инструмент ИИ помогает пользователям с нарушениями зрения лучше запоминать окружающую среду

Система искусственного интеллекта VIPTour готовится кардинально улучшить способы, которыми люди с нарушениями зрения или слепотой (BLV) открывают для себя новые места.

Команда исследователей разработала систему VIPTour, которая позволяет пользователям самостоятельно открывать для себя парки и туристические достопримечательности, что в свою очередь повышает их удовольствие и понимание пространств. Их результаты были опубликованы в Nature.

Система объединяет компактную камеру с приложением для смартфона, которое запускает алгоритм искусственного интеллекта, известный как FocusFormer. FocusFormer обрабатывает сцены в реальном времени, чтобы определить важные моменты, такие как маркеры безопасности.

Система предлагает рекомендации для исследования, которые адаптируются к индивидуальным предпочтениям пользователя, например, выбор натуральных звуков вместо исторической информации.

Исследователи утверждают, что сообщество BLV может извлечь выгоду из VIPTour за счет персонализированного сопровождения, основанного на интересах пользователя, упрощенного аудио, тактильного описания сложных сцен, а также возможности повторять и делиться турами. Система предназначена для предоставления функций, которые служат для улучшения пользовательского опыта, выходящего за рамки базовой помощи.

В ходе испытаний, в которых приняло участие более 30 участников BLV, преимущества были поразительны. Эмоциональное благополучие значительно улучшилось, с увеличением позитивных эмоций на 67,9% и ростом волнения на 94,7%. Пользователи также продемонстрировали улучшение воспоминаний о сценах на 772,73%, а долгосрочное запоминание удвоилось.

Многие отмечали, что чувствуют себя более автономными, менее зависимыми от других в ориентировании или понимании окружающего мира. Исследователи отмечают, что миллионы лиц с нарушениями зрения сталкиваются с исключением из досуговых мероприятий из-за недоступности окружающей среды, отметила исследовательская группа.

Хотя существующие инструменты помогают людям перемещаться из одного места в другое, они часто не способны создать приятные, запоминающиеся впечатления. VIPTour пытается заполнить этот пробел, сочетая передовые технологии искусственного интеллекта с продуманным, ориентированным на пользователя дизайном.

Разработчики надеются, что VIPTour вдохновит на создание более инклюзивных технологий, которые сосредотачиваются не только на доступности, но и на автономии и радости.