Новые модели ИИ от OpenAI теперь могут «думать» с помощью изображений

OpenAI запустила o3 и o4-mini, передовые модели ИИ, которые объединяют манипуляции с изображениями и текстовое рассуждение для решения сложных задач.

OpenAI объявила о создании двух новых моделей искусственного интеллекта, o3 и o4-mini, способных анализировать изображения — это значительный прогресс в понимании и обработке визуальной информации искусственным интеллектом.

«Эти системы могут манипулировать, обрезать и преобразовывать изображения в соответствии с задачей, которую вы хотите выполнить», — сказал Марк Чен, руководитель исследовательского отдела OpenAI, во время прямого эфира в среду, как отмечает New York Times.

Теперь модели o3 и o4-mini обладают способностью анализировать изображения в рамках своего внутреннего мыслительного процесса, тогда как ранее модели могли только видеть изображения.

Система позволяет пользователям загружать фотографии математических задач, технических диаграмм, рукописных заметок, плакатов, а также размытых или повернутых изображений. Она разбивает содержимое на пошаговые объяснения, независимо от наличия нескольких вопросов или визуальных элементов на одном изображении.

Теперь система может сосредоточиться на неясных частях изображения, вращая его для лучшего понимания. Она сочетает визуальное понимание с текстовым рассуждением, чтобы давать точные ответы. Система способна интерпретировать научные графики, объясняя их значение, и определять ошибки кодирования на скриншотах, чтобы генерировать решения.

Модели также могут использовать другие инструменты, такие как поиск в интернете, код на Python и генерацию изображений в реальном времени, что позволяет им решать гораздо более сложные задачи, чем раньше. OpenAI утверждает, что эти возможности уже встроены, без необходимости дополнительных специализированных моделей.

Тесты показывают, что o3 и o4-mini работают лучше предыдущих моделей во всех визуальных задачах, которые им были предложены. Визуальный поисковый бенчмарк, известный как V*, показывает точность o3 на уровне 95,7%. Однако, как заявляет OpenAI, у моделей все еще есть некоторые недостатки — они могут допускать ошибки из-за чрезмерного анализа и базовые ошибки восприятия.

OpenAI представило это обновление в рамках своей инициативы по разработке систем искусственного интеллекта, которые рассуждают аналогично человеку. Для функционирования эти модели требуют обширных последовательностей мыслительных процессов, что означает, что им нужно дополнительное время для обработки сложных вопросов. Они также интегрируют инструменты, такие как генерация изображений, веб-поиск и анализ кода Python, для более точных и творческих ответов.

Однако есть определенные ограничения. Модели иногда обрабатывают чрезмерное количество информации, допускают ошибки в восприятии и меняют подходы к рассуждению между попытками. Компания работает над улучшением надежности и стабильности моделей.

Теперь o3 и o4-mini доступны пользователям ChatGPT Plus (20 долларов в месяц) и Pro (200 долларов в месяц). OpenAI также выпустила Codex CLI, новый инструмент с открытым исходным кодом, чтобы помочь разработчикам запускать эти модели AI вместе со своим кодом.

Хотя OpenAI сталкивается с юридическими проблемами из-за использования контента, его технология визуального рассуждения показывает, как AI приближается к решению реальных проблем более человеческими методами.