SEAL от MIT позволяет AI самообучаться и постоянно адаптироваться

Исследователи из лаборатории невероятного ИИ Массачусетского технологического института разработали инновационный фреймворк под названием SEAL (Self-Adapting LLMs). SEAL позволяет системам искусственного интеллекта учиться новым навыкам после первоначального обучения через самообучение.

Новая система превосходит существующие большие языковые модели, включая ChatGPT, которые, как объясняют исследователи, обычно остаются неизменными после обучения и требуют обширной переобучения для усвоения новой информации.

Главное достижение SEAL заключается в его способности позволить ИИ создавать собственные учебные материалы и затем использовать эти материалы для дополнительной настройки самого себя. Действительно, когда системе представляют новые данные — например, новостную статью или примеры задач — она создает упрощенные объяснения, связанные факты или вопросы для практики.

Исследователи объясняют, что этот процесс имитирует методы обучения человека, где люди обычно пишут заметки и карточки для улучшения понимания и запоминания новой информации.

Во время фазы «внутреннего цикла» SEAL выполняет небольшое обновление, известное как «самокоррекция». Система проводит оценку «внешнего цикла» для проверки улучшения своей производительности после обновления. Когда искусственный интеллект идентифицирует положительные изменения, он запоминает модификацию; в противном случае он пробует новые подходы.

Исследователи утверждают, что этот итерационный процесс позволяет искусственному интеллекту постоянно улучшать свои знания и адаптироваться к новым вызовам без необходимости полного переобучения.

Исследователи отмечают, что метод, используемый SEAL, отличается от всех традиционных подходов обучения с подкреплением (RL). Агенты в стандартных RL-средах учатся методом проб и ошибок максимизировать свои награды при взаимодействии со своим окружением.

SEAL использует RL в качестве инструмента для обучения своей AI системе созданию и реализации собственных обучающих ресурсов, что делает языковую модель одновременно инструктором и студентом. Система производит «самокоррекции», которые включают персонализированные инструкции вместе с синтетическими данными для своего процесса уточнения. Этот подход позволяет реализовывать устойчивые, самонаправленные обновления, которых не могут достичь традиционные RL-методы, не корректирующие параметры модели напрямую.

Исследователи из MIT провели тестирование SEAL сразу по двум направлениям. Во-первых, при изучении новых фактов, SEAL преобразовывал необработанный текст в изложения и форматы вопросов и ответов, что привело к улучшению точности на 47%, превзойдя даже учебные материалы GPT-4.1. Во-вторых, в задачах абстрактного мышления SEAL показал результативность в 72,5%, превзойдя модели без обучения с подкреплением или стандартного обучения.

Исследователи утверждают, что потенциальные применения системы обширны. SEAL может позволить создать различные приложения, от персонализированных AI-репетиторов до самообучающихся помощников-исследователей, а также автономных агентов, которые совершенствуются благодаря опыту.

Технология имеет потенциал преобразовать корпоративные AI системы, позволяя им развивать способности к внутреннему мышлению, которые заменяют необходимость в затратных процессах переобучения для работы с быстрыми изменениями данных и требованиями пользователей.

Однако, остаются проблемы, например, SEAL может страдать от того, что исследователи называют «катастрофическим забыванием», когда новое обучение перезаписывает предыдущие знания, и процесс самокоррекции требует значительных вычислительных ресурсов.

Чтобы смягчить эти проблемы, команда предлагает гибридные системы, которые сочетают SEAL с внешними инструментами для временной памяти, оставляя обновления SEAL для основных, долгосрочных знаний.

Несмотря на эти препятствия, исследователи из MIT уверены, что эта технология поможет машинам достичь человекоподобной адаптивности и способности к обучению на протяжении всей жизни.