Может ли ИИ понимать цвет, не видя его?

Исследование показывает, что ChatGPT понимает общепринятые цветовые метафоры, но не способен освоить новые.

Согласно исследованию, ChatGPT и другие AI инструменты отлично справляются с обработкой базовых цветных метафор, но не могут понять творческие метафоры. Ученые изучали реакции людей и ChatGPT на метафоры вроде «чувствовать себя грустным» и «видеть красным», чтобы определить способности AI систем к обработке языка, как впервые сообщалось в Neuroscience News (NN).

Исследование, которое провела профессор Лиза Азиз-Заде в Центре нейронаук воплощенного познания USC, показало, что люди, видящие цвета, и дальтоники проявляли схожие способности при интерпретации метафор, что указывает на то, что способность видеть цвета не обязательна для понимания их смысла.

Однако люди с практическим опытом, такие как художники, продемонстрировали превосходные способности при интерпретации сложных метафор, включая «собрание заставило его стать бургундским».

ChatGPT, обрабатывающий огромное количество письменного текста, успешно справляется с общеупотребительными выражениями и предлагает объяснения, основанные на культуре. Например, NN приводит пример, когда бот описал «очень розовую вечеринку» как «полную положительных эмоций и хорошей энергетики». Однако он часто спотыкается на незнакомых метафорах или когда его просят сделать обратные ассоциации, например, выяснить «противоположность зеленого»

«ChatGPT использует огромное количество лингвистических данных для расчета вероятностей и генерации очень похожих на человеческие ответов», — сказал Азиз-Заде, как сообщает NN. «Но то, что нас интересует исследовать, — это все же вопрос о том, является ли это формой вторичных знаний, по сравнению с человеческими знаниями, основанными на прямом опыте», — добавил он.

Исследование было результатом совместной работы нейроученых, специалистов в области компьютерных наук и художников из таких учреждений, как USC, Google DeepMind и UC Сан-Диего. С развитием ИИ, ученые говорят, что сочетание сенсорного ввода с языком может помочь ему лучше понимать мир подобно тому, как это делают люди.