30.10.2024. - Ограничения ИИ в решении головоломок

Ограничения ИИ в решении головоломок

Новое исследование выявило удивительный пробел в логических способностях самых продвинутых на сегодняшний день моделей зрительного языка ИИ. Несмотря на впечатляющие результаты в различных установленных тестах, недавнее исследование, опубликованное на arXiv, показало, что модели на основе визуального языка (VLM), такие как GPT-4o от OpenAI, с трудом справляются с задачами Бонгарда - набором визуальных головоломок, требующих абстрактного мышления на высоком уровне, подобном человеческому.

Исследование, включающее конкурентный анализ этих моделей по сравнению с участниками-людьми, ставит под сомнение предположения о когнитивных способностях ИИ в интерпретации визуального мира. “В то время как VLM-системы иногда успешно распознают отличительные концепции и решают некоторые проблемы, они часто дают сбои, не в состоянии понять визуальные концепции и обосновать их”, - пишут исследователи. “Удивительно, но даже элементарные концепции, которые могут показаться людям тривиальными, такие как простые спирали, представляют значительные трудности”.

“Более того, даже когда их просят четко сосредоточиться на этих концепциях и проанализировать их, они продолжают колебаться, что свидетельствует не только о недостаточном понимании этих элементарных визуальных концепций, но и о неспособности обобщить невидимые концепции”.

В мире, где искусственный интеллект (ИИ) быстро развивается для решения задач, которые когда-то казались исключительными для человеческого восприятия, недавнее исследование предлагает реальную проверку ограничений машинного интеллекта в понимании сложных визуальных сигналов.

Исследователи из различных европейских институтов сравнили продвинутые модели визуального языка (VLM), такие как GPT-4o и Claude, с набором классических головоломок, называемых задачами Бонгарда.

Разработанные в 1960-х годах, эти визуальные задания проверяют распознавание образов и абстрактное мышление, требуя от участников расшифровать концептуальные правила из простых геометрических фигур. Для искусственного интеллекта эти головоломки далеко не просты.

Задачи Бонгарда (BPs) требуют анализа набора из 12 диаграмм, разделенных на две группы, каждая из которых соответствует определенному, часто абстрактному правилу. Например, на одной стороне диаграмм могут быть исключительно вытянутые по вертикали фигуры, в то время как на другой - вытянутые по горизонтали.

Люди от природы хорошо справляются с такими задачами, которые требуют не просто выявления базовых закономерностей, но и формирования абстрактных концепций на основе минимальных данных. Это делает BPs особенно сложной задачей для моделей машинного обучения, особенно по сравнению с типичными тестами распознавания изображений.

Для этого исследования исследователи оценили производительность различных моделей vision-language, включая GPT-4o от OpenAI, Claude и две версии модели LLaVA. Каждой модели было поручено решить 100 задач Бонгарда, а их ответы оценивались большой языковой моделью “судья” для обеспечения объективной оценки.

Результаты были очевидными и поразительными: люди значительно превзошли искусственный интеллект во всех категориях. В среднем люди-участники достигли успеха в 84% случаев, в то время как наиболее эффективная модель визуального языка GPT-4o справилась только с 17%. Этот пробел подчеркивает уникальные когнитивные способности человека, особенно в области визуального мышления и абстракции.

Исследователи разделили задачи Бонгарда на пять категорий: существование, размер, концепция, количество и пространственные отношения. Люди показали лучшие результаты в категориях “существование” (наличие или отсутствие признака) и “пространственная ориентация” (spatial orientation), набрав более 90% баллов.

В отличие от этого, модели vision-language испытывали огромные трудности при решении пространственных задач, не достигая точности более 10% во всех моделях. GPT-4o немного преуспел в решении абстрактных “концептуальных” задач, возможно, из-за интенсивного обучения работе с разнообразными данными, но все равно не дотягивал до производительности человека.

Чтобы глубже разобраться в причинах ограничений ИИ, исследователи изучили эффективность модели vision-language в конкретных задачах Бонгарда, сосредоточив внимание на том, могут ли эти модели идентифицировать фундаментальные концепции.

Они выбрали четыре репрезентативных БП, каждый из которых требовал своего визуального понимания: БП №16 (направление спирали), БП №29 (подсчет фигур), БП №36 (взаимное расположение) и БП №55 (ориентация слева направо). В каждом случае модели испытывали трудности.

Например, при запросе определить, вращается ли спираль по часовой стрелке или против, GPT-4o и Claude часто выдавали неверные результаты. Модели, как правило, допускали ошибки в согласованности, ошибочно принимая одно направление вращения за другое при различных попытках.

Аналогичным образом, только Claude показал точные результаты при анализе BP # 29, который требовал различения фигур внутри или снаружи более объемной формы. Большинство моделей неправильно интерпретировали или не смогли правильно подсчитать, что указывает на проблемы с возможностями визуального подсчета ИИ.

Для теста №55, который включал ориентацию в пространстве, зрительно-языковые модели постоянно давали сбой, не позволяя определить, слева или справа от полости большей формы появился круг. Эта конкретная проблема подчеркивает более широкую проблему, с которой сталкиваются виртуальные машины, связанные с пространственными отношениями, что согласуется с другими исследованиями, предполагающими, что пространственное мышление является критическим ограничением ИИ.

Хотя эти результаты могут подчеркнуть ограничения современного ИИ, они также указывают на возможности для будущих инноваций. Исследователи предполагают, что специализированное обучение, возможно, включающее промежуточные этапы, позволяющие лучше различать концепции, может повысить производительность.

Например, многоэтапный подход, при котором модели сначала выявляют возможные закономерности, а затем тестируют эти закономерности, может улучшить способность ИИ решать абстрактные задачи, такие как головоломки Бонгарда. Другие стратегии могут включать пересмотр процессов визуального кодирования моделей и использование более продвинутых методов для улучшения распознавания образов и абстрактного мышления.

Перевод задач Бонгарда в реальные сценарии также может помочь моделям ИИ развить лучшие перцептивные и когнитивные способности. Используя реальные аналоги для решения этих головоломок, исследователи могли бы выяснить, помогает ли визуальный контекст ИИ более эффективно формировать абстрактные концепции и рассуждения. Это направление исследований может привести к созданию более универсальных моделей визуального языка, способных более глубоко воспринимать повседневные визуальные сигналы.

Полученные результаты ставят под сомнение предположения о способности ИИ отражать когнитивные способности человека и поднимают важные вопросы об адекватности стандартных критериев оценки эффективности ИИ.

Несмотря на успех в таких задачах, как классификация изображений и создание субтитров, недостатки модели vision-language в BPs показывают, что для оценки истинного понимания ИИ могут потребоваться более сложные тесты. Как предполагают авторы, перевод сложных абстрактных задач, таких как задачи Бонгарда, в контекст реального мира может дать представление о способности ИИ обрабатывать визуальную информацию и рассуждать о ней на человеческом уровне.

В то время как VLM, такие как GPT-4o и Claude, достигли впечатляющих успехов в соединении текста и видения, это исследование показывает, что путь к подлинному человеческому пониманию остается сложным.

По мере развития искусственного интеллекта преодоление этих ограничений восприятия будет иметь важное значение для создания систем, которые смогут взаимодействовать с окружающим миром так же легко, как это делают люди. Это исследование напоминает нам о сложности человеческого познания, побуждая исследователей в области искусственного интеллекта выходить за рамки существующих критериев и стремиться к достижениям, которые приближают машины к восприятию и рассуждениям на уровне человека.

В конечном счете, это исследование проливает свет на сложности человеческого познания, и ИИ еще предстоит пройти долгий путь, чтобы воспроизвести его. Хотя современные модели визуального языка представляют собой значительный прогресс, неспособность решить проблемы Бонгарда напоминает нам о проблемах, присущих моделированию абстрактного мышления и визуального восприятия.

По мере развития исследований в области искусственного интеллекта понимание и устранение этих пробелов будут иметь решающее значение для создания систем, способных понимать и интерпретировать мир так, как это делают люди.

Источник