Визуальный интеллект под вопросом: новый тест для моделей «зрение-язык»

Автор: Денис Аветисян

Исследователи представили VisRes Bench — комплексную методику оценки способности моделей понимать визуальную информацию и делать логические выводы.

🧐

Купил акции по совету друга? А друг уже продал. Здесь мы учимся думать своей головой и читать отчётность, а не слушать советы.

Бесплатный телеграм-канал

Исследование демонстрирует, что современные визуально-языковые модели испытывают затруднения в решении задач, требующих комплексного логического вывода на основе восприятия атрибутов, в то время как успешное выполнение таких задач, переходящих от простого завершения визуальных образов <span class="katex-eq" data-katex-display="false"> \text{Level 1} </span> к более сложным правилам, основанным на атрибутах <span class="katex-eq" data-katex-display="false"> \text{Levels 2 и 3} </span>, требует не только точного восприятия отдельных признаков, но и способности к их композиционному анализу. — Исследование демонстрирует, что современные визуально-языковые модели испытывают затруднения в решении задач, требующих комплексного логического вывода на основе восприятия атрибутов, в то время как успешное выполнение таких задач, переходящих от простого завершения визуальных образов $\text{Level 1}$ к более сложным правилам, основанным на атрибутах $\text{Levels 2 и 3}$ , требует не только точного восприятия отдельных признаков, но и способности к их композиционному анализу.

Новый бенчмарк выявляет ограничения современных моделей «зрение-язык» в задачах, требующих сопоставления визуальных атрибутов и композиционного рассуждения.

Несмотря на впечатляющие успехи моделей «зрение-язык» в решении задач визуального вопросно-ответного формата и генерации описаний изображений, степень их способности к истинному визуальному рассуждению остаётся неясной. В статье ‘VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs’ представлен новый бенчмарк VisRes, предназначенный для диагностики визуального мышления в естественных условиях, без использования лингвистических подсказок. Анализ показывает, что современные модели испытывают трудности с перцептивным и реляционным анализом, особенно при небольших изменениях изображения. Может ли VisRes стать основой для разработки более абстрактных и надежных систем мультимодального искусственного интеллекта?

Диагностика Визуального Мышления: Бенчмарк VisRes

Несмотря на впечатляющие результаты в распознавании изображений и выполнении простых задач, современные модели компьютерного зрения, работающие с текстом, часто демонстрируют неустойчивость при решении задач, требующих сложного визуального рассуждения. Это проявляется в неспособности правильно интерпретировать взаимосвязи между объектами, понимать контекст или делать логические выводы на основе визуальной информации. В то время как на стандартных бенчмарках, оценивающих лишь базовые навыки, такие модели могут достигать высоких показателей, при столкновении с задачами, требующими более глубокого понимания визуального мира, их производительность резко падает, выявляя существенные ограничения в способности к истинному визуальному интеллекту. Данный феномен подчеркивает необходимость разработки новых, более сложных тестов и методик оценки, способных достоверно измерить и улучшить навыки визуального рассуждения в искусственном интеллекте.

Для преодоления ограничений существующих бенчмарков, которые часто не выявляют истинных способностей к визуальному мышлению, был разработан VisRes — комплексный набор задач, направленный на диагностику восприятия, установления связей и композиционного анализа. Текущие модели искусственного интеллекта демонстрируют лишь около 50% точности при решении простейших задач на перцептивное завершение (Level 1), что значительно уступает результатам, достигаемым человеком. Данный показатель подчеркивает существенный разрыв в возможностях между современными системами и человеческим интеллектом в области визуального рассуждения, указывая на необходимость дальнейших исследований и разработок в данной области.

Актуальность создания VisRes обусловлена необходимостью в диагностических инструментах, способных выйти за рамки простой идентификации изображений и оценить глубину визуального понимания. Существующие методы оценки, фокусирующиеся преимущественно на распознавании объектов, не позволяют выявить слабые места моделей в решении задач, требующих анализа взаимосвязей, логических выводов и понимания контекста. VisRes, в отличие от них, направлен на детальную оценку способности модели к перцептивному, реляционному и композиционному мышлению, выявляя конкретные аспекты визуального интеллекта, требующие дальнейшего совершенствования. Это позволяет не просто констатировать факт недостаточной производительности, но и целенаправленно разрабатывать алгоритмы, способные к более сложному и осмысленному взаимодействию с визуальной информацией.

Модель решает задачи перцептивного завершения, восстанавливая замаскированные участки изображения на основе анализа окружающего контекста и сопоставления с предложенными фрагментами, при этом восемь вариантов задач позволяют изолировать различные перцептивные признаки, такие как местоположение, границы, размытие, яркость и вращение.

Иерархия Задач Визуального Рассуждения

В рамках VisRes, задачи визуального рассуждения структурированы по трем уровням сложности, где первый уровень посвящен рассуждениям на основе единственного атрибута. Этот начальный уровень служит основой для визуального понимания, позволяя моделям устанавливать связь между визуальными данными и конкретными характеристиками объектов. Задачи первого уровня направлены на проверку способности модели к базовому визуальному сопоставлению и идентификации, например, определение цвета, формы или размера объекта. Успешное выполнение задач этого уровня необходимо для дальнейшего прогресса в более сложных формах визуального рассуждения.

Уровень 2 в системе VisRes представляет собой задачу для моделей, связанную с перцептивным завершением и окклюзией. Это требует от моделей низкоуровневой обработки изображений и способности делать выводы о недостающей информации. Точность выполнения таких задач варьируется в диапазоне от 50% до 90% и напрямую зависит от конкретного атрибута, подвергаемого анализу. Например, модели могут демонстрировать более высокую точность при завершении формы, чем при восстановлении текстуры, скрытой за окклюдирующим объектом.

Уровень 3 визуального рассуждения требует от моделей интеграции нескольких атрибутов и выполнения многоатрибутивного синтеза, что соответствует сложности реальных сценариев. Текущая точность моделей на этом уровне составляет от 30 до 60 процентов, что указывает на значительные трудности в выполнении композиционного рассуждения. Низкий показатель точности обусловлен необходимостью не просто распознавать отдельные атрибуты, но и понимать их взаимосвязь и влияние друг на друга при формировании целостного представления об объекте или сцене.

На иллюстрации представлены правила, используемые в задачах 2-го и 3-го уровней, где на 2-м уровне изменяется один атрибут в строке, а на 3-м - несколько атрибутов. — На иллюстрации представлены правила, используемые в задачах 2-го и 3-го уровней, где на 2-м уровне изменяется один атрибут в строке, а на 3-м — несколько атрибутов.

Создание Надежных Вызовов: Стратегии Отвлекающих Факторов

Генерация эффективных отвлекающих элементов имеет решающее значение для выделения истинных способностей к рассуждению; случайная выборка является базовым подходом, однако часто оказывается недостаточной для создания значимой сложности. Случайный выбор отвлекающих элементов не учитывает перцептивные особенности и может приводить к успешному решению задачи за счет поверхностных признаков, а не за счет глубокого анализа и логических выводов. Это снижает валидность оценки, поскольку модель может успешно справляться с задачей, не демонстрируя при этом реальных когнитивных способностей. Таким образом, для точной оценки необходимо использовать более сложные стратегии генерации отвлекающих элементов, которые требуют от модели более тонкого восприятия и анализа.

В отличие от случайного выбора отвлекающих элементов, использование схожести на основе модели DINOv2 представляет собой более продвинутый подход к созданию сложных задач. DINOv2, обученная на большом объеме визуальных данных, позволяет выбирать отвлекающие элементы, визуально близкие к целевому изображению. Это требует от модели более тонкого различения перцептивных признаков и предотвращает успешное решение задачи за счет грубых характеристик, а вместо этого оценивает способность к детальному визуальному анализу и дискриминации.

Стратегическое создание отвлекающих элементов в VisRes позволяет более точно оценить способность модели к перцептуальному завершению (perceptual completion) и избежать ложноположительных результатов. Вместо использования случайных отвлекающих элементов, VisRes использует визуально схожие, что требует от модели более тонкого перцептивного различения. Это гарантирует, что успешное решение задачи обусловлено реальным пониманием визуальной информации, а не просто поверхностным совпадением признаков или эксплуатацией статистических артефактов в наборе данных. Повышенная сложность, создаваемая продуманными отвлекающими элементами, позволяет более надежно измерить истинную способность модели к обработке и интерпретации неполной визуальной информации.

В задачах глобального восстановления, где замаскировано от 50% до 80% сцены, модель должна учитывать общую структуру и контекст, чтобы корректно воссоздать скрытые элементы, поскольку только одно из предложенных изображений соответствует исходной сцене.

Измерение Глубины Рассуждений: Усилия и Стратегии Подсказок

Система VisRes предоставляет уникальную возможность анализа «глубины рассуждений» языковых моделей, измеряя степень детализации и явности шагов, предпринимаемых для решения задачи. Вместо простого определения правильности ответа, VisRes фиксирует количество и характер промежуточных рассуждений, позволяя исследователям заглянуть внутрь «черного ящика» и понять, как именно модель приходит к тому или иному заключению. Это особенно важно для оценки способности модели к комплексному мышлению и выявлению потенциальных слабых мест в её логике. Анализ «усилий рассуждений» помогает не только улучшить существующие модели, но и разработать новые, более прозрачные и надежные системы искусственного интеллекта, способные объяснять свои решения.

Исследования показали, что стратегии побуждения, используемые при взаимодействии с большими языковыми моделями, оказывают существенное влияние на глубину их рассуждений и общую производительность. В частности, применение направляющих подсказок, по сравнению с общими, позволяет добиться значительного улучшения — от 10 до 40 процентов — в точности ответов, требующих второго уровня рассуждений. Это указывает на то, что структурированные запросы, дающие модели больше контекста и направляющие ее мыслительный процесс, способствуют более эффективному решению задач, требующих анализа и синтеза информации, а не простого извлечения фактов.

Исследования показали, что применение метода обучения с небольшим количеством примеров (few-shot learning) заметно улучшает способность моделей к рассуждениям, особенно на более сложных уровнях, требующих многоступенчатого анализа — уровнях 2 и 3. При этом, влияние данного метода на решение задач самого простого типа, относящихся к уровню 1, оказывается незначительным. Это указывает на то, что few-shot learning эффективно помогает модели усваивать и применять стратегии рассуждения, необходимые для преодоления трудностей, возникающих при решении комплексных задач, но не оказывает существенного влияния на базовые навыки, необходимые для решения элементарных вопросов. Таким образом, данный подход представляется особенно перспективным для повышения эффективности моделей в задачах, требующих глубокого и многоуровневого анализа.

На представленном примере демонстрируется взаимодействие с моделью на первом уровне определения местоположения (RS), где запрос пользователя и ответ модели иллюстрируют процесс определения местоположения.

Исследование, представленное в данной работе, акцентирует внимание на сложности оценки истинных способностей к визуальному рассуждению у современных моделей, работающих с изображениями и текстом. Несмотря на кажущийся успех в решении простых задач, модели демонстрируют ограниченность в понимании сложных взаимосвязей и перцептивной привязке к реальным объектам. Как однажды отметила Фэй-Фэй Ли: «Искусственный интеллект должен не просто видеть, но и понимать то, что он видит». Это высказывание особенно актуально в контексте VisRes, поскольку benchmark призван выявить именно эту способность — не просто распознавать объекты, а выстраивать логические связи между ними и понимать их атрибуты. Очевидно, что для создания действительно разумных систем необходим более глубокий анализ и разработка методов оценки, выходящих за рамки поверхностного соответствия данным.

Что Дальше?

Представленный анализ визуального мышления, воплощенный в VisRes, выявляет закономерную, хотя и несколько печальную истину: успешное прохождение простых тестов не гарантирует истинного понимания. Модели, демонстрирующие впечатляющие результаты в задачах, не требующих глубокого анализа, обнаруживают слабость в перцептивной привязке и композиционном мышлении. Эта уязвимость подчеркивает необходимость перехода от эмпирической оценки к детерминированной проверке. Если результат не воспроизводим, он лишен всякой ценности.

Дальнейшие исследования должны быть направлены не на увеличение объемов данных для обучения, а на разработку формальных методов верификации. Алгоритм должен быть доказуем, а не просто «работать на тестах». Создание строго определенных, математически обоснованных задач, способных выявить фундаментальные ограничения моделей, представляется более продуктивным путем, чем бесконечная гонка за более высокими показателями на существующих бенчмарках.

В конечном счете, истинный прогресс в области визуального мышления потребует отхода от статистических корреляций и приближения к логической дедукции. Иначе, мы рискуем построить впечатляющие, но хрупкие системы, чья кажущаяся разумность окажется лишь иллюзией, рассеивающейся при столкновении с реальностью.

Оригинал статьи: https://arxiv.org/pdf/2512.21194.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-27 09:11