Как нейросети «видят» мир: Механика фильтрации в CNN

Автор: Денис Аветисян

Новая теория объясняет, как информация распространяется в сверточных нейронных сетях, проводя параллели с принципами квантовой механики.

🧐

Купил акции по совету друга? А друг уже продал. Здесь мы учимся думать своей головой и читать отчётность, а не слушать советы.

Бесплатный телеграм-канал

Повторное применение свёрточных слоёв с функциями активации ReLU к тестовому образцу (окружности) посредством фильтров перемещения размером 3x3 демонстрирует, что при <span class="katex-eq" data-katex-display="false">\beta = 1</span>, основная часть окружности исчезает, а её правая граница перемещается вправо с максимальной скоростью, указывая на зависимость скорости перемещения от параметра β. — Повторное применение свёрточных слоёв с функциями активации ReLU к тестовому образцу (окружности) посредством фильтров перемещения размером 3×3 демонстрирует, что при $\beta = 1$ , основная часть окружности исчезает, а её правая граница перемещается вправо с максимальной скоростью, указывая на зависимость скорости перемещения от параметра β.

Исследование демонстрирует, что низкочастотные компоненты фильтров (постоянная составляющая и градиенты) доминируют в процессе передачи информации.

Несмотря на впечатляющие успехи сверточных нейронных сетей, механизмы распространения информации внутри них остаются недостаточно изученными. В статье ‘The Mechanics of CNN Filtering with Rectification’ предложена новая модель, ‘элементарная информационная механика’, рассматривающая сверточную фильтрацию через призму релятивистской физики и квантовой механики. Показано, что низкочастотные компоненты фильтров — постоянная составляющая и градиенты — доминируют в процессе передачи информации, определяя основные моды ее распространения. Может ли этот подход, связывающий принципы обработки данных и фундаментальные законы физики, открыть новые пути для оптимизации и интерпретации работы глубоких нейронных сетей?

За гранью пикселей: Понимание потока информации в CNN

Несмотря на повсеместное применение в обработке изображений, сверточные нейронные сети (CNN) часто остаются непрозрачными системами, функционирование которых воспринимается как «черный ящик». Пользователи и исследователи, как правило, концентрируются на результатах, полученных с помощью CNN, и на распознавании извлеченных признаков, не вдаваясь в детальный анализ механизмов распространения информации внутри сети. Такое поверхностное понимание затрудняет оптимизацию архитектуры, выявление узких мест и разработку более эффективных алгоритмов, поскольку внутренние процессы, определяющие поведение сети, остаются скрытыми от непосредственного наблюдения и анализа. Изучение этих внутренних механизмов представляет собой ключевую задачу для дальнейшего развития области компьютерного зрения и искусственного интеллекта.

Традиционные подходы к анализу сверточных нейронных сетей (CNN) зачастую концентрируются на выявлении извлекаемых признаков, упуская из виду фундаментальные механизмы распространения информации внутри этих структур. Вместо детального изучения того, как данные преобразуются и передаются между слоями, исследования часто ограничиваются определением типов признаков, которые сеть научилась распознавать. Однако, понимание именно динамики информационного потока — как сигналы модулируются, фильтруются и комбинируются на каждом этапе обработки — открывает новые возможности для оптимизации архитектуры сетей, повышения их устойчивости к помехам и улучшения интерпретируемости принимаемых решений. Анализ этого потока позволяет увидеть, какие участки изображения оказывают наибольшее влияние на конечный результат и как сеть «рассуждает», что является ключевым шагом к созданию более интеллектуальных и надежных систем компьютерного зрения.

Спектральный анализ DCT-разложения всех <span class="katex-eq" data-katex-display="false">\3\times 3</span> свёрточных фильтров в Resnet50 и VGG16 показал, что большая часть весов состоит из низкочастотных составляющих постоянного тока и градиентов <span class="katex-eq" data-katex-display="false">\Sigma + \nabla</span>. — Спектральный анализ DCT-разложения всех $\3\times 3$ свёрточных фильтров в Resnet50 и VGG16 показал, что большая часть весов состоит из низкочастотных составляющих постоянного тока и градиентов $\Sigma + \nabla$ .

Элементарная информационная механика: Физика в нейронных сетях

Предлагаемая теория, “Элементарная Информационная Механика”, рассматривает распространение информации в сверточных нейронных сетях (CNN) посредством заимствования концепций из физики, а именно — массы, импульса и энергии. В рамках данной модели, информация не рассматривается как абстрактная величина, а как сущность, обладающая определенными физическими характеристиками. Применение этих физических аналогий позволяет формализовать процесс передачи и преобразования данных внутри CNN, создавая основу для анализа и оптимизации архитектуры и параметров сети. Целью является создание единой, интуитивно понятной структуры для описания сложных взаимодействий в CNN, используя хорошо известные физические принципы и математический аппарат.

В рамках предложенной теории ‘Элементарной Информационной Механики’ компонент суммирования Σ рассматривается как мера ‘массы’ информации, отражающая ее объем и интенсивность в данной точке сети. Компонент градиента $\nabla$ , в свою очередь, интерпретируется как ‘импульс’ информации, определяющий направление и величину изменения ее состояния в процессе распространения по нейронной сети. Таким образом, Σ и $\nabla$ совместно характеризуют динамику информационного потока, позволяя моделировать его поведение аналогично физическим системам, где масса и импульс определяют движение и взаимодействие объектов.

В рамках предложенной модели ‘Elementary Information Mechanics’ распространение информации в сверточных нейронных сетях (CNN) может быть описано тремя основными режимами: ‘Трансляцией’, ‘Диффузией’ и ‘Вибрацией’. ‘Трансляция’ характеризуется направленным переносом информации без изменения её интенсивности, аналогично передаче импульса. ‘Диффузия’ описывает рассеяние информации, приводящее к уменьшению её концентрации в определенных областях сети, что соответствует процессу выравнивания градиента. ‘Вибрация’ представляет собой локальные колебания информации, не приводящие к значительному изменению общей картины, и может быть связана с активацией отдельных фильтров или нейронов. Каждый из этих режимов характеризуется специфическими параметрами, определяющими скорость и характер распространения информации в сети.

Преобразование Лоренца служит математическим инструментом для установления связи между изменениями «скорости» и «энергии» информации в нейронной сети. В рамках предложенной модели, изменение «скорости» информации, определяемой как скорость распространения сигнала, связано с изменением её «энергии» — величины, отражающей вклад информации в процесс обучения. Данное преобразование, аналогичное используемому в специальной теории относительности, позволяет количественно оценить, как изменения в архитектуре сети или весах влияют на динамику распространения информации, и выразить эти изменения в терминах изменения «энергии» и «скорости» сигнала. Математически, это выражается через $\sqrt{1 - v^2/c^2}$ , где v — «скорость» информации, а c — константа, определяющая максимальную «скорость» распространения сигнала в сети.

Повторное применение свертки и модуляции с использованием ядер <span class="katex-eq" data-katex-display="false">3 \times 3</span> демонстрирует, что при <span class="katex-eq" data-katex-display="false">\beta = 0</span> происходит симметричная диффузия с неподвижным центром масс, в то время как при <span class="katex-eq" data-katex-display="false">\beta = 1</span> рисунок симметрично распространяется в обоих направлениях с максимальной скоростью. — Повторное применение свертки и модуляции с использованием ядер $3 \times 3$ демонстрирует, что при $\beta = 0$ происходит симметричная диффузия с неподвижным центром масс, в то время как при $\beta = 1$ рисунок симметрично распространяется в обоих направлениях с максимальной скоростью.

Разбирая фильтры: Энергия, симметрия и функциональность

Распределение энергии фильтра, полученное с помощью дискретного косинусного преобразования (ДКП), позволяет выявить основные частотные компоненты, определяющие поток информации в сверточных нейронных сетях (CNN). ДКП разлагает фильтр на сумму косинусоидальных функций различных частот и амплитуд, где амплитуда каждой компоненты отражает её вклад в общую энергию фильтра. Анализ этого распределения показывает, какие частоты преобладают в фильтре и, следовательно, на какие характеристики входного сигнала фильтр наиболее чувствителен. Компоненты с высокой энергией оказывают наибольшее влияние на выходные данные сети, определяя, какие особенности входного сигнала будут выделены и использованы для классификации или других задач.

В контексте анализа фильтров, симметрия функций играет ключевую роль в их декомпозиции. Четные функции ( $f(-x) = f(x)$ ) определяют суммарную компоненту (Σ), представляющую собой среднее значение или смещение сигнала. Нечетные функции ( $f(-x) = -f(x)$ ), напротив, характеризуют градиентную компоненту ( $\nabla$ ), отражающую изменение сигнала и определяющую его детализацию. Разделение фильтра на эти компоненты позволяет анализировать вклад симметричных и несимметричных частей в процесс обработки информации, что важно для понимания принципов работы сверточных нейронных сетей.

Экспериментально показано, что более 92% базовой точности классификации сверточных нейронных сетей (CNN) может быть достигнуто, используя только три компоненты с наименьшей частотой дискретного косинусного преобразования (DCT) — компонент постоянного тока (DC) и градиентные компоненты. Данный результат подчеркивает фундаментальную роль низкочастотных составляющих в процессе извлечения признаков и классификации изображений, указывая на то, что большая часть информации, необходимой для достижения высокой точности, закодирована именно в этих компонентах. Это позволяет предположить возможность существенного упрощения архитектур CNN без значительной потери производительности, путем фокусировки на обработке низкочастотных составляющих входных данных.

Анализ весов в обученных фильтрах свёрточных нейронных сетей (CNN) показывает, что подавляющая их часть — более 70% — сосредоточена в компонентах постоянного тока (DC) и градиентах. Данное распределение весов подтверждает значимость низкочастотных составляющих, полученных с помощью дискретного косинусного преобразования (DCT), для эффективного представления и обработки информации в CNN. Концентрация весов в DC и градиентных компонентах указывает на то, что именно эти составляющие вносят основной вклад в извлечение признаков и классификацию, что согласуется с результатами, демонстрирующими высокую точность классификации при использовании лишь нескольких низкочастотных компонент.

Спектральный разложение DCT для всех свёрточных фильтров <span class="katex-eq" data-katex-display="false">3\times 3</span> в ResNet50 и VGG16 показывает, что большая часть весов представлена низкочастотными компонентами постоянного тока и градиентами <span class="katex-eq" data-katex-display="false">\Sigma + \nabla</span>. — Спектральный разложение DCT для всех свёрточных фильтров $3\times 3$ в ResNet50 и VGG16 показывает, что большая часть весов представлена низкочастотными компонентами постоянного тока и градиентами $\Sigma + \nabla$ .

Архитектурные последствия: от VGG16 к ResNet50

Устоявшиеся архитектуры сверточных нейронных сетей, такие как VGG16 и ResNet50, демонстрируют практическое применение основополагающих принципов обработки изображений. Эти модели, широко признанные в области компьютерного зрения, прошли обучение на масштабном наборе данных ImageNet, что позволило им эффективно извлекать иерархические признаки из визуальной информации. Использование ImageNet в качестве обучающего набора данных сыграло ключевую роль в успехе этих архитектур, обеспечив им возможность обобщения и высокую точность при решении разнообразных задач, связанных с распознаванием и классификацией изображений. Практически, VGG16 и ResNet50 служат ярким примером того, как теоретические концепции могут быть успешно реализованы в сложных системах искусственного интеллекта, формируя основу для дальнейших исследований и разработок в области глубокого обучения.

Несмотря на разницу в сложности, как VGG16, так и ResNet50 в своей работе опираются на взаимосвязь трех ключевых процессов: диффузии, вибрации и трансляции. Диффузия, в данном контексте, представляет собой распространение информации о признаках по всей сети, позволяя выявлять общие черты. Вибрация, или резонанс, усиливает важные признаки, подавляя шум и незначительные детали. Наконец, трансляция обеспечивает инвариантность к сдвигам и изменениям положения объектов на изображении. Эти процессы, действуя совместно, позволяют сетям эффективно извлекать и обрабатывать визуальную информацию, обеспечивая высокую точность распознавания образов и устойчивость к различным искажениям. Понимание этой триады открывает новые возможности для анализа и оптимизации архитектур сверточных нейронных сетей.

Функция активации ReLU (Rectified Linear Unit) играет ключевую роль в формировании нелинейности в сверточных нейронных сетях. В отличие от линейных функций, ReLU позволяет сети моделировать сложные взаимосвязи в данных, что необходимо для распознавания образов и классификации. Она действует как своего рода «выключатель», пропуская сигнал, если он положительный, и блокируя его, если отрицательный. Это приводит к изменению распределения энергии внутри сети, создавая различные режимы распространения сигнала, которые определяют, как информация обрабатывается и передается между слоями. В результате, ReLU позволяет сети эффективно извлекать признаки и строить более сложные представления изображений, что значительно повышает ее производительность и точность в задачах компьютерного зрения.

Предложенный подход предоставляет принципиально новый взгляд на анализ и оптимизацию сверточных нейронных сетей (CNN). Вместо традиционного рассмотрения архитектур как набора слоев, он позволяет интерпретировать их с точки зрения динамики энергии и распространения волн. Это открывает возможности для целенаправленного изменения структуры сети, не только для повышения точности, но и для улучшения ее эффективности и устойчивости к различным типам шумов и искажений. Подобный анализ может привести к разработке более компактных и энергоэффективных моделей, способных к более надежной работе в реальных условиях, а также к созданию новых алгоритмов обучения, учитывающих особенности распространения информации внутри сети. По сути, это переход от эмпирической настройки параметров к более глубокому пониманию принципов работы CNN, что позволит создавать модели, адаптированные к конкретным задачам и требованиям.

Повторное применение свёртки с ReLU к тестовому шаблону с использованием ядер <span class="katex-eq" data-katex-display="false">3 \times 3</span> показывает, что при <span class="katex-eq" data-katex-display="false">\beta = 0</span> происходит симметричная диффузия контента вокруг неподвижной центральной точки, а при <span class="katex-eq" data-katex-display="false">\beta = 1</span> - перемещение центра масс вправо с максимальной скоростью. — Повторное применение свёртки с ReLU к тестовому шаблону с использованием ядер $3 \times 3$ показывает, что при $\beta = 0$ происходит симметричная диффузия контента вокруг неподвижной центральной точки, а при $\beta = 1$ — перемещение центра масс вправо с максимальной скоростью.

Исследование показывает, что в сетях, как и во всем остальном, низкочастотные компоненты доминируют. Ничего нового под солнцем. Автор утверждает, что информация течет по принципу, напоминающему релятивистскую квантовую механику, но, по правде говоря, это лишь элегантное объяснение того, что продакшен давно и так знает: простые вещи работают лучше всего. Как заметил Дэвид Марр: «Всякая революционная технология завтра станет техдолгом». Это особенно верно для нейронных сетей. Сложные архитектуры, призванные решить узкоспециализированные задачи, неизбежно обрастают ошибками и требуют постоянной поддержки. А вот DC-компонента и градиенты, они как старые добрые друзья — надежные и предсказуемые. И, конечно, всегда найдется способ сломать даже самую элегантную теорию, ведь продакшен — лучший тестировщик.

Куда же это всё ведёт?

Предложенная здесь «элементарная информационная механика» — это, конечно, элегантная конструкция. Но стоит помнить: любая теория, пытающаяся описать поведение сложных систем, неизбежно упрощает реальность. Аналогия с релятивистской квантовой механикой, как и любая метафора, имеет свои пределы. Вопрос в том, где эти пределы находятся и как быстро практика обнаружит несоответствия. Вполне вероятно, что более детальный анализ покажет, что фильтры, отличные от низкочастотных, вносят вклад, который пока недооценен.

Основная проблема, требующая дальнейшего изучения, — это влияние архитектуры сети на распространение информации. Предположение о доминировании низкочастотных компонентов, вероятно, верно для текущих конструкций. Но что произойдет, если архитектура радикально изменится? Если слои будут связаны нелинейно, или если будут использоваться совершенно иные типы фильтров? Всё, что оптимизировано, рано или поздно оптимизируют обратно.

В конечном итоге, предложенный подход — это не столько решение, сколько отправная точка. Это попытка взглянуть на проблему с другой стороны, чтобы найти новые вопросы, а не только ответы. Архитектура — это не схема, а компромисс, переживший деплой. И, как показывает опыт, самые интересные открытия происходят тогда, когда приходится реанимировать надежду.

Оригинал статьи: https://arxiv.org/pdf/2512.24338.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-04 08:59