3. Контрастирование нейронов

Описаные [1-3]процедуры вычисления показателей значимости входных сигналов сети и ее настраиваемых параметров позволяют удалять только наименее значимые входы и настраиваемые параметры (синапсы) нейронной сети. Однако нам может потребоваться и упрощение сети путем удаления у нее целого нейрона. Контрастирование отдельных нейронов сети выполняется при сокращении числа нейронов в слоях сети – ранее был введен такой критерий логической прозрачности.

Удаление у сети малозначимых входов и синапсов может привести к удалению у сети нейрона. Действительно, если у нейрона нет ни одного входного сигнала и удален неоднородный вход, то такой нейрон можно исключить из сети (поскольку он не влияет на выходной сигнал сети), удалив как этот нейрон, так и синапсы нейронов следующего слоя, принимающих сигнал от данного. И обратно, если отконтрастированы все синапсы, по которым нейрон рассылал свой выходной сигнал, то можно удалить этот нейрон со всеми его входными синапсами и неоднородным входом.

Этот пример иллюстрирует важность наличия не только процедуры упрощения, но и процедуры логического анализа структуры сети для упрощения сети. Удаляя элементы, не оказывающие влияния на выходной сигнал сети, процедура логического анализа структуры сети ускоряет процесс упрощения. Однако такое контрастирование нейронов является некоторым дополнительным результатом при контрастировании синапсов, но не самостоятельной процедурой.

Поэтому не будем уклоняться от поставленного в начале главы вопроса и введем процедуры определения значимости нейронов сети.Дальнейшее изложение предполагает знакомство читателя с алгоритмом двойственного функционирования и процедурами вычисления показателей значимости входных сигналов и синапсов сети[1-3,8]

Вспомним, что при двойственном функционировании сети мы можем получить градиент функции оценки не только по входным сигналам сети и ее настраиваемым параметрам, но и по всем промежуточным сигналам сети, т.е. сигналам, поступающим с синапса на сумматор, с сумматора – на нейрон, с нейрона – на синапсы нейронов другого слоя. Последнее, а именно, возможность получения градиента функции оценки по выходному сигналу нейрона и решает поставленную задачу. Градиент функции оценки используется при вычислении показателей значимости элементов и сигналов сети, поэтому будем использовать стандартные методы и не вводить специальных правил вычисления показателей значимости нейронов.

Представим, что у сети исчез первый слой нейронов, а нейроны второго слоя стали, соответственно, входными нейронами и принимают входные сигналы, являющиеся результатом обработки исходных входных сигналов нейронами бывшего первого слоя. Показатели значимости входных сигналов, вычисленные по известным формулам для новой сети, будут, соответственно, показателями значимости нейронов бывшего первого слоя. Конечно, не надо действительно менять архитектуру сети, надо просто по известным формулам (также, как вычисляется значимость входных сигналов) вычислить еще один набор показателей значимости. Аналогично вычисляются показатели значимости нейронов второго, третьего и последующих слоев. Такие показатели значимости оценивают степень влияния выходных сигналов нейронов на выходные сигналы сети.

Можно предложить альтернативный вариант, не связанный с проведением дополнительных вычислений. Примем в качестве показателя значимости нейрона сумму показателей значимости всех его синапсов (и неоднородного в том числе) и всех синапсов, по которым нейрон рассылает ответ. Этот путь оценивает суммарное влияние всех синапсов нейрона на изменение функции оценки. Чем сумма показателей значимости синапсов меньше, тем нейрон менее значим для принятия решения.