2.1. Архитектура логически прозрачных сетей

Рассмотрим архитектуры нейронных сетей и выделим из них наиболее логически прозрачные. Поскольку обычно архитектура выбирается в процессе создания нейронной сети и контрастирование в подавляющем большинстве случаев не приводит к изменению архитектуры, то появляется возможность зафиксировать класс изначально логически прозрачных нейросетевых архитектур и в дальнейшем оперировать именно с ними начиная с момента создания сети и заканчивая приведением сети к логически прозрачному виду.

Критерии логической прозрачности нейросетевых архитектур не должны обязательно совпадать с критериями наиболее простой технической или программной реализуемости сети – это все-же разные задачи. Поэтому представляется возможным использование в качестве логически прозрачных сетей со слоистой и только слоистой архитектурой. Слоистые сети наиболее соответствуют нашему представлению о естественном пути решения задачи. А именно, в слоистых сетях происходит некоторое распределение набора входных признаков по нейронам первого слоя, нейроны первого слоя на основании поступивших сигналов генерируют признаки следующего уровня иерархии и т.д. Наличие каких-либо циклов в архитектуре сети затрудняет процесс отслеживания движения признаков по графу вычислений.

Нейросети любой архитектуры могут быть представлены в виде слоистых сетей. Единственное ограничение – в сети не должно быть бесконечных циклов. Иными словами, в сетях с циклами (полносвязных и родственных с ними) процесс функционирования сети должен обрываться после некоторого фиксированного числа тактов. Действительно, имеются сети полносвязной архитектуры, для которых наперед неизвестно цисло циклов функционирования. Функционирование таких сетей обрывается после установления, например, некоторого равновесного состояния на выходе, когда новый цикл существенно не меняет значений выходных сигналов сети. При этом для каждого примера, подаваемого сети, число циклов функционирования является различным. Такие сети мало пригодны для приведения к логически прозрачному виду.

Итак, нейросети слоистой архитектуры зафиксированы в качестве логически прозрачных. Возможно приведение слоистой архитектуры к более логически прозрачному виду, а именно, преобразование слоистой сети в монотонную. Монотонность не обязательно применима только к слоистым архитектурам. Под монотонными сетями понимаются такие сети, для каждого из настраиваемых параметров и сигналов (входных и внутренних) которых можно сказать, как изменится (увеличится либо уменьшится) выходной сигнал сети при уменьшении или увеличении значения этого параметра или сигнала. В монотонной сети выделены группы возбуждающих и тормозящих параметров, увеличение значений которых соответственно увеличивает (для возбуждающих параметров) и уменьшает (для тормозящих) выходные сигналы сети, а уменьшение значения этих параметров действует наоборот.

Каждый слой монотонной сети, кроме выходного, разбит на два блока:возбуждающий (В) и тормозящий (Т). Связи между блоками разделяются на два типа:возбуждающие (+) и тормозящие (-). На нелинейные преобразователи нейронов накладывается требование монотонной зависимости выходного сигнала от параметров и входных сигналов. Взаимодействие возбуждающих и тормозящих блоков через возбуждающие и тормозящие связи представлено на рис. 1. От возбуждающего блока к возбуждающему и от тормозящего блока к тормозящему ведут возбуждающие связи, а от возбуждающего к тормозящему и от тормозящего к возбуждающему ведут тормозящие связи. На выходной блок сигналы от возбуждающего блока приходят через возбуждающие связи, а от тормозящего – через тормозящие. При упрощении монотонной сети накладывается дополнительное требование минимизации числа общих входных сигналов возбуждающих и тормозящих слоев. В идеале такое требование приводит к разбиению множества входных сигналов на два непересекающихся подмножества возбуждающих и тормозящих сигналов[1,2].

Рис. 1. Монотонная сеть