4.3. Приведение настраиваемых параметров сети к предельным значениям и модификация нелинейных преобразователей нейронов

Получена сеть минимальной архитектуры. Выполняем приведение настраиваемых параметров сети к предельным значениям. Для синапсов сети приведение к предельным значениям означает их бинаризацию. После бинаризации можно попробовать упростить нелинейные функции нейронов.

Изменение нелинейной функции нейрона начинается после того, как у сети отконтрастированы все подлежащие контрастированию синапсы. Если у данного нейрона остался один входной синапс, то такой нейрон является просто передатчиком сигнала с предыдущего слоя на следующий. Можно попытаться избавиться от данного нейрона, заменив его на неадаптивный синапс с единичным весом (тождественную функцию), и дообучить сеть, подстраивая только синапсы, по которым нейрон рассылал свой сигналы (либо даже все синапсы сети). Если такое дообучение невозможно, значит, нелинейность этого нейрона действительно требуется для правильного решения задачи и нейрон придется оставить. Поскольку исходный нелинейный сигмоидный преобразователь не может быть преобразован в линейную функцию путем изменения значения параметра крутизны, то в любом случае работу по замене нелинейного преобразователя линейной связью приходится выполнять, заменяя у нейрона нелинейную функцию.

Если у нейрона один выходной сигнал, то от такого нейрона можно попытаться избавиться, передав его набор синапсов нейрону, следующему за ним. Но здесь возникает одна сложность – такое перераспределение весов может нарушить достижимость критерия равномерной просторы сети – у нейрона следующего слоя в итоге может оказаться синапсов больше, чем требуется, и сократить их число (чтобы снова достигнуть критерия равномерной простоты) не удастся. Поэтому такой нейрон придется оставить, хотя он и исключаем из нейросети. Однако, в этом случае нужно попытаться заменить нелинейный преобразователь тождественной функцией.

Ну а если у нейрона несколько входных сигналов либо не выполняется замена нелинейного преобразователя нейрона на тождественную функцию, то можно попробовать привести нелинейный преобразователь к пороговому виду. Здесь используется последовательное уменьшение значения настраиваемого параметра нелинейной функции и дообучение сети. Если после некоторого момента правильность работы сети сохраняется после замены нелинейной функции на пороговую, то такая замена производится. Иначе продолжаем дальнейшее уменьшение значения настраиваемого параметра до некоторого минимального значения, после которого отказываемся от попытки привести нелинейность к пороговому виду.

Естественно, что при обучении сети по методу двойственности необходимо одновременно пытаться приводить нелинейные функции всех нейронов сети к пороговому виду.

Если в сети после проведения упрощения нелинейных преобразователей не оказалось пороговых элементов, то можно ввести в обучение параметры крутизны сигмоид и попытаться снова удалить из сети лишние синапсы. Поскольку после введения в обучение новых адаптивных параметров гибкость сети повысилась, то от некоторых параметров (синапсов), возможно, удастся при этом избавиться. Ну а если это удалось, то снова вернемся к рассмотрению нелинейных элементов и повторим попытку упрощения сети на уровне нелинейностей нейронов, и т.д. до предела.