2. Аналитическое решение

Пусть - приближаемое очередным слоем значение. Тогда- само значение приближаемой функции в точках экспериментальной выборки, аи последующие - погрешности вычисления на соответствующем шаге.

Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику.

Тогда при обучении k-го нейрона

,

соответственно H (функция ошибки) для всего задачника будет иметь вид

,

то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке.

Для обучения каждого очередного нейрона используются частные производные функциипо весам синапсов первого слоя:

,

параметру нейрона

и весу синапса второго (выходного) слоя соответствующему данному нейрону

,

где - число примеров обучающей выборки.

Однако, если вычисление функции H связано с затратами процессорного времени порядкаT_H, то вычисление ее градиента традиционным способом потребует времени порядка

T_gradH=nT_H,

где n - число переменных функцииH. Учитывая, что в задачах, для которых традиционно применяются нейросети, величинаn может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым.

Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибкиH может быть представлено как функционирование системы, двойственной исходной. При таком подходе

,

где C - константа, не зависящая от размерностиnи в большинстве случаев примерно равная 3.

Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей.