Критерии ошибок

Целью процедуры минимизации является отыскание глобального ми­нимума - достижение его называется сходимостью процесса обучения. Поскольку невязка зависит от весов нелинейно, получить решение в ана­литической форме невозможно, и поиск глобального минимума осущест­вляется посредством итерационного процесса - так называемого обу­чающего алгоритма, который исследует поверхность невязки и стремит­ся обнаружить на ней точку глобального минимума. Обычно в качестве меры погрешности берется средняя квадратичная ошибка (MSE), которая определяется как сумма квадратов разностей между желаемой величиной выхода dk и реально полученными на сети значениями Yk для каждого примера k.

Здесь р- число примеров в обучающем множестве.

Наряду с такой мерой погрешности широко используется расстояние

Кульбака-Лейблера, связанное с критерием максимума правдоподобия:

а также некоторые другие.

Минимизация величины Е осуществляется с помощью градиентных ме­тодов. В первом из них берется градиент общей ошибки, и веса W пересчи­тываются каждый раз после обработки всей совокупности обучающих при­меров(<<эпохи»). Изменение весов происходит в направлении, обратном к направлению наибольшей крутизны для функции стоимости:

Здесь 10 - определяемый пользователем параметр, который называется величиной градиентного шага или коэффициентом обучения. Другой возможный метод носит название стохастического градиентного.

В нем веса пересчитываются после каждого просчета всех примеров из одного обучающего множества, и при этом используется частичная функция стоимости, соответствующая этому, например k-MY, множеству