Нейронные сети ассоциативной памяти. Сети Хопфилда.

Всплеск интереса к нейронным сетям был в свое время связан с распознающими сетями Хопфилда. Для них синаптическая карта симметрична (X_ij=X_ji), а функционирование происходит в непрерывном времени. Состояние i-го нейрона (оно же - выходной сигнал) _i(t) меняется во времени согласно уравнению

,

где A_i=_i X_ij*a_i - входной сигнал, приходящий от других нейронов.

Правая часть этого выражения представляет собой -H/_i, где

.

Уравнение движения, таким образом, имеет вид

поэтому движение стремится к одному из локальных минимумов Н. Роль входного сигнала играют начальные состояния _i.

"Программирование" ассоциативной сети на распознавание N эталонных образов осуществляется так. Пусть эталонам соответствует состояния сети _i_il, l=1,..,N.

Положим

.

Тогда функция H примет вид

Первое слагаемое в Н дает вклад в уравнение движения, сдвигающий _i к +1 или -1 в зависимости от начального значения - положительные _i он тянет к +1, отрицательные - к -1. Если записать вклад второго слагаемого в векторном виде, то получим:

.

Эта сумма сдвигает  пропорционально векторам _l, причем сдвиг больше для тех l, для которых больше по величине скалярное произведение (,_l). Если предполагать, что величина |(,_l)| имеет ярко выраженный максимум по l, то получим в итоге  "похожим" на соответствующее _l. Искажения будут связаны с наличием других  и первого слагаемого в Н.

Сети данного типа хорошо зарекомендовали себя для работы с небольшими бинарными образами. Однако, при увеличении размерности изображения и появлении полутонов и сложных шумов распознающая способность сетей Хопфилда резко падает.