Различные виды функции активации

Функции активации f могут быть различных видов:

1. линейная: выходной сигнал нейрона равен его потенциалу,

2. ступенчатая: нейрон принимает решение, выбирая один из двух вариан­тов (активен/неактивен),

3. линейная с насыщением: нейрон выдает значения, промежуточные между двумя предельными значениями А и В

4. многопороговая: выходной сигнал может принимать одно из q значений, определяемых (q -1) порогом внутри предельных значений А и В,

5. сигмоидная: рассматриваются два вида сигмоидных функций:

1________

s = f(V) = 1 +ехр(-bУ)

с выходными значениями в промежутке (0,1) и

s = f(V) = exp(bY)-1

ехр(by) + 1

с выходными значениями от -1 до 1.

Коэффициент Ь определяет крутизну сигмоида. Поскольку сигмоидная функция является гладким отображением (∞; +∞)~(0,I), крутизну b можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице.

Возможно, также определить нейроны без насыщения, принимающие на выходе непрерывное множество значений. В задачах классификации выход­ное значение может определяться порогом - при принятии единственного решения,- или быть вероятностным - при определении принадлежности к классу. Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие виды функции активации - гауссова, синусоидальная, всплески (wavelets) и т.д.