2.1.1 Искусственный нейрон и нейронная сеть

Несмотря на большое разнообразие вариантов нейронных сетей, все они имеют общие черты. Так, все они, так же, как и мозг человека, состоят из большого числа связанных между собой однотипных элементов – нейронов, которые имитируют нейроны головного мозга. На рис. 2.1 показана схема нейрона.

Из рисунка видно, что искусственный нейрон, так же, как и живой, состоит из синапсов, связывающих входы нейрона с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

(2.1)

где n – число входов нейрона; x_i – значение i-го входа нейрона;

w_i – вес i-го синапса

Рисунок 2.1 – Схема нейрона

Затем определяется значение аксона нейрона по формуле

(2.2)

где f – некоторая функция, которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид:

(2.3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(2.4)

При уменьшении параметра α сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при α =0. При увеличении α сигмоид все больше приближается к функции единичного скачка.

Сегодня существует большое число различных конфигураций нейронных сетей с различными принципами функционирования, которые ориентированы на решение самых разных задач. В качестве примера рассмотрим многослойную полносвязанную нейронную сеть прямого распространения (рис.2.2), которая широко используется для поиска закономерностей и классификации образов. Полносвязанной нейронной сетью называется многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми нейронами предыдущего слоя, а в случае первого слоя — со всеми входами нейронной сети. Прямое распространение сигнала означает, что такая нейронная сеть не содержит петель.

Рисунок 2.2 – Двухслойная нейронная сеть (перцептрон)

Пусть N общее число нейронов в сети;

- число входов в - й нейрон;

- значение силы импульса - го входа в - й нейрон;

- вес импульса - го входа в - й нейрон;

(2.5)

- выход - ого нейрона.

Определим функцию ошибки для нейронной сети: , (2.6)

Где - целевое значение выхода - ого нейрона;

- число нейронов в выходном слое.

Обучить нейросеть означает найти весовые коэффициенты так, чтобы функция ошибки была минимальной.