2.3.2 Метод градиента

В этом методе используется градиент целевой функции, шаги совершаются по направлению наибыстрейшего уменьшения целевой функции, что, естественно, ускоряет процесс поиска оптимума.

Идея метода заключается в том, что находятся значения частных производных по всем независимым переменным ,= 1, n , которые определяют направление градиента в рассматриваемой точке

=, и осуществляется шаг в направлении обратном направлению градиента, т.е. в направлении наибыстрейшего убывания целевой функции (если ищется минимум). Итерационный процесс имеет вид

где параметр задает длину шага.

Алгоритм метода градиента при непосредственном его применении включает в себя следующие этапы.

1) Задается начальное значение вектора независимых переменных (), определяющего точку, из которой начинается движение к минимуму.

2) Рассчитывается значение целевой функции в начальной точке ().

3) Определяется направление градиента в начальной точке (рис. 2.10).

Рисунок 2.10 –Характер движения к оптимуму в методе градиента

4) Делается шаг в направлении антиградиента при поиске минимума, в результате чего попадают в точку .

5) Процесс поиска продолжается, повторяя все этапы с п. 2, т.е. вычисляется)определяется направление градиента в точкеu¹, делается шаг и т.д.

Важной задачей в этом методе является выбор шага. Если размер шага слишком мал, то движение к оптимуму будет долгим из-за необходимости расчета целевой функции и ее частных производных в очень многих точках. Если же шаг будет выбран слишком большим, то в районе оптимума может возникнуть "рыскание", которое либо затухает слишком медленно, либо совсем не затухает. На практике сначала шаг выбирается произвольно. Если окажется, что направление градиента в точке u1 существенно отличается от направления в точкеu², то шаг уменьшают, если отличие векторов по направлению мало, то шаг увеличивают. Изменение направления градиента можно определять по углу поворота градиента рассчитываемого на каждом шаге по соответствующим выражениям.

Итерационный процесс поиска обычно прекращается, если выполняются неравенства ,∂,

, где– заданные числа. Недостатком градиентного метода является то, что при его использовании можно обнаружить только локальный минимум целевой функции. Для нахождения других локальных минимумов поиск необходимо производить из других начальных точек.