Импульс
Другой часто применяемый прием состоит в том, что при определении направления поиска к текущему градиенту добавляется поправка - вектор смещения предыдущего шага, взятый с некоторым коэффициентом. Можно
сказать, что учитывается уже имеющийся импульс движения. Окончательная формула для изменения весов выглядит так:
где 11- число в интервале (0,1), которое задается пользователем.
Часто значенией волевым образом задается равным 0.9, безотносительно к специфике задачи и архитектуре сети. Нужно отметить, что метод импульса очень чувствителен к способу упорядочения примеров в обучающем множестве. Если подряд попал ось несколько примеров из одного класса, импульс станет очень большим, и это нарушит ход процесса обучения. Сказанное еще раз свидетельствует о. необходимости предварительного случайного упорядочения обучающего множества.
- Глава 13. Нейронные сети
- 13.1. Архитектура нейронных сетей
- Различные виды искусственных нейронов
- Различные виды функции активации
- Нейронные сети с прямой связью
- 13.2. Алгоритмы обучения нейронных сетей
- Критерии ошибок
- Обратное распространение ошибки
- Импульс
- Другие алгоритмы обучения
- Перекрестное подтверждение
- 13.3. Динамические сети
- Нейронные сети с временной задержкой
- 13.4. Самоорганизующиеся сети
- Практическое применение нейронных сетей для задач классификации (кластеризации)
- Цель классификации
- Использование нейронНblХ сетей в качестве классификатора
- Подготовка исходных данных
- Кодирование выходных значений
- Вероятностная классификация
- Классифика торы образов
- Нейронная сеть с прямой связью как классификатор
- 13.6. Применение нейронных сетей для анализа временных рядов задача анализа временных рядов
- Статистический анализ временных рядов
- Сбор данных
- Нейронные сети как средство добычи данных
- Очистка и преобразование базы данных
- Построение модели
- Программное обеспечение
- Финансовый анализ на рынке ценных бумаг
- Литература