Нейронные сети с прямой связью
Мы будем рассматривать два вида нейронных сетей: статические, которые также часто называют сетями с прямой связью (feed-forward), и динамические, или рекуррентные сети. В этом разделе мы займемся статическими сетями. Сети других видов будут кратко рассмотрены позднее.
Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Организация (топология) сети может быть различной. Если не все составляющие ее нейроны являются выходными, говорят, что сеть содержит скрытые нейроны. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом (но без обратных связей). В конкретных задачах нейроны обычно бывают сгруппированы в слои.
На рис. 13.2 показана типовая схема нейронной сети с прямой связью с одним скрытым слоем.
Выходные элементы
Скрытые элементы
Входные элементы
Рис. 13.2.Нейронная сеть с прямой связью с одним скрытым слоем (пopoгu не отмечены)
Интересно отметить, что, согласно теоретическим результатам, нейронные сети с прямой связью и с сигмоидными функциями являются универсальным средством для приближения (аппроксимации) функций. Говоря точнее, любую вещественнозначную функцию нескольких переменных на компактной области определения можно сколь угодно точно приблизить с помощью трехслойной сети. При этом правда, мы не знаем ни размеров сети, которая для этого потребуется, ни значений весов. Более того, из доказательства этих результатов видно, что число скрытых элементов неограниченно возрастает при увеличении точности приближения. Сети с прямой связью, действительно, могут служить универсальным средством для аппроксимации, но нет никакого правила, позволяющего найти оптимальную топологию сети для данной задачи.
Таким образом, задача построения нейронной сети является нетривиальной. Вопросы о том, сколько нужно взять скрытых слоев, сколько элементов в каждом из них, сколько связей и какие обучающие параметры, в имеющейся литературе, как правило, трактуются облегченно.
- Глава 13. Нейронные сети
- 13.1. Архитектура нейронных сетей
- Различные виды искусственных нейронов
- Различные виды функции активации
- Нейронные сети с прямой связью
- 13.2. Алгоритмы обучения нейронных сетей
- Критерии ошибок
- Обратное распространение ошибки
- Импульс
- Другие алгоритмы обучения
- Перекрестное подтверждение
- 13.3. Динамические сети
- Нейронные сети с временной задержкой
- 13.4. Самоорганизующиеся сети
- Практическое применение нейронных сетей для задач классификации (кластеризации)
- Цель классификации
- Использование нейронНblХ сетей в качестве классификатора
- Подготовка исходных данных
- Кодирование выходных значений
- Вероятностная классификация
- Классифика торы образов
- Нейронная сеть с прямой связью как классификатор
- 13.6. Применение нейронных сетей для анализа временных рядов задача анализа временных рядов
- Статистический анализ временных рядов
- Сбор данных
- Нейронные сети как средство добычи данных
- Очистка и преобразование базы данных
- Построение модели
- Программное обеспечение
- Финансовый анализ на рынке ценных бумаг
- Литература