Обучение нейрона детектированию границы "черное-белое"
Способность формального нейрона к обучению проявляется в возможности изменения значений вектора весов W, соответствующей пластичности синапсов биологических нейронов. Рассмотрим обучение формального нейрона на примере простейшей задачи детектирования границы. Пусть имеется образ, составленный из одномерной цепочки черных и белых клеток. Зачерненные клетки соответсвуют единичному сигналу, а белые клетки - нулевому. Сигнал на входах формального нейрона устанавливается равным значениям пар примыкающих клеток рассматриваемого образа. Нейрон обучается всякий раз возбуждаться и выдавать единичный выходной сигнал, если его первый вход (на Рис. 4.2. - левый) соединен с белой клеткой, а второй (правый) - с черной. Таким образом, нейрон должет служить детектором границы перехода от светлого к темному тону образа.
Рис. 4.2. Формальный нейрон с двумя входами, занятый обработкой образа в виде одномерной цепочки черных и белых клеток.
Функция, выполняемая нейроном, определяется следующей таблицей.
Вход 1 | Вход 2 | Требуемый выход |
1 | 1 | 0 |
1 | 0 | 0 |
0 | 1 | 1 |
0 | 0 | 0 |
Для данной задачи значения весов и порога нейрона могут быть предъявлены и без специальной процедуры обучения. Легко убедиться, что нужным требованиям удовлетворяет набор = 0, W1= -1, W1= +1. В случае задачи детектирования границы перехода от темного к светлому веса нужно поменять местами.
В общем случае для подстройки весов при обучении нейрона разработаны различные алгоритмы, которые будут рассматриваться в применении к конкретным типам нейронных сетей, составленных из формальных нейронов.
- Лекция 3. Биологический нейрон и его кибернетическая модель.
- Метод нейробиологии.
- Биологический нейрон.
- Нейронные сети.
- Биологическая изменчивость и обучение нейронных сетей.
- Формальный нейрон.
- Обучение нейрона детектированию границы "черное-белое"
- Лекция 4. Персептрон Розенблатта.
- Персептрон Розенблатта.
- Теорема об обучении персептрона.
- Линейная разделимость и персептронная представляемость
- Лекция 5. Свойства процессов обучения в нейронных сетях.
- Задача обучения нейронной сети на примерах.
- Классификация и категоризация.
- Обучение нейронной сети с учителем, как задача многофакторной оптимизации. Понятие о задаче оптимизации.
- Постановка задачи оптимизации при обучении нейронной сети
- Лекция 6. Многослойный персептрон.
- Необходимость иерархической организации нейросетевых архитектур.
- Многослойный персептрон.
- Обучение методом обратного распространения ошибок.
- Лекция 7. Другие иерархические архитектуры.
- Звезды Гроссберга
- Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- Карта самоорганизации Кохонена.
- Нейронная сеть встречного распространения.
- Лекция 8. Модель Хопфилда.
- Сети с обратными связями
- Нейродинамика в модели Хопфилда
- Правило обучения Хебба
- Ассоциативность памяти и задача распознавания образов
- Лекция 9. Обобщения и применения модели Хопфилда.
- Модификации правила Хебба.
- Матрица Хебба с ортогонализацией образов.
- Отказ от симметрии синапсов.
- Алгоритмы разобучения (забывания).
- Двунаправленная ассоциативная память.
- Детерминированная и вероятностная нейродинамика.
- Применения сети Хопфилда к задачам комбинаторной оптимизации.
- Лекция 10. Неокогнитрон Фукушимы.
- Когнитрон: самоорганизующаяся многослойная нейросеть.
- Неокогнитрон и инвариантное распознавание образов.
- Лекция 11. Теория адаптивного резонанса.
- Дилемма стабильности-пластичности восприятия.
- Принцип адаптивного резонанса.
- Нейронная сеть aрt-1.
- Начальное состояние сети.
- Фаза сравнения.
- Фаза поиска.
- Обучение сети арт.
- Теоремы арт.
- Дальнейшее развитие арт: архитектуры арт-2 и арт-3. Нерешенные проблемы и недостатки арт-1.
- Сети арт-2 и арт-3.
- Лекция 12. Черты современных архитектур.
- Черты современных архитектур.
- Сегодняшний день нейронауки.
- Программное и аппаратное обеспечение. Нейро-эвм.