Звезды Гроссберга
Идеи, отраженные в исследованиях Стефана Гроссберга на заре биологической кибернетики, положены в основу многих последующих нейросетевых разработок. Поэтому мы начинаем наше рассмотрение иерархических архитектур с конфигураций входных и выходных звезд Гроссберга (S. Grossberg, 1969).
Нейрон в форме входной звезды имеет N входов X1..XN, которым соответствуют веса W1..XN, и один выход Y, являющийся взвешенной суммой входов. Входная звезда обучается выдавать сигнал на выходе всякий раз, когда на входы поступает определенный вектор. Таким образом, входная звезда является детектором совокупного состояния своих входов. Процесс обучения представляется в следующей итерационной форме:
Темп обучения имеет начальное значение масштаба 0.1 и постепенно уменьшается в процессе обучения. В процессе настройки нейрон учится усредненным обучающим векторам.
Выходная звезда Гроссберга выполняет противоположную функцию - функцию командного нейрона, выдавая на выходах определенный вектор при поступлении сигнала на вход. Нейрон этого типа имеет один вход и M выходов с весами W1..M, которые обучаются по формуле:
Рекомендуется начать c порядка единицы и постепенно уменьшать до нуля в процессе обучения. Итерационный процесс будет сходиться к собирательному образу, полученному из совокупности обучающих векторов.
Особенностью нейронов в форме звезд Гроссберга является локальность памяти. Каждый нейрон в форме входной звезды помнит "свой" относящийся к нему образ и игнорирует остальные. Каждой выходной звезде присуща также конкретная командная функция. Образ памяти связывается с определенным нейроном, а не возникает вследствие взаимодействия множества нейронов в сети.
- Лекция 3. Биологический нейрон и его кибернетическая модель.
- Метод нейробиологии.
- Биологический нейрон.
- Нейронные сети.
- Биологическая изменчивость и обучение нейронных сетей.
- Формальный нейрон.
- Обучение нейрона детектированию границы "черное-белое"
- Лекция 4. Персептрон Розенблатта.
- Персептрон Розенблатта.
- Теорема об обучении персептрона.
- Линейная разделимость и персептронная представляемость
- Лекция 5. Свойства процессов обучения в нейронных сетях.
- Задача обучения нейронной сети на примерах.
- Классификация и категоризация.
- Обучение нейронной сети с учителем, как задача многофакторной оптимизации. Понятие о задаче оптимизации.
- Постановка задачи оптимизации при обучении нейронной сети
- Лекция 6. Многослойный персептрон.
- Необходимость иерархической организации нейросетевых архитектур.
- Многослойный персептрон.
- Обучение методом обратного распространения ошибок.
- Лекция 7. Другие иерархические архитектуры.
- Звезды Гроссберга
- Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- Карта самоорганизации Кохонена.
- Нейронная сеть встречного распространения.
- Лекция 8. Модель Хопфилда.
- Сети с обратными связями
- Нейродинамика в модели Хопфилда
- Правило обучения Хебба
- Ассоциативность памяти и задача распознавания образов
- Лекция 9. Обобщения и применения модели Хопфилда.
- Модификации правила Хебба.
- Матрица Хебба с ортогонализацией образов.
- Отказ от симметрии синапсов.
- Алгоритмы разобучения (забывания).
- Двунаправленная ассоциативная память.
- Детерминированная и вероятностная нейродинамика.
- Применения сети Хопфилда к задачам комбинаторной оптимизации.
- Лекция 10. Неокогнитрон Фукушимы.
- Когнитрон: самоорганизующаяся многослойная нейросеть.
- Неокогнитрон и инвариантное распознавание образов.
- Лекция 11. Теория адаптивного резонанса.
- Дилемма стабильности-пластичности восприятия.
- Принцип адаптивного резонанса.
- Нейронная сеть aрt-1.
- Начальное состояние сети.
- Фаза сравнения.
- Фаза поиска.
- Обучение сети арт.
- Теоремы арт.
- Дальнейшее развитие арт: архитектуры арт-2 и арт-3. Нерешенные проблемы и недостатки арт-1.
- Сети арт-2 и арт-3.
- Лекция 12. Черты современных архитектур.
- Черты современных архитектур.
- Сегодняшний день нейронауки.
- Программное и аппаратное обеспечение. Нейро-эвм.