Дилемма стабильности-пластичности восприятия.
Проблема стабильности-пластичности является одной из самых сложных и трудно решаемых задач при построении искусственных систем, моделирующих восприятие. Характер восприятия внешнего мира живыми организмами (и, прежде всего, человеком) постоянно связан с решением дилеммы, является ли некоторый образ "новой" информацией, и следовательно реакция на него должна быть поисково-познавательной, с сохранением этого образа в памяти, либо этот образ является вариантом "старой", уже знакомой картиной, и в этом случае реакция организма должна соотвествовать ранее накопленному опыту. Специальное запоминание этого образа в последнем случае не требуется. Таким образом, восприятие одновременно пластично, адаптированно к новой информации, и при этом оно стабильно, то есть не разрушает память о старых образах.
Рассмотренные на предыдущих лекциях нейронные системы не приспособлены к решению этой задачи. Так например, многослойный персептрон, обучающийся по методу обратного распространения, запоминает весь пакет обучающей информации, при этом образы обучающей выборки пред'являются в процессе обучения многократно. Попытки затем обучить персептрон новому образу приведут к модификации синаптических связей с неконтролируемым, вообще говоря, разрушением структуры памяти о предыдущих образах. Таким образом, персептрон не способен к запоминанию новой информации, необходимо полное переобучение сети.
Аналогичная ситуация имеет место и в сетях Кохонена и Липпмана-Хемминга, обучающихся на основе самоорганизации. Данные сети всегда выдают положительный результат при классификации. Тем самым, эти нейронные сети не в состоянии отделить новые образы от искаженных или зашумленных версий старых образов.
Исследования по проблеме стабильности-пластичности, выполненные в Центре Адаптивных Систем Бостонского университета под руководством Стефана Гроссберга, привели к построению теории адаптивного резонанса (АРТ) и созданию нейросетевых архитектур нового типа на ее основе. Мы переходим к рассмотрению общих положений АРТ, выдвинутых С.Гроссбергом в 1976 г. и подробно изложенных в основополагающей работе 1987 г (S.Grossberg, G.Carpenter, 1987).
- Лекция 3. Биологический нейрон и его кибернетическая модель.
- Метод нейробиологии.
- Биологический нейрон.
- Нейронные сети.
- Биологическая изменчивость и обучение нейронных сетей.
- Формальный нейрон.
- Обучение нейрона детектированию границы "черное-белое"
- Лекция 4. Персептрон Розенблатта.
- Персептрон Розенблатта.
- Теорема об обучении персептрона.
- Линейная разделимость и персептронная представляемость
- Лекция 5. Свойства процессов обучения в нейронных сетях.
- Задача обучения нейронной сети на примерах.
- Классификация и категоризация.
- Обучение нейронной сети с учителем, как задача многофакторной оптимизации. Понятие о задаче оптимизации.
- Постановка задачи оптимизации при обучении нейронной сети
- Лекция 6. Многослойный персептрон.
- Необходимость иерархической организации нейросетевых архитектур.
- Многослойный персептрон.
- Обучение методом обратного распространения ошибок.
- Лекция 7. Другие иерархические архитектуры.
- Звезды Гроссберга
- Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- Карта самоорганизации Кохонена.
- Нейронная сеть встречного распространения.
- Лекция 8. Модель Хопфилда.
- Сети с обратными связями
- Нейродинамика в модели Хопфилда
- Правило обучения Хебба
- Ассоциативность памяти и задача распознавания образов
- Лекция 9. Обобщения и применения модели Хопфилда.
- Модификации правила Хебба.
- Матрица Хебба с ортогонализацией образов.
- Отказ от симметрии синапсов.
- Алгоритмы разобучения (забывания).
- Двунаправленная ассоциативная память.
- Детерминированная и вероятностная нейродинамика.
- Применения сети Хопфилда к задачам комбинаторной оптимизации.
- Лекция 10. Неокогнитрон Фукушимы.
- Когнитрон: самоорганизующаяся многослойная нейросеть.
- Неокогнитрон и инвариантное распознавание образов.
- Лекция 11. Теория адаптивного резонанса.
- Дилемма стабильности-пластичности восприятия.
- Принцип адаптивного резонанса.
- Нейронная сеть aрt-1.
- Начальное состояние сети.
- Фаза сравнения.
- Фаза поиска.
- Обучение сети арт.
- Теоремы арт.
- Дальнейшее развитие арт: архитектуры арт-2 и арт-3. Нерешенные проблемы и недостатки арт-1.
- Сети арт-2 и арт-3.
- Лекция 12. Черты современных архитектур.
- Черты современных архитектур.
- Сегодняшний день нейронауки.
- Программное и аппаратное обеспечение. Нейро-эвм.