3.8.10Сети арт-2 и арт-3.
Основной отличительной чертой нейронной сети АРТ-2 является возможность работы с аналоговыми векторами и сигналами. По сравнению с АРТ-1 в архитектуре сети сделаны некоторые изменения, позволяющие отдельным подсистемам функционировать асинхронно, что принципиально для аппаратных реализаций.
Важным отличием аналоговых сигналов от битовых является принципиальная возможность аналоговых векторов быть сколь угодно близкими друг к другу (в то время как простанство битовых векторов дискретно). Это накладывает дополнительные требования на функционирование нейронов слоя сравнения - требуется более тонкий и чувствительный механизм для выделения областей резонанса. Общим решением здесь является переход к многослойной архитектуре, с все более точной настройкой при переходе от слоя к слою, что и применено в АРТ-2. Функционирование слоя распознавания принципиально не изменяется.
Сети АРТ-2 применялись для распознавания движущихся изображений. Успешные эксперименты выполнены в Массачусетском Технологическом Институте (MIT). Поскольку нейросистемы АРТ не содержат механизма инвариантного распознавания (в отличие от НЕОКОГНИТРОНА, см. предыдущую лекцию), то в сочетании с ними применяются специализированные (часто не нейросетевые) системы инвариантного представления образов, например двумерное преобразование Фурье, или более сложные алгоритмы. Более подробное рассмотрение особенностей и применений АРТ-2 требует профессионального изучения и не входит в наши цели.
Следующим шагом в развитии АРТ явилась сеть АРТ-3. Особенности обучения нейронов сетей АРТ-1 и АРТ-2 не позволяют использовать эти сети, как элементы более крупных иерархических нейросистем, в частности, компоновать из них многослойные сети. Это затрудняет представление в АРТ иерархически организованной информации, что характерно для систем восприятия человека и животных.
Эти проблемы решены в сети АРТ-3, которая выступает как многослойная архитектура. При переходе от слоя к слою происходит контрастирование входных образов и запоминание их в виде все более общих категорий. При этом основной задачей каждого отдельного слоя является сжатие входящей информации.
Образ входит в адаптирующийся резонанс между некоторой парой слоев, в дальнейшем этот резонанс рапространяется на следующие слои иерархии. В АРТ-1 и АРТ-2 недостаточный уровень резонанса приводил к генерации сигнала сброса, что приводило к полному торможению слоя распознавания. В случае многослойной сети АРТ-3 это недопустимо, так как это разрывает поток информации. Поэтому в АРТ-3 введен специальный механизм зависимости активности синапсов обратных связей от времени, аналогичный рефрактерному торможению биологического нейрона после передачи возбуждения. Поэтому вместо полного сброса сигнала происходит торможение синаптических сигналов обратной связи, и слой сравнения получает исходное состояние возбуждения для выполнения фазы поиска нового резонанса.
Интересным предложением является также использование в многослойной иерархии слоев, которые не являются слоями АРТ, а принадлежат некоторой другой архитектуре. В этом случае система получается гибридной, что может привести к возникновению новых полезных свойств.
Развитие теории АРТ продолжается. По высказыванию авторов теории, АРТ представляет собой нечто существенно более конкретное, чем философское построение, но намного менее конкретное, чем законченная программа для компьютера. Однако уже в современном виде, опираясь на свою более чем 20-летнюю историю, сети АРТ демонстрируют свои успешные применения в различных областях. АРТ сделала также важный шаг в общей проблеме моделирования пластично-стабильного восприятия.
- Оглавление
- Введение
- 1.Математические модели искусственных нейронных сетей [9]
- 1.1Общие сведения о структуре биологического нейрона
- 1.2 Математическая модель искусственного нейрона
- 1.3 Математическое описание нейронной сети
- 1.4 Стохастический нейрон
- 1.5 Сравнение характеристик машины фон Неймана и нейронной сети
- 2.Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы
- 2.1 Концепции применения нейросетевых компонентов в информационных системах
- 2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов
- 2.3 Формирование задачника для нейросети
- 2.4 Особенности формирования нейронной сети
- 2.5 Интерпретация сигналов нейронной сети
- 2.6Управляющая программа (исполнитель)
- 2.7 Компонент учитель
- 2.8Настройка параметров нейросети.
- 2.9Оценка и коррекция нейросетевой модели
- 2.10 Конструктор нейронной сети
- 2.11 Контрастер нейросети.
- 2.12 Логически прозрачные сети, получение явных знаний
- 2.13 Решение дополнительных задач с помощью нейросетевых компонентов
- 2.14Разработка языка описания нейроимитатора для обмена данными
- 3.Разновидности нейронных сетей [31]
- 3.1Персептрон Розенблатта.
- 3.1.1Персептрон Розенблатта.
- 3.1.2Теорема об обучении персептрона.
- 3.1.3Линейная разделимость и персептронная представляемость
- 3.2Свойства процессов обучения в нейронных сетях.
- 3.2.1Задача обучения нейронной сети на примерах.
- 3.2.2Классификация и категоризация.
- 3.2.3Обучение нейронной сети с учителем, как задача многофакторной оптимизации.
- 3.3Многослойный персептрон.
- 3.3.1Необходимость иерархической организации нейросетевых архитектур.
- 3.3.2Многослойный персептрон.
- 3.3.3Обучение методом обратного распространения ошибок.
- 3.4Другие иерархические архитектуры.
- 3.4.1Звезды Гроссберга
- 3.4.2Принцип Winner Take All (wta) - Победитель Забирает Все - в модели Липпмана-Хемминга.
- 3.4.3Карта самоорганизации Кохонена.
- 3.4.4Нейронная сеть встречного распространения.
- 3.5Модель Хопфилда.
- 3.5.1Сети с обратными связями
- 3.5.2Нейродинамика в модели Хопфилда
- 3.5.3Правило обучения Хебба
- 3.5.4Ассоциативность памяти и задача распознавания образов
- 3.6Обобщения и применения модели Хопфилда.
- 3.6.1Модификации правила Хебба.
- 3.6.2Матрица Хебба с ортогонализацией образов.
- 3.6.3Отказ от симметрии синапсов.
- 3.6.4Алгоритмы разобучения (забывания).
- 3.6.5Двунаправленная ассоциативная память.
- 3.6.6Детерминированная и вероятностная нейродинамика.
- 3.6.7Применения сети Хопфилда к задачам комбинаторной оптимизации.
- 3.7Неокогнитрон Фукушимы.
- 3.7.1Когнитрон: самоорганизующаяся многослойная нейросеть.
- 3.7.2Неокогнитрон и инвариантное распознавание образов.
- 3.8Теория адаптивного резонанса.
- 3.8.1Дилемма стабильности-пластичности восприятия.
- 3.8.2Принцип адаптивного резонанса.
- 3.8.3Нейронная сеть aрt-1.
- 3.8.4Начальное состояние сети.
- 3.8.5Фаза сравнения.
- 3.8.6Фаза поиска.
- 3.8.7Обучение сети арт.
- 3.8.8Теоремы арт.
- 3.8.9Дальнейшее развитие арт: архитектуры арт-2 и арт-3.
- 3.8.10Сети арт-2 и арт-3.
- 3.9Черты современных архитектур.
- 3.9.1Черты современных архитектур.
- 3.9.2Сегодняшний день нейронауки.
- 3.9.3Программное и аппаратное обеспечение. Нейро-эвм.
- 4.Литература и учебно-методические материалы