Исторический аспект
Людей всегда интересовало их собственное мышление. Это самовопрошение, думание мозга о себе самом является, возможно, отличительной чертой человека. Имеется множество размышлений о природе мышления, простирающихся от духовных до анатомических. Обсуждение этого вопроса, протекавшее в горячих спорах философов и теологов с физиологами и анатомами, принесло мало пользы, так как сам предмет весьма труден для изучения. Те, кто опирался на самоанализ и размышление, пришли к выводам, не отвечающим уровню строгости физических наук. Экспериментаторы же нашли, что мозг труден для наблюдения и ставит в тупик своей организацией. Короче говоря, мощные методы научного исследования, изменившие наш взгляд на физическую реальность, оказались бессильными в понимании самого человека.
Нейробиологи и нейроанатомы достигли значительного прогресса. Усердно изучая структуру и функции нервной системы человека, они многое поняли в «электропроводке» мозга , но мало узнали о его функционировании. В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами других, образуют систему, далеко превосходящую наши самые смелые мечты о суперкомпьютерах. Тем не менее мозг постепенно выдает свои секреты в процессе одного из самых напряженных и честолюбивых исследований в истории человечества.
Лучшее понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки своих теорий. Эксперименты теперь могут проводиться на цифровых компьютерах без привлечения человека или животных, что решает многие практические и морально-этические проблемы. В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Поэтому возникли и остаются в настоящее время две взаимно обогащающие друг-друга цели нейронного моделирования: первая – понять функционирование нервной системы человека на уровне физиологии и психологии и вторая – создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга. Именно эта последняя цель и находится в центре внимания этой книги.
Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д. Хэбба, который в 1949г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дополненный сегодня множеством других методов он продемонстрировал ученым того времени, как сеть нейронов может обучаться.
В пятидесятые и шестидесятые годы группа исследователей, объединив эти биологические и физиологические подходы, создала первые искусственные нейронные сети. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Первые успехи вызвали взрыв активности и оптимизма. Минский, Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Часто называемые персептронами, они были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.
Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. Минский, используя точные математические методы, строго доказал ряд теорем, относящихся к функционированию сетей.
Его исследования привели к написанию книги [4], в которой он вместе с Пайпертом доказал, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ». Минский также не был оптимистичен относительно потенциально возможного здесь прогресса:
Персептрон показал себя заслуживающим изучения, несмотря на жесткие ограничения (и даже благодаря им). У него много привлекательных свойств: линейность, занимательная теорема об обучении, простота модели параллельных вычислений. Нет оснований полагать, что эти достоинства сохраняться при переходе к многослойным системам. Тем не менее мы считаем важной задачей для исследования подкрепление (или опровержение) нашего интуитивного убеждения, что такой переход бесплоден.
Возможно, будет открыта какая-то мощная теорема о сходимости или найдена глубокая причина неудач дать интересную «теорему обучения» для многослойных машин ([4], с.231-232).
Блеск и строгость аргументации Минского, а также его престиж породили огромное доверие к книге – ее выводы были неуязвимы. Разочарованные исследователи оставили поле исследований ради более обещающих областей, а правительства перераспределили свои субсидии, и искусственные нейронные сети были забыты почти на два десятилетия.
Тем не менее несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликованные в семидесятые и начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур.
За последние несколько лет теория стала применяться в прикладных областях и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Нарастание научной активности носило взрывной характер. В 1987 г. было проведено четыре крупных совещания по искусственным нейронным сетям и опубликовано свыше 500 научных сообщений – феноменальная скорость роста.
Урок, который можно извлечь из этой истории, выражается законом Кларка, выдвинутым писателем и ученым Артуром Кларком. В нем утверждается, что, если крупный уважаемый ученый говорит, что нечто может быть выполнено, то он (или она) почти всегда прав. Если же ученый говорит, что это не может быть выполнено, то он (или она) почти всегда не прав. История науки является летописью ошибок и частичных истин. То, что сегодня не подвергается сомнениям, завтра отвергается. Некритическое восприятие «фактов» независимо от их источника может парализовать научный поиск. С одной стороны, блестящая научная работа Минского задержала развитие искусственных нейронных сетей. Нет сомнений, однако, в том, что область пострадала вследствие необоснованного оптимизма и отсутствия достаточной теоретической базы. И возможно, что шок, вызванный книгой «Персептроны», обеспечил необходимый для созревания этой научной области период.
- Нейрокомпьютерная техника: Теория и практика
- Предисловие
- Благодарности
- Введение почему именно искусственные нейронные сети?
- Свойства искусственных нейронных сетей
- Обучение
- Обобщение
- Абстрагирование
- Применимость
- Исторический аспект
- Искусственные нейронные сети сегодня
- Перспективы на будущее
- Искусственные нейронные сети и экспертные системы
- Соображения надежности
- Литература
- Глава 1. Основы искусственных нейронных сетей
- Биологический прототип
- Искусственный нейрон
- Активационные функции
- Однослойные искусственные нейронные сети
- Многослойные искусственные нейронные сети
- Нелинейная активационная функция
- Сети с обратными связями
- Терминология, обозначения и схематическое изображение искусственных нейронных сетей
- Терминология
- Дифференциальные уравнения или разностные уравнения
- Графическое представление
- Обучение искусственных нейронных сетей
- Цель обучения
- Обучение с учителем
- Обучение без учителя
- Алгоритмы обучения
- Литература
- Глава 2. Персептроны персептроны и зарождение искусственных нейронных сетей
- Персептронная представляемость
- Проблема функции исключающее или
- Линейная разделимость
- Преодоление ограничения линейной разделимости
- Эффективность запоминания
- Обучение персептрона
- Алгоритм обучения персептрона
- Дельта-правило
- Трудности с алгоритмом обучения персептрона
- Литература
- Глава 3. Процедура обратного распространения введение в процедуру обратного распространения
- Обучающий алгоритм обратного распространения Сетевые конфигурации
- Многослойная сеть.
- Обзор обучения
- Дальнейшие алгоритмические разработки
- Применения
- Предостережение
- Паралич сети
- Локальные минимумы
- Размер шага
- Временная неустойчивость
- Литература
- Глава 4. Сети встречного распространения введение в сети встречного распространения
- Структура сети
- Нормальное функционирование Слои Кохоненна
- Слой Гроссберга
- Обучение слоя кохонена
- Предварительная обработка входных векторов
- Выбор начальных значений весовых векторов
- Режим интерполяции
- Статистические свойства обученной сети
- Обучение слоя гроссберга
- Сеть встречного распространения полностью
- Приложение: сжатие данных
- Обсуждение
- Литература
- Глава 5. Стохастические методы
- Использование обучения
- Больцмановское обучение
- Обучение Коши
- Метод искусственной теплоемкости
- Приложения к общим нелинейным задачам оптимизации
- Обратное распространение и обучение коши
- Трудности, связанные с обратным распространением
- Трудности с алгоритмом обучения Коши
- Комбинирование обратного распространения с обучением Коши
- Обсуждение
- Литература
- Глава 6. Сети Хопфилда
- Конфигурации сетей с обратными связями
- Бинарные системы
- Устойчивость
- Ассоциативная память
- Непрерывные системы
- Сети Хопфилда и машина Больцмана
- Термодинамические системы
- Статистичекие сети Хопфилда
- Обобщенные сети
- Приложения Аналого-цифровой преобразователь
- Задача коммивояжера
- Обсуждение Локальные минимумы
- Скорость
- Функция энергии
- Емкость сети
- Литература
- Глава 7. Двунаправленная ассоциативная память
- Структура дап
- Восстановление запомненных ассоциаций
- Кодирование ассоциаций
- Емкость памяти
- Непрерывная дап
- Адаптивная дап
- Конкурирующая дап
- Заключение
- Литература
- Глава 8. Адаптивная резонансная теория
- Архитектура apt
- Описание apt
- Упрощенная архитектура apt
- Функционирование сети apt в процессе классификации
- Реализация apt Обзор
- Функционирование сетей apt
- Пример обучения сети apt
- Характеристики apt
- Инициализация весовых векторов т
- Настройка весовых векторов Вj
- Инициализация весов bij
- Теоремы apt
- Заключение
- Литература
- Глава 9. Оптические нейронные сети
- Векторно-матричные умножители
- Электронно-оптические матричные умножители
- Сети Хопфилда на базе электронно-оптических матричных умножителей
- Голографические корреляторы
- Объемные голограммы
- Оптическая сеть Хопфилда, использующая объемные голограммы
- Заключение
- Литература
- Глава 10. Когнитрон и неокогнитрон
- Когнитрон
- Структура
- Обучение
- Неокогнитрон
- Структура
- Обобщение
- Вычисления
- Обучение
- Заключение
- Литература
- Приложение а. Биологические нейронные сети человеческий мозг: биологическая модель для искусственных нейронных сетей
- Организация человеческого мозга
- Мембрана клетки
- Компьютеры и человеческий мозг
- Приложение б. Алгоритмы обучения
- Обучение с учителем и без учителя
- Метод обучения хэбба
- Алгоритм обучения Хэбба
- Метод сигнального обучения Хэбба
- Метод дифференциального обучения Хэбба
- Входные и выходные звезды
- Обучение входной звезды
- Обучение выходной звезды
- Обучение персептрона
- Метод обучения уидроу-хоффа
- Методы статистического обучения
- Самоорганизация
- Литература