4.1. Заполнение пропусков в таблице климатических данных
Решалась задача заполнения пропусков в значениях 6 интегральных климатических параметров:
годовая сумма температур;
годовая сумма осадков;
коэффициент увлажнения;
дефицит влаги;
индекс сухости;
индекс континентальности.
Для 121 метеостанции имелись значения всех шести климатических параметров, у остальных в различных комбинациях отсутствовали значения одного-трех параметров. Целью работы являлось прогнозирование отсутствующих значений.
Первым этапом работы являлось оценивание точности прогнозирования известных данных при помощи нейросетевых методов обработки информации. Использовалась нейросетевая нелинейная регрессия и транспонированная линейная регрессия. Определение точности прогноза проводилось в режиме скользящего экзамена на основе данных по 121 метеостанции, где имелись значения всех шести параметров. Оценивалась точность прогнозирования одного из климатических параметров на основе информации о пяти других.
При использовании транспонированной линейной регрессии для каждой из метеостанций по пяти климатическим параметрам отбиралась наилучшая опорная группа из нескольких метеостанций и по построенному транспонированному регрессионному уравнению на основе значений искомого признака у метеостанций наилучшей опорной группы прогнозировалось значение искомого признака целевой метеостанции и прогнозное значение затем сравнивалось с известным значением этого признака у данной метеостанции. Затем для метеостанции прогнозировался другой климатический параметр после построения новой (возможно, включающей другие метеостанции) опорной группы по набору из оставшихся пяти параметров. Далее для каждого из параметров по всему набору из 121 метеостанции находились средние и максимальные ошибки прогноза известных значений. Такая работа по нахождению проводилась несколько раз для оценки влияния различных параметров метода транспонированной линейной регрессии (например, числа метеостанций в опорной группе) на достигаемую точность прогноза.
При использовании нейросетевой нелинейной регрессии процесс оценивания точности прогноза являлся модификацией скользящего экзамена, примененного для транспонированной линейной регрессии. По-прежнему прогнозировался один из параметров метеостанции по значениям пяти других параметров. При этом весь набор из 121 станции разбивался на 5 частей и 4 части (80% от числа метеостанций) использовались для обучения нейронной сети, а оставшаяся часть – для определения точности прогноза искомого климатического параметра. Для прогнозирования каждого из параметров обучались 5 нейронных сетей (каждая по своему набору из 80% метеостанций) и определялись средняя и максимальная ошибки прогноза этого параметра. Таким образом, было обучено 30 нейронных сетей.
В Табл. 1 представлены результаты по полученной точности прогноза. Для каждого климатического параметра представлены максимальная и средняя ошибки, выраженные в процентах от диапазона изменения соответствующего параметра. Для транспонированной линейной регрессии представлены точности прогноза при разном числе метеостанций в опорной группе (две, три и четыре станции). Чтобы сравнить полученную точность прогноза с точностью, достигаемой классическими методами построения зависимостей, в таблице приведена точность прогноза классической линейной регрессии.
Можно сделать следующие выводы. Нейросетевая нелинейная регрессия и транспонированная линейная регрессия (при четырех метеостанциях в опорной группе) показали лучшую точность прогноза по сравнению с классической линейной регрессией. Поскольку при решении задачи регрессии при переходе от линейных регрессионных зависимостей (классическая линейная регрессия) к нелинейным (нейросетевая регрессия) наблюдается повышение точности прогноза, то по аналогии можно предположить потенциальное повышение точности прогноза при переходе от транспонированных линейных регрессионных зависимостей к нелинейным транспонированным регрессионным зависимостям (даже к простейшим дробно-рациональным, представленным в гл.3).
Т Таблица 1. Достигнутая точность прогноза климатических параметров Ошибка (максимальная (max), средняя (avg)) прогноза известных данных, в % от диапазона изменения параметра, по климатическим параметрам Использованный метод построения регрессионной зависимости Коэфф-т увлажне-ния Годовая сумма темпера-тур Дефицит влаги Индекс конти-ненталь-ности Индекс сухости Годовая сумма осадков max avg max avg Max avg max avg max avg max avg Линейная регрессия 20,3 2,0 53,4 7,7 29,9 9,9 33,1 9,3 38,3 9,0 22,3 2,9 Нейросетевая нелин. Регрессия 4,4 1,1 10,1 3,0 14,8 5,0 11,8 3,2 13,9 4,1 5,5 1,2 Трансп. 2 метео-станции 19,9 1,4 49,3 8,9 43,9 10,4 64,0 10,3 39,5 8,2 34,2 1,9 лин. 3 метео-станции 21,8 1,3 34,6 5,7 39, 11,2 35,5 8,7 42,3 7,9 27,4 1,3 регрес-сия 4 метео-станции 18,7 1,2 32,5 5,7 29,2 7,5 27,6 7,7 37,6 6,1 12,9 1,5
В приведенном примере каждой метеостанции соответствует точка на карте (если рассматривать географические координаты станции – ее широту и долготу). Если для каждой станции проанализировать территориальное размещение станций, входящих в ее оптимальную опорную группу, то оказывается, что станции опорной группы расположены достаточно компактно относительно исходной. Иными словами, не происходит интерполяции климатических параметров, например, восточносибирских метеостанций по значениям параметров станций Западной Сибири и Дальнего Востока, или станций района Красноярска по станциям Таймыра и Алтая. Такая глобальная интерполяция, конечно, возможна, но по точности проигрывает локальным моделям климатической ситуации. Можно сказать, что достаточно существенный вклад в климатическую ситуацию района вносят особенности самого района, как-то: удаленность от океана, рельеф местности и другие параметры, влияние которых можно учитывать при прогнозировании климатических параметров метеостанции по близлежащим метеостанциям.
Вернемся к исходной задаче заполнения пропусков в таблице данных. Тестирование точности прогноза проводилось в условиях, достаточно сильно отличающихся от реальных – у метеостанций в действительности могли отсутствовать значения более чем одного параметра. Реально из 111 метеостанций, для которых восстанавливались отсутствующие значения, 84 станции имели пропущенные значения одного параметра, 19 – двух и 8 метеостанций – трех параметров. Определение точности прогноза одновременно двух и более параметров в данной работе не рассматривалось, но, естественно, эта точность оказалась бы ниже точности, достигнутой при прогнозе одного параметра (из-за сокращения набора признаков, по которым делался бы прогноз).
Точность прогноза, достигнутая нейросетевыми методами, оказалась достаточной и позволила провести дальнейшую работу по прогнозированию неизвестных значений климатических параметров у отдельных метеостанций. При этом в большинстве случаев прогнозные значения, получаемые разными методами, были достаточно близки друг к другу и к экспертным заключениям, выполнявшимся с привлечением дополнительной информации.
Здесь может возникнуть справедливое замечание: можно ли доверять прогнозу, сделанному на основании обработки такой достаточно малой таблицы данных. Излагаемые далее результаты будут получены даже на еще меньших объемах данных. Однако повторим, что в случае отсутствия теоретически обоснованных моделей единственным способом проверки адекватности построенной модели является рассмотрение точности прогноза модели на тестовой выборке, а точность получилась достаточной. Также специфика данных проблемных областей такова, что прогноз модели непосредственно не "пойдет в дело" – исследователь будет сравнивать прогноз модели с собственными экспертными заключениями и использовать наиболее правдоподобное значение.
Результаты данного исследования позволяют предположить, что нейросетевые методы восстановления зависимостей с успехом могут быть использованы при решении различных задач прогнозирования при обработке климатической, метеорологической и экологической информации.
- Методы нейроинформатики
- Фцп "интеграция"
- Предисловие редактора
- Моделирование данных при помощи кривыхдля восстановления пробелов в таблицах
- 660036, Красноярск-36, ивм со ран,
- 1. Общая схема метода
- 2. Итерационный метод главных компонент для данных с пропусками
- 3. Квазилинейные факторы и формулы Карлемана
- 4. Нейронный конвейер
- Литература
- Финитность и детерминированность простых программ для кинетической машины кирдина
- 660036, Красноярск-36, ивм со ран,
- 1. Введение
- 2. Понятие кинетической машины Кирдина
- 3. Модели выполнения программы
- 3.1. Последовательная модель
- 3.2. Параллельно-последовательная модель
- 3.3. Максимальная параллельно-последовательная модель
- 4. Программы, состоящие из одной команды
- 4.1. Распад
- 4.2. Синтез
- 4.3. Прямая замена
- 5. Заключение
- ЛитературА
- Алгоритмическая универсальность кинетической машины кирдина
- 660036, Красноярск-36, ивм со ран,
- Литература
- Погрешности нейронных сетей. Вычисление погрешностей весов синапсов
- 660036, Красноярск-36, ивм со ран,
- 1. Введение
- 2. Структура сети
- 3. Два базовых подхода к оценкам погрешности
- 4. Погрешности весов синапсов
- 5. Гарантированные интервальные оценки погрешностей весов синапсов
- 6. Среднеквадратические оценки погрешностей весов синапсов
- 7. Заключение
- Литература
- Нейросетевые методы обработки информации в задачах прогноза климатических характеристик и лесорастительных свойств ландшафтных зон
- 660036, Красноярск-36, ивм со ран,
- Введение
- 1. Проблемы обработки таблиц экспериментальных данных
- 2. Искусственные нейронные сети
- 2.1. Элементы нейронных сетей
- 2.2. Архитектуры нейронных сетей
- 2.3. Решение задач нейронными сетями
- 2.4. Подача входных сигналов и снятие выходных сигналов сети
- 2.5. Обучение нейронных сетей
- 2.6. Вычисление градиента функции оценки по подстроечным параметрам сети
- 2.7. Факторы, влияющие на обучение нейронной сети
- 2.8. Упрощение нейронных сетей
- 2.9 Вычисление показателей значимости параметров и входных сигналов сети
- 3. Транспонированная задача регрессии
- 4. Применение нейросетевых технологий для обработки таблицы климатических данных
- 4.1. Заполнение пропусков в таблице климатических данных
- 4.2. Построение классификационной модели ландшафтных зон и секторов континентальности
- 4.2.1. Классификация ландшафтных зон Сибири
- 4.2.2. Идентификация лесных зон по континентальности
- 4.3. Прогнозирование возможного изменения ландшафтных зон и секторов континентальности
- 5. Заключение
- Литература
- Интуитивное предсказание нейросетями взаимоотношений в группе
- 660049, Красноярск, пр. Мира 82
- 1. Проблема оценки взаимоотношений
- 2. Общая задача экспериментов
- 3. Применяемые в экспериментах психологические методики
- 4. Эксперименты по предсказанию группового статуса
- 5. Нейросетевое исследование структуры опросника
- 6. Оценка оптимизации задачника нейросетью с позиций теории информации
- 7 Эксперименты по предсказанию парных взаимоотношений
- Литература
- Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями
- 660049, Красноярск, пр. Мира 82
- 1. Постановка проблемы
- 2. Аналитическое решение
- 3. Запись решения в идеологии нейросетей
- 4. Алгоритмическая часть
- 5. Оценка информационной емкости нейронной сети при помощи выборочной константы Липшица
- 6. Соглашение о терминологии
- 7. Компоненты сети
- 8. Общий элемент сети
- 9. Вход сети
- 10. Выход сети
- 11. Синапс сети
- 12. Тривиальный сумматор
- 13. Нейрон
- 14. Поток сети
- 15. Скомпонованная полутораслойная поточная сеть
- Литература
- Использование нейросетевых технологий при решении аналитических задач в гис
- 660036, Красноярск-36, ивм со ран,
- Литература
- Использование нейросетевых технологий для проведения учебно-исследовательских работ
- 1. Введение
- 2. Зимняя Политехническая Школа по Нейроинформатике
- 3. Задачи
- 4. Результаты
- 5. Перспективы
- Литература
- Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей
- 660036, Красноярск-36, ивм со ран,
- 1. Введение
- 2. Логически прозрачные нейронные сети
- 2.1. Архитектура логически прозрачных сетей
- 2.2. Критерии логической прозрачности нейронной сети
- 2.3. Требования к нелинейности элементов
- 3. Контрастирование нейронов
- 4. Приведение нейронных сетей к логически прозрачному виду
- 4.1. Наложение ограничений на архитектуру нейросети
- 4.2. Упрощение нейросети
- 4.3. Приведение настраиваемых параметров сети к предельным значениям и модификация нелинейных преобразователей нейронов
- 4.4. Проведение эквивалентных преобразований структуры нейросети
- 5. Вербализация нейронных сетей
- 6. Автоматическая генерация полуэмпирических теорий
- 7. Когнитологические аспекты
- 8. Влияние функции оценки на логическую прозрачность сети. Исключение примеров
- 9. Как выбирают американских президентов
- 10. Заключение
- Литература
- Содержание