2.2.3 Удаление аномалий и сглаживание
На диаграмме данных (рис. 2.7) видно, что данные содержат аномалии (выбросы) и шумы, за которыми трудно разглядеть тенденцию. Поэтому перед прогнозированием необходимо удалить аномалии и сгладить данные. Сделаем это при помощи парциальной обработки.
Парциальная предобработка служит для восстановления пропущенных данных, редактирования аномальных значений и спектральной обработки данных (например, сглаживания данных). Именно эти операции часто проводятся в первую очередь над данными.
Присутствие аномалий при построении моделей оказывает на них большое влияние, ухудшая качество результата. Воспользуемся Мастером обработки и выберем парциальную обработку.
В Мастере парциальной предобработки на втором шаге выбираем поле "Количество" и указываем ему тип обработки "Редактирование аномальных значений", степень подавления "Большая" (рис.2.9). Переходим на шаг запуска процесса обработки и нажимаем "Пуск".
Рисунок 2.9 – Настройка параметров парциальной предобработки
После выполнения процесса обработки на диаграмме (рис. 2.10) видно, что выбросы уменьшились, и стала проясняться реальная картина продаж.
Рисунок 2.10 – Временной ряд после удаления аномалий
Сглаживание данных применяется для удаления шумов из исходного набора, а также для выделения тенденции, трудно обнаруживаемой в исходном наборе. Платформа Deductor Studio предлагает несколько видов спектральной обработки: сглаживание данных путем указания полосы пропускания, вычитание шума путем указания степени вычитания шума и вейвлет-преобразования путем указания глубины разложения и порядка вейвлета.
Сгладим данные при помощи парциальной обработки, выберем переключатель «Вычитание шума» и укажем степень вычитания шума – «большая». Временной ряд после удаления шумов приведен на рисунке 2.11.
Как видно из примера данные стали более сглаженными и могут служить для дальнейшей обработки. Взглянув на данные легко понять общую тенденцию.
Рисунок 2.11 – Временной ряд после удаления шумов
Теперь перед аналитиком встает вопрос, а как, собственно, прогнозировать временной ряд. Обычно мы сталкивались с ситуацией, когда есть входные столбцы - факторы и есть выходные столбцы – результат. В данном случае столбец один. Строить прогноз на будущее будем, основываясь на данных прошлых периодов, т. е. предполагая, что количество продаж на следующий месяц зависит от количества продаж за предыдущие месяцы.
Это значит, что входными факторами для модели могут быть продажи за текущий месяц, продажи за месяц ранее и т.д., а результатом должны быть продажи за следующий месяц, т. е. здесь явно необходимо трансформировать данные к скользящему окну.
- Системи підтримки прийняття рішень методичні вказівки
- Частина 1
- Содержание
- 1 Лабораторная работа № 1. Создание хранилищ данных. Olap – технология анализа данных 14
- 2 Лабораторная работа № 2. Прогнозирование с помощью нейронных сетей в программе Deductor 43
- 2.3 Контрольные вопросы 59
- 3 Лабораторная работа № 3. Знакомство с Neural Network
- 4 Рекомендованная литература 78 Введение в сппр
- 1 Лабораторная работа № 1 Тема: Создание хранилища данных. Olap – технология анализа данных.
- 1.1 Аналитическая платформа Deductor
- 1.2 Хранилища данных – подготовка данных для анализа
- Принципы организации хранилища:
- 1.3 Описание бизнес-задачи по созданию аналитической отчетности аптечной сети
- 1.4 Создание хранилища данных в системе Deductor
- 1.5 Анализ данных с помощью кросс-таблиц и визуализации
- 1.5.2 Срезы из хранилища данных и olap кубы
- 1.5.3 Кросс-диаграмма
- 1.5.4 Фильтрация данных в кубе
- 1.6 Задание к лабораторной работе
- 1.7 Контрольные вопросы
- 2 Лабораторная работа № 2 Тема: Нейронные сети. Прогнозирование с помощью нейронной сети в программе Deductor
- 2.1 Нейронные сети: основные понятия
- 2.1.1 Искусственный нейрон и нейронная сеть
- 2.1.2 Обучение
- 2.1.3. Нейронные сети обратного распространения
- 2.2 Прогнозирование с помощью нейронных сетей в Deductor
- 2.2.1 Исходные данные
- 2.2.2 Расчет автокорреляции столбцов
- 2.2.3 Удаление аномалий и сглаживание
- 2.2.4 Скользящее окно 12 месяцев назад
- 2.2.5 Обучение нейросети
- 2.2.6 Построение прогноза
- 2.2.7 Результат
- 2.2.8 Выводы
- 2.3 Контрольные вопросы
- 2.4 Рынок нейропакетов
- 3 Лабораторная работа №3 Тема: зНакомство с neural network toolbox пакета mAtlab
- 3.1 Нейронные сети: графический интерфейс пользователя
- 3.1.1 Управляющие элементы nnTool
- 3.1.3 Разделение линейно-неотделимых множеств
- Пример 3.2. Пусть требуется создать нейронную сеть, выполняющую логическую функцию "исключающее или".
- 3.1.4 Задача аппроксимации
- Пример 3.3. Необходимо выполнить аппроксимацию функции , где , а n - число точек функции.
- 3.2 Функции Matlab для работы с нейронными сетями
- 1) Линейная функция активации purelin.
- 2) Логистическая функция активации logsig.
- 3) Создание новой нейронной сети и ее обучение
- 3.3 Задание к лабораторной работе
- 3.4. Контрольные вопросы
- 4 Литература