Принципы организации хранилища:
Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют.
Интегрированность. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса.
Некорректируемость. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются.
Зависимость от времени. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.
Операции с данными (ETL - процесс):
Извлечение – перемещение информации от источников данных в отдельную БД, приведение их к единому формату.
Преобразование – подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
Загрузка – помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих.
Анализ – OLAP, Data Mining, Reporting и т. д.
Представление результатов анализа.
Рисунок 1.1 – Архитектура хранилища данных
В Deductor Warehouse имеются следующие типы объектов.
Измерение – последовательность значений одного из анализируемых параметров. Например, для параметра Время это последовательность календарных дней, для параметра Регион – список городов.
Атрибут – свойство измерения. Атрибут как бы скрыт внутри другого измерения и помогает пользователю полнее описать исследуемое измерение. Атрибутами измерения Товар могут выступать Цвет, Вес, Габариты.
Факт – значение, соответствующее измерению. Факты – это данные, отражающие сущность события. Как правило, фактами являются численные значения, например, сумма и количество отгруженного товара.
Процесс – совокупность измерений, фактов и атрибутов. По сути, процесс и есть «куб», «снежинка». Процесс описывает определенное действие, например, продажи товара, отгрузки, поступления денежных средств и пр. Пример структуры «снежинка» приведен на рисунке 1.2, где в центре расположены таблицы фактов, а «лучами» являются измерения, причем измерение может ссылаться на другие измерения.
Все загружаемые в хранилище данные должны быть обязательно определены как измерение, атрибут либо факт ( рис. 1.3).
Рисунок 1.2 – Схема «снежинка» процесса отгрузки
Рисунок 1.3- Измерения и факты процесса «Отгрузка»
В Deductor Warehouse может одновременно храниться множество процессов, имеющие общие измерения, например, Товар, фигурирующий в Поступления и в Отгрузка. В Deductor Warehouse реализована полноценная ROLAP-модель (для каждого измерения и каждого процесса создается отдельная таблица).
- Системи підтримки прийняття рішень методичні вказівки
- Частина 1
- Содержание
- 1 Лабораторная работа № 1. Создание хранилищ данных. Olap – технология анализа данных 14
- 2 Лабораторная работа № 2. Прогнозирование с помощью нейронных сетей в программе Deductor 43
- 2.3 Контрольные вопросы 59
- 3 Лабораторная работа № 3. Знакомство с Neural Network
- 4 Рекомендованная литература 78 Введение в сппр
- 1 Лабораторная работа № 1 Тема: Создание хранилища данных. Olap – технология анализа данных.
- 1.1 Аналитическая платформа Deductor
- 1.2 Хранилища данных – подготовка данных для анализа
- Принципы организации хранилища:
- 1.3 Описание бизнес-задачи по созданию аналитической отчетности аптечной сети
- 1.4 Создание хранилища данных в системе Deductor
- 1.5 Анализ данных с помощью кросс-таблиц и визуализации
- 1.5.2 Срезы из хранилища данных и olap кубы
- 1.5.3 Кросс-диаграмма
- 1.5.4 Фильтрация данных в кубе
- 1.6 Задание к лабораторной работе
- 1.7 Контрольные вопросы
- 2 Лабораторная работа № 2 Тема: Нейронные сети. Прогнозирование с помощью нейронной сети в программе Deductor
- 2.1 Нейронные сети: основные понятия
- 2.1.1 Искусственный нейрон и нейронная сеть
- 2.1.2 Обучение
- 2.1.3. Нейронные сети обратного распространения
- 2.2 Прогнозирование с помощью нейронных сетей в Deductor
- 2.2.1 Исходные данные
- 2.2.2 Расчет автокорреляции столбцов
- 2.2.3 Удаление аномалий и сглаживание
- 2.2.4 Скользящее окно 12 месяцев назад
- 2.2.5 Обучение нейросети
- 2.2.6 Построение прогноза
- 2.2.7 Результат
- 2.2.8 Выводы
- 2.3 Контрольные вопросы
- 2.4 Рынок нейропакетов
- 3 Лабораторная работа №3 Тема: зНакомство с neural network toolbox пакета mAtlab
- 3.1 Нейронные сети: графический интерфейс пользователя
- 3.1.1 Управляющие элементы nnTool
- 3.1.3 Разделение линейно-неотделимых множеств
- Пример 3.2. Пусть требуется создать нейронную сеть, выполняющую логическую функцию "исключающее или".
- 3.1.4 Задача аппроксимации
- Пример 3.3. Необходимо выполнить аппроксимацию функции , где , а n - число точек функции.
- 3.2 Функции Matlab для работы с нейронными сетями
- 1) Линейная функция активации purelin.
- 2) Логистическая функция активации logsig.
- 3) Создание новой нейронной сети и ее обучение
- 3.3 Задание к лабораторной работе
- 3.4. Контрольные вопросы
- 4 Литература