2258

7.1. Характеристика информационно-аналитической платформы «Deductor»

«Deductor» является аналитической платформой – основой для создания приложения СППР (системы поддержки принятия решений).

Платформа «Deductor» состоит из двух частей – многомерного хранилища данных «Deductor Warehouse» и аналитического приложения «Deductor Studio».

Хранилище данных предназначено для хранения информации, необходимой для анализа и выработки управленческих решений. При загрузке данных в хранилище автоматически выполняются все следующие действия:

 данные преобразовываются из плоских таблиц в многомерное представление;

 исключаются все дублирующиеся данные для уменьшения объемов базы данных;

 обеспечивается непротиворечивость информации;

 проводятся все необходимые манипуляции, позволяющие в 10–100 раз увеличить скорость извлечения необходимых данных из хранилища.

«Deductor Studio» – аналитическое ядро платформы «Deductor». В приложение «Deductor Studio» включены средства, позволяющие получить информацию из произвольного источника данных, провести полный цикл обработки (очистку, трансформацию данных, построение моделей), отобразить полученные результаты наиболее удобным образом (кросс-таблицы (кубы), таблицы, диаграммы, деревья решений) и экспортировать результаты в другие приложения, например, MS Word.

Типовой сценарий работы в платформе «Deductor» включает четыре процедуры:

 импорт данных;

 обработка;

 визуализация;

 экспорт данных.

Для вызова этих процедур используются специальные мастера: мастер импорта, мастер обработки, мастер визуализации, мастер экспорта.

В результате импорта данные приводятся к виду, пригодному для последующего анализа. В программе используются как механизмы прямого доступа к наиболее популярным базам данных, так и универсальные механизмы доступа ADO, ODBC. Импорт в приложение «Deductor Studio» осуществляется из файлов СУБД MS Access, MS SQL, Oracle, текстовых файлов, файлов MS Excel. Поддерживается работа с многомерным хранилищем данных «Deductor Warehouse».

Под обработкой в приложении «Deductor Studio» подразумевается любое действие, связанное с преобразованием данных, например, очистка, восстановление пропусков, фильтрация, построение модели и прочее. Набор механизмов обработки, реализованный в приложении «Deductor Studio», приведен в таблице 20.

Таблица 20 – Методы обработки в составе приложения «Deductor Studio»

Метод	Описание
Нейронные сети	Предназначены для решения задач регрессии и классификации. Мощный современный самообучающийся механизм, способный решать нелинейные задачи
Деревья решений	Метод машинного обучения, позволяющий автоматически извлекать из данных закономерности, отображаемые в виде иерархической системы правил, легко интерпретируемых человеком. Предназначен для решения задач классификации
Самоорганизующиеся карты Кохонена	Одна из разновидностей нейронных сетей, реализующих обучение «без учителя». Позволяет кластеризовать данные и отображать их в виде специальных карт. При помощи карт легко находить группы схожих объектов, оценивать значимость факторов и выявлять зависимости

Окончание таблицы 20

Метод	Описание
Линейная регрессия	Классический линейный метод решения задачи регрессии
Автокорреляция	Нахождение линейной автокорреляционной зависимости. Метод применяется для обработки временных рядов для обнаружения периодичности, сезонности
Группировка/разгруп- пировка	Два взаимосвязанных метода обработки. Группировка позволяет объединять записи по полям-измерениям и агрегировать данные в полях-фактах. Разгруппировка разбивает полученные общие итоги в соответствии с рассчитанными пропорциями
Вычисляемые данные	Добавление полей, рассчитанных по заданным формулам
Фильтрация	Отбор записей в таблице по заданным условиям
Дубликаты и противоречия	Обнаружение и фильтрация дубликатов и противоречий
Квантование	Преобразование непрерывных данных в дискретные
Дата и время	Выделение из дат любого временного интервала (год, месяц, квартал и т. д.)
Скользящее окно	Трансформация временного ряда к скользящему окну
Комплексная обработка	Понижение размерности и устранение незначащих факторов
Парциальная обработка	Заполнение пропусков, редактирование аномалий, сглаживание, вычитание шума
Прогнозирование	Построение прогноза на основе модели, построенной любым способом. Например, при помощи нейросети или линейной регрессии

Визуализация (отображение) результатов в приложении «Deductor Studio» проводится на любом этапе обработки. Пользователю предлагается широкий выбор способов визуализации, представленный в таблице 21.

Таблица 21 – Способы визуализации результатов анализа

Способ	Описание
OLAP (Online Analytical Proces- sing)	Многомерное представление данных. Любые данные, используемые в программе, можно посмотреть в виде кросс-таблицы и кросс-диаграммы. Операции манипуляции многомерными данными – группировка, фильтрация, произвольное размещение измерений, детализация, выбор любого способа агрегации, отображение в абсолютных числах и в процентах
Таблица	Стандартное табличное представление с возможностью фильтрации данных
Диаграмма	График изменения любого показателя
Гистограмма	График разброса показателей
Статистика	Статистические показатели выборки
Диаграмма рассеяния	График отклонения прогнозируемых при помощи модели значений от реальных. Может быть построен только для непрерывных величин и только после использования механизмов построения модели, например, нейросети или линейной регрессии
Таблица сопряженности	Предназначена для оценки результатов классификации вне зависимости от используемой модели. Таблица сопряженности отображает результаты сравнения категориальных значений исходного выходного столбца и категориальных значений рассчитанного выходного столбца
Что-если	Позволяют «прогонять» через построенную модель любые интересующие пользователя данные и оценить влияние того или иного фактора на результат
Обучающая выборка	Выборка, используемая для построения модели. Выделяются данные, попавшие в обучающее, тестовое и валидационное множество с возможностью фильтрации
Диаграмма прогноза	Применяется после использования метода обработки Прогнозирование. Прогнозные значения выделяются цветом
Граф нейросети	Визуальное отображение весов обученной нейросети
Дерево решений	Отображение дерева решений, полученного при помощи соответствующего алгоритма. Имеется возможность посмотреть детальную информацию по любому узлу и фильтровать попавшие в него данные
Карта Кохонена	Отображение карт, построенных при помощи алгоритма Кохонена. Широкие возможности настройки – выбор количества кластеров, фильтрация по узлу (кластеру), выбор отображаемых полей
Описание	Текстовое описание параметров импорта (обработки, экспорта) в дереве сценариев обработки

Содержание