6.3. Интеллектуальный анализ данных. Управление знаниями

Информационная составляющая играет важнейшую роль в эффективном управлении бизнесом, поэтому способность предприятий обеспечивать своих сотрудников всем необхо­димым для принятия взвешенных решений имеет огромное значение. С середины 90-х гг. XX в. стремительно растет ин­терес компаний к программным продуктам, которые позво­ляют аналитикам работать с большими объемами данных, накопленными в ERP-, CRM-системах и хранилищах данных, и извлекать из них полезную информацию. Следствием этого стало рождение новых информационных технологий и инстру­ментов, обеспечивающих безопасный доступ к источникам корпоративных данных и обладающих развитыми возможно­стями консолидации, анализа, представления данных и рас­пространения готовых аналитических документов внутри орга­низации и за ее пределами: витрин данных, обработки произ­вольных запросов (Ad-hoc query), выпуска отчетов (Reporting), инструментов OLAP (On-Line Analytical Processing), интел­лектуального анализа данных (DM — Data Mining), поиска знаний в БД (KDD — Knowledge Discovery in Databases) и т.д.

Под «анализом данных» понимают действия, направлен­ные на извлечение из них информации об исследуемом объ­екте и на получение по имеющимся данным новых данных. Интеллектуальный анализ данных (ИАД) — общий тер­мин для обозначения анализа данных с активным использованием математических методов и алгоритмов (методы опти­мизации, генетические алгоритмы, распознавание образов, статистические методы, Data Mining и т.д.), использующих визуальное представление данных. Общая схема интеллек­туального анализа приведена на рис. 6.4.

1) выявление закономерностей (свободный поиск);

2) использование выявленных закономерностей для пред­сказания неизвестных значений (прогнозирование);

3) анализ исключений для выявления и толкования ано­малий в найденных закономерностях.

Иногда выделяют промежуточную стадию проверки дос­товерности найденных закономерностей (стадия валидации) между их нахождением и использованием.

Все методы ИАД по принципу работы с исходными дан­ными подразделяются на две группы:

1. Методы рассуждений на основе анализа прецедентов — исходные данные могут храниться в явном детализирован­ном виде и непосредственно использоваться для прогнозиро­вания и/или анализа. Недостатком этой группы методов яв­ляется сложность их использования на больших объемах данных.

2. Методы выявления и использования формализован­ных закономерностей, требующие извлечения информации из первичных данных и преобразования ее в некоторые фор­мальные конструкции, вид которых зависит от конкретного метода. На рис. 6.6 представлены методы, входящие в эти группы.

В табл. 6.1 приведены примеры использования методов интеллектуального анализа данных в финансовых приложе­ниях и маркетинговом анализе.

Рассмотренные методы позволяют коммерческим банкам решать следующие задачи:

• получение отчетности банка и проверка ее полноты и корректности;

• проведение группировки статей баланса и расчет эконо­мических нормативов и аналитических коэффициентов (на­пример, по методу CAMEL);

• оценка состояния банка по системе аналитических ко­эффициентов;

• определение рейтинга банка;

• анализ динамики основных показателей, выявление тенденций и прогнозирование состояния банка;

Рис. 6.6. Классификация технологических методов ИАД

• анализ степени влияния тех или иных факторов на со­стояние банка;

• выработка рекомендаций по оптимизации банковского баланса и т.д.

В основу технологии ИАД положен не один, а несколько принципиальных подходов (табл. 6.1), причем использова­ние некоторых из них невозможно без специальной подго­товки.

Таблица 6.1 Подходы к технологии ИАД

Окончание табл. 6.1

Существующие системы ИАД подразделяют на исследо­вательские, ориентированные на специалистов и предназна­ченные для работы с новыми типами проблем; прикладные, рассчитанные на аналитиков, менеджеров, технологов и ре­шающие типовые задачи. Если в исследовательских систе­мах ИАД важно разнообразие доступных методов обработки данных и гибкость используемых средств, то в прикладных системах целесообразно реализовывать не методы, а типовые виды рассуждений (анализа), характерные для проблемной области.

Для проведения автоматического анализа данных, на­копленных предприятием в течение жизненного цикла, ис­пользуются технологии под общим названием Data Mining. На рис. 6.7 приведена классификация уровней и инструмен­тарий извлечения знаний из данных.

Data Mining (DM) — это технология обнаружения в «сы­рых» данных ранее неизвестных нетривиальных, практически полезных и доступных интерпретаций знаний, необхо­димых для принятия решений в различных сферах челове­ческой деятельности. Алгоритмы, используемые в Data Mi­ning, требуют большого количества вычислений, что ранее являлось сдерживающим фактором широкого практическо­го их применения, однако рост производительности совре­менных процессоров снял остроту этой проблемы. Задачи, решаемые методами DM:

• классификация — отнесение объектов (наблюдений, со­бытий) к одному из заранее известных классов;

• прогнозирование;

• кластеризация — группировка объектов на основе дан­ных, описывающих сущность этих объектов. Объекты внут­ри кластера должны обладать общими чертами и отличаться от объектов, вошедших в другие кластеры. Чем больше похо­жи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация;

• ассоциация — выявление закономерностей между свя­занными событиями;

• последовательные шаблоны — установление законо­мерностей между связанными во времени событиями;

• анализ отклонений — выявление наиболее нехарактер­ных шаблонов.

Решение большинства задач бизнес-анализа сводится к той или иной задаче Data Mining. Например, оценка рис­ков — решение задачи классификации; сегментация рын­ка — кластеризации; стимулирование спроса — ассоциации.

Технология Data Mining развивалась и развивается на стыке статистики, теории информации, машинного обуче­ния, теории баз данных. Наибольшее распространение полу­чили следующие методы Data Mining: нейронные сети, де­ревья решений, алгоритмы кластеризации, алгоритмы обна­ружения ассоциативных связей между событиями и т.д.

Деревья решений представляют собой иерархическую древовидную структуру классифицирующих правил типа «если — то». Для отнесения некоторого объекта или ситуа­ции к какому-либо классу следует ответить на вопросы, име­ющие форму «значение параметра А больше X» и располо­женные в узлах дерева. При положительном ответе осуществляется переход к правому узлу следующего уровня дерева, отрицательном — к левому узлу (рис. 6.8).

Рис. 6.8. Пример построения дерева решений

Если построенное дерево состоит из неоправданно боль­шого числа ветвей, то оно не будет обеспечивать получение статистически обоснованного ответа. Деревья решений вы­дают полезные результаты только в случае независимости признаков.

В настоящее время деревья решений применяются при решении таких задач, как описание данных (они позволяют хранить информацию о данных в компактной форме); клас­сификация (отнесение объектов к одному из заранее извест­ных классов); регрессия (определение зависимости целевой переменной, принимающей непрерывные значения, от неза­висимых — входных — переменных).

Несмотря на обилие методов Data Mining, приоритет по­степенно все более смещается в сторону логических алгорит­мов поиска в данных «если — то» правил. С их помощью ре­шаются задачи прогнозирования, классификации, распозна­вания образов, сегментации БД, извлечения из данных скрытых знаний, интерпретации данных, установления ас­социаций в БД и др. Результаты таких алгоритмов эффек­тивны и легко интерпретируются.

Главной проблемой логических методов обнаружения за­кономерностей является проблема перебора вариантов за приемлемое время. Известные методы либо искусственно ог­раничивают такой перебор (алгоритмы КОРА, WizWhy), ли­бо строят деревья решений (алгоритмы CART, CHAID, ID3, See5, Sipina и др.). имеющие принципиальные ограничения.

Программное обеспечение для реализации технологий Data Mining: Poly Analyst, Scenario, 4Thought, MineSet.

Поиск данных в базах данных (Knowledge Discovery in Databases) определяет последовательность действий, необ­ходимую для получения знаний, а не набор методов обработ­ки или алгоритмов анализа, и включает следующие этапы:

1. Подготовка исходного набора данных — создание набо­ра данных из различных источников, для чего должен обес­печиваться доступ к источникам данных.

2. Предобработка данных — удаление пропусков, иска­жений, аномальных значений, дополнение данных неко­торой априорной информацией. Данные должны быть ка­чественны и корректны с точки зрения используемого ме­тода DM.

3. Трансформация, нормализация данных — приведение информации к пригодному для последующего анализа виду.

4. Data Mining — применение различных алгоритмов на­хождения знаний.

5. Постобработка данных — интерпретация результатов и применение полученных знаний в бизнес-приложениях.

Динамические системы поддержки принятия решений (СППР) ориентированы на обработку нерегламентированных (ad hoc) запросов аналитиков к данным. Работа аналити­ков с этими системами заключается в интерактивном форми­ровании запросов и изучении их результатов. Поддержка принятия управленческих решений на основе накопленных данных может выполняться в следующих областях: поиск данных; формирование комплексного взгляда на собранную в хранилище данных информацию, ее обобщение и агрега­ция, гиперкубическое представление и многомерный ана­лиз; интеллектуальная обработка методами ИАД, главными задачами которых являются поиск функциональных и логи­ческих закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие процессов.

Обобщенная структура информационно-аналитической системы, построенной на основе хранилища данных, показа­на на рис. 6.9. В конкретных реализациях отдельные компо­ненты этой схемы часто отсутствуют.

В основе концепции OLAP лежит принцип многомерного представления данных. Э. Кодд определил 12 правил, кото­рым должен удовлетворять программный продукт класса OLAP (табл. 6.2).

Таблица 6.2 Оценка программных продуктов класса OLAP

Продолжение табл. 6.2

Все продукты OLAP делятся на классы (табл. 6.3).

Таблица 6.3 Классы программных продуктов OLAP

Достоинства использования многомерных БД в сис­темах оперативной аналитической обработки:

• поиск и выборка данных осуществляются значительно быстрее, так как многомерная БД денормализована, содер­жит заранее агрегированные показатели и обеспечивает оптимизированный доступ к запрашиваемым ячейкам;

• простота включения в информационную модель разно­образных встроенных функций.

Ограничения использования многомерных СУБД в системах OLAP:

• не позволяют работать с большими БД;

• денормализация и предварительно выполненная агре­гация данных в многомерной базе приводят к уменьшению объема исходных детализированных данных;

• неэффективно используют внешнюю память. Использование многомерных СУБД оправдано при следу­ющих условиях:

• объем исходных данных для анализа не слишком ве­лик, т.е. уровень агрегации данных достаточно высок;

• набор информационных измерений стабилен;

• время ответа системы на нерегламентированные запро­сы является наиболее критичным параметром;

• требуется широкое использование сложных встроен­ных функций для выполнения кроссмерных вычислений над ячейками гиперкуба.

В большинстве случаев корпоративные хранилища дан­ных реализуются средствами реляционных СУБД, инстру­менты ROLAP позволяют производить анализ непосред­ственно над ними. При этом размер хранилища не является таким критичным параметром, как в случае MOLAP.

ROLAP системы с динамическим представлением раз­мерности являются оптимальным решением в случае, когда изменения в структуру измерений приходится вносить дос­таточно часто, так как в этих системах модификация не тре­бует физической реорганизации БД.

Реляционные СУБД обеспечивают высокий уровень за­щиты данных и возможности разграничения прав доступа.

Главный недостаток ROLAP по сравнению с много­мерными СУБД — меньшая производительность.

Оперативная аналитическая обработка и интеллектуаль­ный анализ данных — две составные части процесса поддерж­ки принятия решений (рис. 6.10). Эти два вида анализа долж­ны быть объединены.

В настоящее время немногие производители предостав­ляют мощные средства интеллектуального анализа многомерных данных в рамках систем OLAP. Проблема заключа­ется в том, что некоторые методы ИАД неприменимы для за­дач многомерного интеллектуального анализа, так как не способны работать с агрегированными данными.

Под «управлением знаниями» (Knowledge Management) обычно понимают систематическое приобретение, синтез, обмен и использование опыта для достижения успеха в биз­несе или в управлении компанией.

Обычно выделяют два типа знаний: явные и неявные.

Явные знания — знания, представленные в компании в виде должностных инструкций, регламентов и положений о деятельности подразделений, корпоративные учебные по­собия и другое. Управление такими знаниями осуществляет­ся с использованием следующих технологий:

• корпоративные архивы и таксономия (от греч. taxis — строй, порядок, расположение по порядку и nomos — закон, теория классификации и систематизации сложноорганизованных областей действительности, имеющих обычно иерар­хическое строение);

• создание систем обеспечения разграниченного доступа персонала компании к необходимым знаниям;

• навигация в системе формальных знаний;

• поиск необходимых формальных знаний.

Неявные знания — знания, носителем которых является человек (продукт личного опыта), их нельзя увидеть, сложно задокументировать, передать их можно только посредством личного и непосредственного общения (совместной работы). Они могут содержаться в корпоративном хранилище данных (понимание конкретного корпоративного процесса, получен­ное в ходе ИАД), для извлечения которых используются тех­нологии искусственного интеллекта и статистики.

Для извлечения неявных знаний можно использовать различные методы извлечения знаний:

• экспертное интервью, проводимое инженером по зна­ниям с целью формализации знаний, интервью при увольне­нии сотрудника с целью сохранения знаний, обучающее ин­тервью;

• заполнение анкет и форм учета знаний (CRM, описание лучших практик);

• время ответа системы на нерегламентированные запро­сы является наиболее критичным параметром;

• требуется широкое использование сложных встроен­ных функций для выполнения кроссмерных вычислений над ячейками гиперкуба.

В большинстве случаев корпоративные хранилища дан­ных реализуются средствами реляционных СУБД, инстру­менты ROLAP позволяют производить анализ непосред­ственно над ними. При этом размер хранилища не является таким критичным параметром, как в случае MOLAP.

ROLAP системы с динамическим представлением раз­мерности являются оптимальным решением в случае, когда изменения в структуру измерений приходится вносить дос­таточно часто, так как в этих системах модификация не тре­бует физической реорганизации БД.

Реляционные СУБД обеспечивают высокий уровень за­щиты данных и возможности разграничения прав доступа.

Главный недостаток ROLAP по сравнению с много­мерными СУБД — меньшая производительность.

Оперативная аналитическая обработка и интеллектуаль­ный анализ данных — две составные части процесса поддерж­ки принятия решений (рис. 6.10). Эти два вида анализа долж­ны быть объединены.

В настоящее время немногие производители предостав­ляют мощные средства интеллектуального анализа многомерных данных в рамках систем OLAP. Проблема заключа­ется в том, что некоторые методы ИАД неприменимы для за­дач многомерного интеллектуального анализа, так как не способны работать с агрегированными данными.

Под «управлением знаниями» (Knowledge Management) обычно понимают систематическое приобретение, синтез, обмен и использование опыта для достижения успеха в биз­несе или в управлении компанией.

Обычно выделяют два типа знаний: явные и неявные.

Явные знания — знания, представленные в компании в виде должностных инструкций, регламентов и положений о деятельности подразделений, корпоративные учебные по­собия и другое. Управление такими знаниями осуществляет­ся с использованием следующих технологий:

• корпоративные архивы и таксономия (от греч. taxis — строй, порядок, расположение по порядку и nomos — закон, теория классификации и систематизации сложноорганизованных областей действительности, имеющих обычно иерар­хическое строение);

• создание систем обеспечения разграниченного доступа персонала компании к необходимым знаниям;

• навигация в системе формальных знаний;

• поиск необходимых формальных знаний.

Неявные знания — знания, носителем которых является человек (продукт личного опыта), их нельзя увидеть, сложно задокументировать, передать их можно только посредством личного и непосредственного общения (совместной работы). Они могут содержаться в корпоративном хранилище данных (понимание конкретного корпоративного процесса, получен­ное в ходе ИАД), для извлечения которых используются тех­нологии искусственного интеллекта и статистики.

Для извлечения неявных знаний можно использовать различные методы извлечения знаний:

• экспертное интервью, проводимое инженером по зна­ниям с целью формализации знаний, интервью при увольнении сотрудника с целью сохранения знаний, обучающее ин­тервью;

• заполнение анкет и форм учета знаний (CRM, описание лучших практик);

• формализация экспертных дискуссий (инженер по зна­ниям может преобразовать дискуссию, прошедшую на фору­ме или совещании, в обучающую аннотацию или справку);

• наблюдение.

Результат, полученный в ходе применения интеллекту­альных методов и методов статистики, принимается как конкретное знание только при соблюдении следующих ус­ловий:

• четкая формулировка вопроса;

• структура собранных данных позволяет обработать БД согласно сформулированному запросу.

Система хранения знаний должна регламентировать до­ступ персонала к знаниям, обладать понятной для использо­вания навигацией, обеспечивать эффективный поиск необ­ходимых знаний.

Обмен является одним из ключевых способов распростра­нения неявных знаний в компании. Для его организации компания должна понимать, кто в ее среде является носите­лем ключевых знаний, и способствовать обмену знаниями в среде корпоративных специалистов; создать благоприят­ную среду обмена знаниями.

Управлять знаниями так, как управляют, например, фи­нансовыми ресурсами, нельзя, но можно управлять взаимо­действиями явных и неявных знаний, способствовать их об­мену на уровне групп, индивидуальном и корпоративном уровнях, управлять переходом знаний из одной формы в другую. Процедуры взаимодействия могут быть реализованы в портале управления знаниями.

Портал управления знаниями — это корпоративный ин­формационный портал для управления взаимодействием на уровне знаний сотрудников организации, рабочих групп и собственно организации. Он обеспечивает поиск, извлечение и представление знаний и предназначен для выявления, сох­ранения и эффективного использования знаний и информа­ции в организации и ее окружении.

В зависимости от функциональной направленности или ориентации на определенную категорию пользователей су­ществуют различные варианты порталов управления знани­ями: кадровый, проектного офиса, управления взаимодействием с клиентами. Принципы, на которых строится пор­тал, сочетают в себе специфику пользователей и перечень функций, с которыми данная категория пользователей будет работать.

Как правило, подобные порталы не реализуются на базе единого программного продукта, а формируются из отдель­ных функциональных модулей, реализующих конкретные решения.

Система управления содержимым /контентом (Content management system, CMS) — программный комплекс, кото­рый позволяет управлять электронным контентом (масси­вы текстовых и мультимедиадокументов, форумы, каталоги и др.).

Функции систем управления контентом:

• предоставление авторам удобных и привычных средств создания контента;

• храпение контента в едином репозитории, что позволя­ет отслеживать версии документов, контролировать их изме­нения и авторство, обеспечивать интеграцию с существу­ющими информационными источниками и ИТ-системами, осуществлять управление потоком документов;

• автоматическое размещение контента на терминале пользователя, управление внешним видом страниц;

• дополнительные функции для улучшения формы пред­ставления данных.

Инструментарий управления контентом предлагается компаниями Glyphica (система Portalware), Autonomy (Portal-in-a-Box, Content Server и др.), Plumtree Software (Plumtree Server), Hyperknowledge (Hyperknowledge Builder), Intraspect Software (Intraspect Knowledge Server 2.0), Documentum (Documentum Enterprise Document Management System), Open Text (Livelink) и др.

Системы бизнес-интеллекта (Business Intelligence, BI) — класс информационных систем, которые позволяют преобра­зовать разрозненные и необработанные данные операцион­ной деятельности предприятия в структурированную инфор­мацию и знания, используемые для принятия управленче­ских решений. В отличие от стандартных систем отчетности, BI-системы основаны на технологиях моделирования ситуа­ции, поведения объектов и визуализации их деятельности и играют ключевую роль в процессе стратегического плани­рования деятельности корпорации. Как правило, В1-решения являются надстройкой к ERP-системе.

Архитектура BI-системы представлена на рис. 6.11. BI-инструменты включают корпоративные ВТ-наборы (Enter­prise BI Suites, EBIS), предназначенные для генерации зап­росов и отчетов, и BI-платформы, представляющие собой набор инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. ВI-приложения содержат встроенные BI-инструменты (OLAP, генераторы запросов и отчетов, средства моделирования, статистического анализа, визуализации и Data Mining).

По оценкам агентства IDC рынок Business Intelligence состоит из 5 секторов:

1. OLAP-продукты.

2. Инструменты добычи данных.

3. Средства построения Хранилищ и Витрин данных (Data Warehousing).

4. Управленческие информационные системы и приложе­ния.

5. Инструменты конечного пользователя для выполнения запросов и построения отчетов.

Классификация BI-систем базируется на методе функцио­нальных задач, где программные продукты каждого класса выполняют определенный набор функций с использованием специальных технологий (прил. А). Как правило, функции BI включают поддержку принятия решений, запросы и от­четность, аналитическую обработку online, статистический анализ, прогнозирование и количественный анализ.

Интеграция BI-систем и ERP-систем обеспечивает ис­пользование качественных и количественных данных при выборе варианта решения, комбинацию внешних данных и совместных сценариев, что представляет собой новое поко­ление средств управления предприятием и бизнес-средой.

Для отслеживания финансовых и операционных показа­телей необходимо, чтобы BI-системы могли одновременно обращаться к данным из различных источников (БД автома­тизированных систем, CRM-приложений и т.д.). Обработка таких данных невозможна без применения технологий ин­теграции на основе сервисно-ориентированной архитектуры.

Сектор BI-систем на белорусском рынке представлен сла­бо. Компания ЕРАМ представляет Hyperion® System™ 9, ко­торая объединяет BI-платформу с финансовыми приложени­ями, легко адаптируемую под конкретные требования бизне­са (комплекс внедряется на Белорусском моторном заводе и в концерне «Белнефтехим»). Фирма ТопСофт представляет модуль Галактика Business Intelligence — комплекс прило­жений для поддержки принятия решений в сбытовой дея­тельности. На данный момент Галактика BI-Сбыт внедрена в Республике Беларусь в компаниях «British-American To­bacco» и «МАВ» (производство красок). Потенциальными потребителями BI-систем являются телекоммуникационные компании, которые испытывают потребность в глубоком анализе базы клиентов; банки, нуждающиеся в средствах аналитики услуг по кредитованию предприятий и частных лиц; промышленные предприятия и сфера торговли; госу­дарственные управленческие структуры; крупные компании и холдинги, требующие полнофункциональных BI-решений, интегрированных с системами планирования и бюджети­рования; отрасли энергетики, нефтехимии — требуются BI-системы для повышения эффективности системы уп­равления.

Потребность в системах искусственного интеллекта воз­никает по мере достижения предприятием достаточно высо­кой культуры управления.

Лидерами в области разработки корпоративных ВI-плат-форм являются MicroStrategy, Business Objects, Cognos, Hy­perion Solutions, Microsoft, Oracle, SAP, SAS Institute и дру­гие (в прил. Б).