8.3.2. Средства Data Mining (dm)

Средства DM подразумевают извлечение («раскопку», «добычу») данных и направлены на выявление отношений между информацией, хранящейся в цифровых базах данных предприятия, которые аналитик может использовать для построения моделей, позволяющих количественно оценить степень влияния интересующих его факторов. Кроме этого, такие средства могут быть полезны для построения гипотез о возможном характере отношений информации в цифровых базах данных предприятия.

8.3. Аналитическая обработка данных 219

Т ехнология добычи текстовых данных (Text Mining — ТМ) представляет собой набор инструментов, позволяющий анализировать большие наборы информации в поисках тенденций, шаблонов и взаимосвязей, способные помочь в принятии стратегических решений.

Технология Image Mining (IM), содержит средства для распознавания и классификации различных визуальных образов, хранящихся в базах данных предприятия или полученных в результате оперативного поиска из внешних информационных источников.

Для решения проблем по обработке и хранению всех данных используют следующие подходы:

1. создание нескольких систем резервного копирования или одной си стемы распределенного документооборота, которые позволяют сохранять данные, но обладают медленным доступом к сохраненной информации по запросу пользователя;

2. построение интернет-систем, обладающих высокой гибкостью, но не приспособленных для реализации поиска и хранения текстовых до кументов;

3. внедрение интернет-порталов, которые хорошо ориентированны на запросы пользователей, но не обладают описательной информацией относительно загружаемых в них текстовых данных.

Системы обработки текстовой информации, свободные от перечисленных выше проблем, можно разделить на две категории: системы лингвистического анализа и системы анализа текстовых данных.

Основными элементами технологии Text Mining являются:

• суммаризация (summarization);

• тематический поиск (feature extraction);

• кластеризация (clustering);

• классификация (classification);

• ответ на запросы (question answering);

• тематическое индексирование (thematic indexing);

• поиск по ключевым словам (keyword searching);

• создание и поддержка офтаксономии (oftaxonomies) и тезаурусов (thesauri).

К программным продуктам, реализующим технологию Text Mining, относятся:

IBM Intelligent Miner for Text — набор отдельных утилит, запускаемых из командной строки, или скиптов, независимых друг от друга (основной упор делается на механизмы добычи данных — information retrieval);

Oracle InterMedia Text — набор, интегрированный в СУБД, позволяющий наиболее эффективно работать с запросами пользователей (позволяет работать с современными реляционными СУБД в контексте сложного многоцелевого поиска и анализа текстовых данных);

220 Глава 8. Компьютерные технологии интеллектуальной поддержки...

Megaputer Text Analyst — набор встраиваемых в программу СОМ -объектов, предназначенных для решения задач Text Mining.