Средства и методы построения хд - хранилищ данных

Построение хранилища данных

Построение ХД — проект, требующий серьезной проработки и усилий со стороны бизнеса и поставщика информационных технологий. Наиболее эффективным подходом здесь будет совместный проект предприятия и компании, специализирующейся в этой области. Общемировая практика показывает, что ХД создаются под конкретного заказчика. Серьезным преимуществом является наличие квалифицированного персонала, типовых Витрин Данных, а также отраслевой модели данных.

Хотя с формальной точки зрения ХД представляет собой разновидность обычной БД, проектируют их по-разному. Для обычных БД процесс создания происходит по схеме...

Схема процесса создания базы данных БД

• Изучения предметной области;

• Построение информационной модели;

• Разработка на основе информационной модели проекта БД;

• Создания БД

Обязательные этапы создания ХД другие.

Обязательные этапы создния хранилища данных ХД

• Определения информационных потребностей пользователей относительно Данных, которые накопляются вБД операционных систем — систем обработки трансакций OLTP-систем, которая есть источниками оперативных данных;

• Изучения локальных БД OLTP-систем;

• Выделения для каждой БД подмножества данных, необходимых для загрузки в ХД;

• Интегрирования локальных подмножеств данных и разработка общей согласованной схемы хранилища.

При построении ХД необходимо использовать принцип централизации метаданных, но при этом важно понимать, что на нынешнем этапе развития информационных технологий централизовать хранение метаданных довольно сложно. Например, в технических метаданных должны содержаться информация об источниках и их структуре, описание потоков данных и процессов перегрузки. Если первые два набора обычно поставляются вместе с информационной системой, то вторые, как правило, формируются в рамках проекта по созданию хранилища и размещаются на сервере перегрузки данных.

Цикл создания ХД и решения первой значимой для бизнеса задачи не превышает трех месяцев. Сроки можно и сократить, но качество при этом заметно ухудшится. Хотя ХД развивается итерационно, уже на первом этапе надо заложить серьезный фундамент не только для решения первой задачи, но и для развития аналитики в стратегической перспективе.

ХД создаются с применением специализированных средств построения ХД.

Средства построения хранилищ данных ХД

• Средства проектирования ХД,

• Средства извлечения, преобразования и загрузки данных,

• Готовые предметно-ориентированные ХД.

Средства проектирования ХД входят в состав реляционных и многомерных СУБД от таких производителей как Microsoft, Oracle , IBM, Sybase и других. Также часто применяются универсальные CASE-инструменты, такие как BPWin и ERWin . После описания структур хранения данных специальными системными утилитами выполняется их генерация.

Такой подход к созданию ХД позволяет построить индивидуальное ХД или Витрину Данных в сжатые сроки. В тоже время такой подход затрудняет перенос наработок от одного заказчика к другому и обмен практическим опытом в решении аналитических задач.

ETL-средства ( extraction , transformation , loading ) - средства извлечения, преобразования и загрузки данных) обеспечивают три основных процесса, используемые при переносе данных из одного приложения или системы в другие. ETL-средства извлекают информацию из исходной БД, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в нее преобразованную информацию. Эти средства обычно входят в состав функциональности реляционных и многомерных СУБД или Студий для построения ХД. Однако существуют и специализированные системы, реализующие только ETL-функции. Классической ETL-системой является, например, продукт Ascential DataStage компании Ascential Software .