38. Особенности проектов Data Mining, типовая структура аналитических систем.
В большинстве случаев DataMiningпроекты не оправдывают ожидания клиентов потому, что они относятся к ним как к стандартным проектам.
Проект – это уникальная деятельность, имеющая начало и конец во времени, направленная на достижение заранее определенной цели, создание уникального продукта или услуги при заданных ограничениях по ресурсам и срокам, а также требованиям к качеству и допустимому уровню риска.
Однако DataMiningпроект – это вообще не проект, а научное исследование.
Суть DataMining– построение и применение моделей, а модель есть приближение реального процесса, следовательно:
-никакая модель не является финальной, всегда есть неучтенные факторы.
-модель со временем нужно перестраивать, т.к. меняются описываемые ей процессы.
-некоторые процессы не поддаются моделированию, для них необходимо изобретать особые способы работы.
Все модели предполагают, что данные удовлетворяют базовым требованиям: точности, достоверности, полноты… На практике в данных всегда присутствуют ошибки: опечатки, пропуски, аномалии, дубликаты… Именно плохое качество данных является одной из самых серьезных проблем любого DataMiningпроекта. Применение методов очистки и предобработки данных позволяет частично решить эту проблему, но полностью ее не снимает.
Если известны правила, формулы и закономерности, при помощи которых можно получить искомый результат, то в применении DataMiningнет необходимости.DataMining– это поиск скрытых закономерностей. Следовательно, до начала исследования аналитик даже не догадывается о том, какие закономерности существуют, он может только предполагать их наличие.
DataMining– это исследование, и его целью является не получение результата с гарантированным качеством (что невозможно в принципе), а лучшей модели из возможных в данной ситуации.
Рабочий цикл Data Mining
Формирование гипотез – Сбор данных – Очистка данных – Построение моделей – Мониторинг качества.
Особенности DataMiningпроцесса определяют требования к программному обеспечению:
- ориентация на аналитика: 95% времени – это работа аналитика, связанная с подбором моделей и анализом результатов.
- гибкость. Необходимо подстраиваться под постоянные изменения требований.
-очистка данных: без нее результат будет гарантированно плохим.
-моделирование: для каждого класса задач нужны соответствующие алгоритмы.
- интеграция: необходим механизм быстрого переноса лучших моделей в рабочий процесс.
Критически важным для процесса являются возможности развития и адаптации моделей. Для этого необходимо:
- наличие аналитиков, способных самостоятельно контролировать процесс и развивать систему.
-возможность понять логику анализа и при необходимости ее изменять.
-реализация самообучающихся алгоритмов, способных перестраиваться при поступлении новых данных.
-встроенные механизмы визуализации, позволяющие оценить качество результата и интерпретировать построенные модели.
DataMiningнетривиален, однако реальной альтернативы ему нет. В компаниях накопились такие объемы данных, что физически невозможно обработать их «ручными» методами. Из-за этого информация, представляющая огромную ценность, лежит мертвым грузом.
DataMining– это единственный на сегодня систематизированный способ увидеть варианты будущего, объективно их сравнивать и определить потенциальные последствия альтернативных решений.
- 1. Суть и этапы управления на предприятии. Особенности их автоматизации.
- 2. Суть и особенности процессного подхода. Описание бизнес-процессов.
- 3. Информационные системы в управлении предприятием и их составляющие. Задачи, решаемые кис.
- 4. Системы управления ресурсами предприятия (erp): назначение, их состав и классификация, история возникновения.
- 5. Задачи erp-систем и их основные функциональные возможности.
- 6. Типовая архитектура erp-систем. Классификация.
- 7. Примеры erp-систем, преимущества, проблемы и этапы их внедрения.
- 8. Особенности, архитектура, преимущества и возможности системы Microsoft Dynamics Axapta.
- 9. Особенности и основные возможности решения «1с:Предприятие» по управлению торговлей.
- 10. Основные модули решения «1с:Предприятие» по управлению торговлей и примеры их использования.
- 11. Основные функциональные возможности приложений по автоматизации складского учета.
- 12. Бизнес-процессы торговой организации: виды и их особенности.
- Раздел 2.
- 13. Суть и особенности online-продаж.
- 14. Online-продажи: безопасность, компоненты, процедура, преимущества и недостатки.
- 15. Основные этапы и особенности открытия и функционирования интернет-магазина в рб.
- 16. Каталоги и интернет-магазины для организации электронных продаж.
- 17. Основные модули и автоматизируемые процессы системы PrestaShop.
- Раздел 3.
- 19. Логические и функциональные блоки crm-систем и их использование.
- 22. Роль и место crm-систем в erp-системах.
- 23. Использование и особенности e-crm. Типовая функциональная структура.
- 24. Структура и основные функциональные возможности Terrasoft crm.
- Раздел 4.
- 25. Виды компьютерной графики. Кодирование графической информации.
- 26. Основные инструменты и структура программы Adobe Photoshop. Примеры использования инструментов.
- 27. Flash-технологии – назначение, особенности и составляющие. Типы анимации во Flash.
- Раздел 5.
- 28. Типовая структура и особенности аналитических информационных систем.
- 29. Понятие и концепция хранилищ данных.
- 30. Модели хранилищ данных и основные компоненты хранилищ данных.
- 31. Технология olap, olap-куб – основные понятия.
- 32. Архитектура olap-систем, таблицы фактов, таблицы измерений. Способы реализации многомерной модели.
- Раздел 6.
- 33. Понятие, задачи Data Mining и связи с другими дисциплинами.
- 34. Методы Data Mining. Визуальные инструменты Data Mining.
- 35. Проблемы и вопросы Data Mining. Области применения.
- 36. Метод «деревья решений».
- 37. Метод «кластеризации».
- 38. Особенности проектов Data Mining, типовая структура аналитических систем.
- 39. Основные этапы процесса Data Mining, общая схема анализа данных.
- 40. Методы эффективной работы с большими данными для Data Mining.
- 41. Deductor – принципы работы и структура платформы. Возможности взаимодействия с другими системами.