Метод экспертных оценок
Сущность метода в отборе оценочных критериев ИТ. Способы оценки ИТ предполагают наличие разработанной методологии:
а) шаги по оценке ИТ;
б) критерии оценки ИТ;
в) способы сравнения оценочных параметров ИТ;
г) способ оценки результатов сравнения ИТ.
Введем понятие «характеристические признаки ИТ».
Характеристические признаки это совокупность критериев качества ИТ и аттестационных характеристик, определяющих класс, состав обеспечения, конструктивные средства, реализующие ИТ, и временно–стоимостные характеристики. Т.о. характеристический признак это свойство системы данного класса, присущее ей и только ей. Т.o. выполняется оценка внутри класса систем, т.е. внутри класса ИТ.
Критерии качества ИТ:
-
сложность;
-
надежность;
-
универсальность;
-
информативность;
-
иерархичность.
При оценке ИТ по каждому одиночному критерию трудно получить объективную оценку, так как все критерии взаимосвязаны. Поэтому требуется давать относительную оценку важности каждого критерия. Для оценки важности критериев качества применяется экспертный подход. При этом каждому критерию присваивается определенный вес в зависимости от его значимости при оценке ИТ. Оценки, данные всеми экспертами каждому i–му критерию, усредняются и выводится средний вес для каждого i–го критерия на множестве оценок всех экспертов.
Технология экспертного подхода оценки ИТ:
-
выбрать систему оценочных характеристик ИТ;
-
расставить по заранее определенной бальной или числовой системе оценки характеристикам ИТ;
-
усреднить оценки каждой i–ой характеристики, выставленные участниками (экспертами);
-
полученный вектор весов вычислить. Это будет общий вес ИТ или интегрированный показатель качества ИТ как системы.
Таким образом, ИТ можно будет сравнивать между собой по полученным общим весам, а не только по оценкам отдельных характеристик.
Пусть существует набор характеристик (параметров), с помощью которых (зная их метрическое значение) можно определить рейтинг системы на множестве однотипных (сходных) систем, (в нашем случае ИТ):
Х= {хi}m1 – множество характеристических признаков (параметров);
= {j}n1 – множество систем, ИТ.
Требуется определить вес W j системы j , то есть вес j–ой системы в рамках данного класса, исходя из значений параметров, определяющих совокупность свойств системы.
Пример1: дадим оценку состояния конкретного человека Х в момент времени ti на множестве других людей, оценивая значения параметров х1х8.
X = <здоровье, жилище, работа, общественное положение, материальное положение, успех у противоположного пола, семейное положение, хобби>=<x1,x2,x3,x4,x5,x6, x7, x8>
Определим W – вес, или рейтинг, конкретной системы на множестве систем в рамках данного класса, т.е. конкретного человека.
Для этого указываются веса wi от 1 до 10 для xi; далее, согласно весам wi упорядочивается вектор Х по убыванию wi. Задаются значения числовых характеристик xi – от 1 до 5 (пятибалльная система) и вычисляется вес «система – “человек”» на ti момент по формуле:
W=( xiwi)/180
Алгоритм определения W для человека в ti момент времени:
1. Заполнить таблицу 1.
Таблица 1
№ | Параметры хi | вес wi для xi | Числовое Значение xi | W(вес)= =( xiwi)/180 |
1 | 2 | 3 | 4 | 5 |
1 | Здоровье | 8 |
|
|
2 | Жилище | 7 |
|
|
3 | работа | 6 |
|
|
4 | общественное положение | 5 |
|
|
5 | материальное положение | 4 |
|
|
6 | успех у людей противоположного пола | 3 |
|
|
7 | семейное положение | 2 |
|
|
8 | хобби | 1 |
|
|
здесь:
хi – числовое значение параметра на момент времени ti по по пятибалльной системе (графа 4);
wi – значимость (вес) параметра хi (графа 3).
2. Эксперт упорядочивает параметры хi по их значимости wi для системы–“человек”.
3. Оценка параметра хi в момент времени ti от 1 до 5
4. Вычисление по формуле W= ( хiwi )/180
5. Определение “состояния” системы по технологии:
Если W> 0.9 – Отличное;
Если W> 0.7 – Хорошее;
Если W> 0.5 – Посредственное;
Если W< 0.5 – Плохое.
Пример2: подход к оценке важности очередных работ (планирование этапов работ).
Дано: параметры хi системы – “планирование”:
х = {х1,х2,х3}– характеристические признаки системы, где:
х1 – важность, по четырехбалльной системе: {1,2,3,4}, (B);
х2 – срочность, по трехбалльной системе: {1,2,3}, (C);
х3 – плановость {0,1,2}, (П)
Кроме x3 задается x4 = {tj} – интервалы времени плановых работ.
Таким образом дано: x = {B, C, П}, x4 = {tj} и {rj} – множество работ.
Требуется: упорядочить по интервалу времени tj характеристические признаки хi и получить на выходе упорядоченный план работ, т.е. <rj>.
Для каждого интервала времени tj и работы rj рассчитывается ее приоритет по формуле:
W(rj) = В х С + П , т.е.
W(rj) = x1 x2 + x3
Алгоритм
1. Заполняется таблица 2 вида:
Таблица 2
-
N
интервалы времени tj
Этапы работ rj
В X1
С X2
П X3
<rj>
W(rj)
1
2
3
4
5
6
7
8
Здесь:
В – Важность, С – Срочность, П – Плановость;
<rj> – план работ, упорядоченный на интервале времени (tj).
2. Заполнить графы 2 и 3; где 3 – наименование нупорядоченных работ, 2 – время;
3. Для каждой работы проставить значения характеристик В,С,П по балльной соответствующей системе;
4. Вычислить W(rj) для каждой j–ой работы (графа 3 и 8);
5. Упорядочить полученный вектор числовых значений W(rj) по убыванию на множестве {(tj)} интервалов времени, соответственно упорядочивается множество работ {tj} (графа 3) и результат – план работ <rj> (графа 7).
Такие методы оценки субъективны, так как все критерии качества взаимосвязаны и задаются на уровне одного эксперта.
Следовательно, результат оценки значимости каждой работы при планировании субъективен. Поэтому для того, чтобы абстрагироваться от влияния субъективных факторов в оценке важности работ, необходимо формализовать экспертный подход. Известны 3 метода наиболее простых по применимости и понятных:
-
Метод оценки относительной важности системы (метод численных оценок);
-
Метод оценки относительной важности системы (балльный метод);
-
Метод Черчмена–Акофа.
Метод численных оценок
Сущность метода:
-
Для систем одного класса определяется вектор оценочных характеристик.
-
Каждая оценочная характеристика вычисляется по формуле.
-
Эксперт дает свою оценку важности каждой характеристике для данного класса систем.
При этом количество экспертов должно быть больше одного (в общем случае – m).
Оценка выставляется по шкале от 0 до 1. Данные заносятся в таблицу 3.
Таблица 3
-
N
n/n
Оценочная характеристика kj
Эксперты
1
2
3
1
2
... j
…m
к1
0.01
.
к2
Vij
кi
…
кn
Здесь, Vij – вес (значимость, важность) i характеристики, определенная i–тым экспертом, ki – i–я характеристика; j – j–ый эксперт.
-
Формула определения веса Vi каждой характеристики Ki:
,
где:
Vi – средний вес ki–ой характеристики системы на множестве значений важности Vij, заданных экспертами 1, 2, …, m;
m – количество экспертов;
j – j–ый эксперт;
Vij – вес i–й характеристики, определяемый j–ым экспертом.
-
Упорядочить i–ые характеристики по весам (Vi)
-
Расчет веса всей системы (рейтинга):
V() = ,
где: V – вес системы (рейтинг системы);
Ui – числовое значение Кi – характеристики;
Vi – средний вес Кi–характеристики
- Оглавление
- 1. Основной текст 7
- Контрольные вопросы для самостоятельной оценки качества освоения дисциплины 285
- 1. Основной текст
- 1.1. Элементы теории систем. Юриспруденция и правовая система
- 1.1.1. Элементы теории систем
- 1.1.1.1. Определение системы
- 1.1.1.2. Основные характеристики системы
- 1. Сложность системы
- 2. Надежность
- 3. Эффективность
- 1.1.1.3. Классы и виды систем
- 1.1.1.4. Понятие процесса проектирования
- 1.1.1.5. Этапы проектирования
- 1.1.1.6. Технические и рабочие проекты. Оценка проекта системы и документирование проекта.
- 1.1.2. Юриспруденция и Правовая система
- Структура взаимодействия законов общества с базисом в
- Модель автоматизированной системы планирования норм права (аспнп) в юридической системе
- 1.2.1. Информация
- 1.2.2. Информационные технологии (ит)
- Способы организации ктс классификация способов организации ктс
- Факторы организации ктс
- Системные факторы разработки ит
- Структурная схема по арм
- Структурная схема специального по арм
- Требования к информационному обеспечению арм
- Требования к программному обеспечению арм
- Принципиальная схема арм
- Классы арм
- 1.2.4. Методы проектирования информационных технологий – арм
- 1.2.5. Средства проектирования ит
- Принципы построения тпр
- Использование тпр при подготовке тп и рп
- По способу выполнения (режиму работы):
- По структуре связей между модулями комплекса:
- По функциям, которые реализуются:
- Технологический процесс использования ппп
- Case–технологии
- Этапы создания ит средствами case–технологии
- 1.2.6. Технический проект информационной технологии (ит)
- Аналитическая часть
- Проектная часть (технический проект ит)
- Инструкция пользователю системы. (Таблица диалога.)
- Блоки процессов
- Блоки данных
- III. Схемы технического проекта (тп)
- 1.2.7. Подходы к оценке информационных технологий Возможные подходы к оценке применимости и функционирования информационных технологий (ит)
- 1. Функциональная полнота ит
- 2. Непротиворечивость ит
- 3. Независимость блоков ит
- Описание характеристических признаков оценки ит
- 5. Эффективность управления (функциональные качества) ит
- Метод экспертных оценок
- Метод балльных оценок
- Метод Черчмена–Акофа:
- 1. Сложность
- 4. Универсальность
- 5. Пропускная способность
- Аттестационно–характеристический подход к оценке ит
- 1.2.8.2. Технико-экономическая характеристика объекта автоматизации – ккюс
- Штатное расписание ккюс
- Описание информационного поля юридической службы ккюс
- 1.2.8.3. Технико-экономическое обоснование целесообразности создания ккюс Определение стоимости компьютерных технологий
- 1.2.8.4. Технический проект арм Юриста Сценарий диалога системы арм юриста в ккюс
- 1 2 3 4 5 Меню право 1 2 3 4 5 6
- Формы документов системы арм Юриста в ккюс Список заявок
- Комментарий к ответу на заявку
- Форма заявки
- Сетевая модель ккюс и связь с internet
- Методика работы с системой арм Юриста в ккюс
- Гражданский кодекс Российской Федерации
- (С изменениями от 20 февраля, 12 августа 1996г., 24 октября 1997 г.) Принят Государственной Думой 21 октября 1994 года
- Федеральный закон от 22 августа 1996 г. №125-фз «о высшем и послевузовском профессиональном образовании»
- 1.3. Автоматизированное рабочее место отдела делопроизводства (арм делопроизводства) и юридическое обеспечение
- 1.3.1. Сущность отдела делопроизводства
- С другими объектами
- Дерево функций отдела делопроизводства
- Структурная схема взаимосвязи отдела делопроизводства с другими отделами вуЗа
- Оригинальная схема данных од
- Инфологическая модель од
- Датологическая модель од
- 1.3.2. Технический проект арм отдела делопроизводства (армод) Технико-экономическое обоснование армод
- Техническое обоснование
- Проблема: техническое обеспечение отдела делопроизводства.
- Финансовое положение.
- Обучение сотрудников фирмы.
- Проблема: компьютерная грамотность сотрудников.
- График 1
- График 2
- II. Экономическое обоснование разработки армод
- График 3
- График 4
- График 5
- График 6
- Дерево разговора армод
- Сценарий диалога арм отдела делопроизводства
- Описание работы нескольких функциональных клавиш
- Описание работы системы армод – kan (инструкция пользователю)
- Главное меню
- Работа с документацией по мэси
- Редактирование записи Документация по мэси
- Редактирование записи Корреспондент – Министерство Науки и Высшей Школы
- Редактирование записи Исходящая документация
- Сценарий диалога армод с добавлением графического просмотра
- Дерево разговоров армод
- 1.4. Автоматизированное рабочее место отдела кадров
- 1.4.1. Общее о работе отдела кадров
- Структурная схема вуЗа, как – “Системы”
- Организационная структура вуЗа
- Организационная структура отдела кадров вуЗа
- 1.4.2. Технический проект арм отдела кадров Общие сведения об арм
- Технология ведения учета кадров в отделе кадров
- Структурная схема обеспечения арм кадров
- Общая схема по созданию автоматизации работы отдела кадров
- Инструкция пользователю армок
- Главное меню
- Ввод личной карточки
- 1.5. Информационные консалтинговые системы и компьютерные консалтинговые юридические системы
- 1.5.1. Информационный консалтинг – сущность
- 1.5.1.1. Постановка задачи юридического консалтинга
- 1.5.1.2. Понятие консалтинга
- 1.5.1.5. Консалтинг общего типа – Ко
- 1.5.2. Система «Консультант плюс»
- Особенности Системы «Консультант Плюс» – Версия Проф
- Кому предназначена
- 1.5.2.2. Общая схема работы с карточкой реквизитов
- 1.5.2.3. Словарь
- 1.5.2.4. Общая схема работы со списком
- 1.5.2.5. Общая схема работы с текстом
- 1.5.2.6. Папки документов «Консультант Плюс»
- 1.5.2.7. Все закладки в системе
- 1.5.2.8. История запросов «Консультант Плюс»
- 6.2. Файл бд Консультант Проф
- 6.3. Файл бд Москва Проф
- 6.4. Описание входной информации
- 6.5. Описание выходной и промежуточной информации
- 7. Структура программного обеспечения.
- Приложение
- Распоряжение от 2 октября 1992 г. N 507-р
- Приложение 1
- Приложение 3
- 1.6. Разработка арм юридической службы в вуЗе
- 1.6.1. Характеристика предприятия
- 1.6.2. Экономическая сущность, задачи «Юридическая служба»
- 1.6.3. Обоснование необходимости и цели использования вычислительной техники для решения задачи
- 1.6.4. Постановка задачи
- 1.6.4.1. Цель и назначение автоматизированного варианта решения задачи
- 1.6.4.2. Формализация расчетов
- 1.6.5. Обоснование проектных решений по технологическому обеспечению
- 1.6.6. Обоснование проектных решений по техническому обеспечению
- 1.6.7. Обоснование проектных решений по информационному обеспечению
- 1.6.8. Обоснование проектных решений по программному обеспечению
- Сравнительная характеристика некоторых ос
- Характеристика некоторых субд
- 1.6.9. Проектная часть
- 1.6.9.1. Информационное обеспечение арм
- 1.6.9.1.1. Информационная модель (схема данных) и ее описание
- 1.6.9.1.3. Характеристика входной и нормативно-справочной информации Описание входной оперативной информации (входных документов и макетов размещения данных)
- Перечень обозначений типов полей записи базы данных
- Структура бд «Заявки»
- Структура бд «Справочник клиентов»
- Структура бд «Справочник отраслей права»
- Структура бд «Справочник тарифов»
- Структура бд «Надбавки за срочность»
- Структура бд «Справочник видов работ»
- Структура бд «Справочник юристов»
- 1.6.9.1.4. Характеристика результатной информации
- Структура бд «Ответы документальные»
- Структура бд «Ответы фактографические»
- Структура бд «Ответы комментарии»
- Структура бд «Счета»
- Структура бд «Архив заявок и ответов»
- Макеты отображения результатов в виде твердых копий или на экране дисплея
- 1.6.9.2. Программное обеспечение арм
- 1.6.9.2.1. Общие положения
- Дерево функций задачи
- 1.6.9.2.2. Структура программного комплекса и его описание
- Модули и базы данных программного комплекса
- 1.6.9.2.3. Организация технологического процесса сбора, передачи обработки и выдачи информации (схема работы системы).
- 1.6.9.3. Обоснование экономической эффективности проекта арм юриста
- 1.6.9.3.1. Выбор и обоснование методики расчета экономической эффективности проекта
- 1.6.9.3.2. Расчет показателей экономической эффективности проекта
- Расчет годовых эксплуатационных трудовых и стоимостных затрат для базового (ручного) варианта
- Расчет годовых эксплуатационных трудовых и стоимостных затрат для проектируемого варианта.
- Показатели эффективности внедрения новой технологии
- Приложение
- Макет ввода заявки
- 1. Дерево курса ит в юриспруденции
- Новые Информационные Технологии в юриспруденции (усеченный вариант аои в юриспруденции).
- Автоматизированная Обработка Информации в юриспруденции.
- Р4ii – Делопроизводство и юридическая система (арм отдела делопроизводства):
- Автоматизированная Обработка Информации в судопроизводстве.
- Информационные Правовые Поисковые Системы.
- 2. Цели и задачи дисциплины
- 3. Перечень основных тем и подтем
- 3.1. Тема 1. Элементы теории систем, юриспруденция и правовая система
- 3.1.1. Дидактические единицы
- 3.1.2. Изучив данную тему, студент должен:
- 3.1.3. При изучении темы 1 необходимо:
- 3.1.4. Для самооценки темы 1 необходимо:
- 3.2. Тема 2. Информация, информационные технологии и компьютерные консультативные юридические службы (ккюс)
- 3.2.1. Дидактические единицы
- 3.2.2. Изучив данную тему, студент должен:
- 3.2.3. При изучении темы 2 необходимо:
- 3.2.4. Для самооценки темы 2 необходимо:
- 3.2.5. План практических занятий по теме 2
- 3.3. Тема 3. Автоматизированное рабочее место отдела делопроизводства (арм од) и юридическое обеспечение. Исполнения исполнительной документации
- 3.3.1 Дидактические единицы
- 3.3.2. Изучив данную тему, студент должен:
- 3.3.3. При изучении темы 3 необходимо:
- 3.3.4. Для самооценки по теме 3 необходимо:
- 3.4. Тема 4. Автоматизированное рабочее место отдела кадров (арм ок) и юридическое обеспечение
- 3.4.2. Изучив данную тему, студент должен:
- 3.4.3. При изучении темы 4 необходимо
- 3.4.4. Для самооценки темы необходимо:
- 3.5. Тема 5. Информационный консалтинг
- 3.5.1. Дидактические единицы
- 3.5.2. Изучив данную тему, студент должен:
- 3.5.3. При изучении темы 5 необходимо:
- 3.5.4. Для самооценки по теме 5 необходимо:
- 3.5.5. План практических занятий по теме 5
- 3.6. Тема 6. Информационный консалтинг и правовая система
- 3.6.1. Дидактические единицы
- 3.6.2. Изучив данную тему, студент должен:
- 3.6.3. При изучении темы 6 необходимо
- 3.6.4. Для самооценки по теме 6 необходимо
- 3.6.5. План практических занятий по теме 6
- 3.7. Тема 7. Информационный консалтинг – Консультант Плюс
- 3.7.1. Дидактические единицы
- 3.7.2. Изучив данную тему, студент должен:
- 3.7.3. При изучении темы 7 необходимо:
- 3.7.4. Для самооценки по теме 7 необходимо:
- 3.7.5. План практических занятий по теме 7
- 3.8. Тема 8. Информационный консалтинг проблемно-ориентированный и компьютерная консультативная юридическая система (ккюс)
- 2.8.1. Дидактические единицы
- 3.8.2. Изучив данную тему, студент должен:
- 3.8.3. При изучении темы 8 необходимо:
- 3.8.4. Для самооценки по теме 8 необходимо:
- 3.8.5. План практических занятий по теме 8
- 3.9. Тема 9. Разработка компьютерной консультативной юридической системы (ккюс), как самостоятельной юридической фирмы
- 3.9.1. Дидактические единицы
- 3.9.2. Изучив данную тему, студент должен:
- 3.9.3. При изучении темы 9 необходимо:
- 3.9.4. Для самооценки темы 9 необходимо:
- 3.9.5. План практических занятий по теме 9
- 3.10. Тема 10. Перспективные информационные технологии в юриспруденции
- 3.10.1. Дидактические единицы
- 3.10.2. Изучив данную тему, студент должен:
- 3.10.3. При изучении темы 9 необходимо:
- 3.10.4. Для самооценки темы 10 необходимо:
- 3.10.5. План практических занятий по теме 10
- Раздел 1. Теория систем и информационные технологии
- 1. Целью курса ит в юриспруденции является :
- 3. Система представляет собой:
- Раздел 2. Теория информации
- 8. Согласно своей структуры информация бывает:
- 9. Какие виды научной информации Вы знаете?
- 10. Информационная технология – это:
- Раздел 3. Юридическая система (Правовая система)
- 5. Что из перечисленной ниже информации о цветовом выделении в системе “Гарант” не верно?
- 6. Какой вид поиска в справочных компьютерных системах считается наиболее простым и удобным?
- Раздел 5. Компьютерная консультативная юридическая система (ккюс)
- Для проведения итогового контроля необходимо
- 6. Контрольные вопросы для самостоятельной оценки качества освоения дисциплины
- Список рекомендуемой литературы