Метод экспертных оценок

Сущность метода в отборе оценочных критериев ЭИС. Способы оценки ЭИС предполагают наличие разработанной методологии их применения:

а) шаги по оценке,

б) критерии оценки,

в) способы сравнения оцененных параметров,

г) способ оценки результатов сравнения ЭИС,

Характеристические признаки - совокупность критериев качества системы и аттестационных характеристик, определяющих класс, состав обеспечения, конструктивные средства, реализующие систему, и временно-стоимостные характеристики.

Критерии качества:

1) сложность;

2) надежность;

3) универсальность;

4) информативность;

5) иерархичность.

При оценке системы по каждому одиночному критерию трудно получить объективную оценку системы, так как все критерии взаимосвязаны. Поэтому требуется давать относительную оценку важности каждому критерию. Для оценки критериев качества применяется экспертный подход. То есть при оценке систем используют систему оценок относительной важности критериев. При этом каждому критерию присваивается определенный вес в зависимости от его значимости при оценке системы. Оценки, данные всеми экспертами каждому критерию, усредняются и выводится средний вес для каждого критерия на множестве экспертов.

Технология эксперта:

- выбрать систему оценок характеристик ЭИС;

- расставить по определенной заранее бальной или численной системе оценки характеристикам ЭИС;

- усреднить оценки каждой характеристики, выставленные участниками (экспертами);

- полученный вектор весов сложить. Это будет общий вес ЭИС.

Таким образом, ЭИС можно будет сравнивать между собой по полученным общим весам, а не только по оценкам отдельных характеристик.

Пусть существует набор характеристик (параметров), с помощью которых (зная их метрическое значение) можно определить рейтинг системы на множестве однотипных (сходных) систем.

Дано: Х= {х_i}^m₁ - множество характеристических признаков (параметров)

• = { _j}ⁿ₁ - множество систем

Характеристический признак - свойство системы данного класса, присущее ей и только ей. Т.o. выполняется оценка внутри класса систем.

Требуется определить вес W _j системы  _j , то есть вес j-ой системы в рамках данного класса, исходя из значений параметров, определяющих совокупность свойств системы.

Пример1: дадим оценку состояния конкретного человека в момент времени t_i на множестве других людей.

X = <здоровье, жилище, работа, общественное положение, материальное положение, успех у противоположного пола, семейное положение, хобби>=<x1,x2,x3,x4,x5,x6,x7,x8>

Определим W - вес или рейтинг конкретной системы на множестве систем в рамках данного класса ,т.е. конкретного человека.

Для этого указываются веса wi от 1 до 10 для xi; далее, согласно весам wi упорядочивается вектор Х по убыванию wi. Задаются значения числовых характеристик x_i - от 1 до 5 (пятибальная система) и вычисляется вес системы - человек на t_i момент.

W=( x_i*w_i)/180 человек

Алгоритм:

2. Заполнить таблицу № 1

Таблица 1

здесь:

х_i - оценка параметра на момент времени t_i по по пятибалльной системе.

2. Эксперт упорядочивает параметры х_i по их значимости w_i для  системы — человек.

3. Оценка параметра х_i в данный момент времени t_i от 1 до 5

4. Вычисление по формуле W= ( х_i* wi )/180

5. Определение веса системы по технологии:

Если W> 0.9 – Отлично,

Если W> 0.7 – Хорошо,

Если W> 0.5 – Посредственно,

Если W< 0.5 – Плохо.

Пример2: подход к оценке важности очередных работ (планирование этапов).

Дано: параметры системы S=планирование:

х = {х₁,х₂,х₃}- характеристические признаки системы:

х₁ - важность по четырехбалльной системе: {1,2,3,4} (B);

х₂ - срочность по трехбалльной системе: {1,2,3} (C);

х₃ - плановость {0,1,2}; (П);

х₄ - интервалы времени {t}, т.е. х={В,С,П}.

Требуется: упорядочить по интервалу времени характеристические признаки х_i и получить на выходе упорядоченный план работ, т.е. <rj>.

Для каждого интервала времени t и работы rj рассчитывается ее приоритет по формуле:

W_{приоритета}=В х С + П , т.е.

Wrj=x1 x x2 + x3

Алгоритм

1. Cоставляется таблица вида:

Таблица 2

Здесь: В - Важность, С - Срочность, П - Плановость;

<r_j> - план работ, упорядоченный на интервале времени (t_i).

2. Заполнить графы 2 и 3; где 3 - наименование нупорядоченных работ, 2 - время;

3. Для каждой работы проставить значения характеристик В,С,П по балльной соответствующей системе;

4. Вычислить W_{приоритета} для каждой j-ой работы из плана работ {r_j}или графа 3;

5. Упорядочить полученный вектор числовых значений Wпр по убыванию на множестве {(t_i)} интервалов времени.

Такие методы оценки субъективны, так как все критерии качества взаимосвязаны.

Следовательно, результат оценки значимости каждой работы при планировании субъективен. Поэтому для того, чтобы абстрагироваться от влияния субъективных факторов в оценке важности работ, необходимо формализовать экспертный подход.

1. Метод оценки относительной важности системы (метод численных оценок);

2. Метод оценки относительной важности системы (бальный метод);

3. Метод Черчмена-Акофа.

Метод численных оценок

Суть:

1. Для систем одного класса определяется вектор оценочных характеристик.

2. Каждая оценочная характеристика вычисляется по формуле.

3. Эксперт дает свою оценку важности каждой характеристики для данного класса систем.

При этом количество экспертов должно быть больше одного (в общем случае - m).

Оценка выставляется по шкале от 0 до 1. Данные заносятся в таблицу:

Таблица 3

Здесь vij - вес (значимость) i характеристики i-тым экспертом, ki - i - я характеристика.

4. Формула определения веса каждой характеристики:

V_i= Vij/m,

где V_i - средний вес i-ой характеристики системы на множестве экспертов - m;

m - количество экспертов;

j - j-ый эксперт на множестве m;

V_ij - вес i-й характеристики системы, определяемый j-ым экспертом.

5. Упорядочить i-ые характеристики по весам (V_i).

6. Расчет веса всей системы:

V(k) = , где

V - вес к - ой системы;

U_i - числовое значение I - характеристики;

V_i - средний вес I - характеристики для к - ой системы.

Метод балльных оценок

Суть та же, что и в методе численных оценок.

Пусть дано {К_i} - множество критериев и {m_j} - множество экспертов.

Используется шкала: от 1 до 100.

Таблица 4

Усредненная оценка коэффициента относительной важности V_i характеристики К_i считается по формуле:

V_i = (  _j V_{i j})/( _j  _i V_{i j})

V_ij - балл i - ый j - ого эксперта.

Метод Черчмена-Акофа:

1. Каждый эксперт упорядочивает множество {K_i} по степени важности критериев по соотношениям вида (К_i>K_j, К_i=K_j и K_i>(K_i+1,...)).

2. По одному из выше описанных методов проставляются числовые оценки или баллы по критериям.

3. Из созданных последовательностей выбирается самый важный по сравнению с другими критерий.

4. Из самых важных критериев формируется новый вектор критериев.

Для оценки системы на множестве систем программных комплексов используется Набор характеристических расчетных признаков:

1. Сложность

к

C=(1+S*m)* e_i*k _i,, где

i=1

m₁=M/(N*(N-1))

m = m₂=M/(N*(N-1)*K(K-1))

m₃=M/(N*(N-1)*K*(K-1)*r*(n+m)),

m - коэффициент относительной сложности, показывающий соотношение сложности реализации к теоретически возможным связям в системе;

M - количество реализованных связей;

N - количество подсистем;

K - количество элементов в подсистеме;

r - количество выходов;

n+m - количество входов;

e_i - способ реализации i-ого элемента в подсистеме;

S - трудность реализации в конкретной структуре.

2. Надежность (относительная)



R₁=K_v/N, где



K_v - количество элементов с максимальным числом любых входов;

N - общее число элементов в системе (подсистеме);



R₂=S/M, где

S - количество подсистем разнотипных;

M - число связей;

Если R_1,2  1, то требуются повышенные методы контроля

3. Информативность (относительная)

I=K_i/N, где

K_i - количество элементов системы с максимальным числом однотипных выходов;

N - число элементов;

4. Универсальность

 

U₁=K_v/N; U₁=K_v/M, где



K_v - количество элементов с максимальным числом разнотипных входов;

N - общее количество элементов (подсистем);

М - общее количество связей.

U₂=#S#/#S#, где

#S# - количество разнотипных подсистем;

#S# - общее количество подсистем.

5. Пропускная способность

P₁=H/(H*L)*K

V_k=(H*L)*K, где

H - степень параллелизма;

V_k - объем вычислений;

L - самая длинная подсистема (путь) вычислений, т.е. количество состояний на самом длинном пути;

K - коэффициент реализации ;

Если система нереализована, то коэффициент равен 1. Если реализована, то значение коэффициента зависит от степени сложности реализации.

Сущность метода в отборе оценочных критериев ЭИС. Способы оценки ЭИС предполагают наличие разработанной методологии их применения:

а) шаги по оценке,

б) критерии оценки,

в) способы сравнения оцененных параметров,

г) способ оценки результатов сравнения ЭИС,

Характеристические признаки – совокупность критериев качества системы и аттестационных характеристик, определяющих класс, состав обеспечения, конструктивные средства, реализующие систему, и временно-стоимостные характеристики.

Критерии качества:

1) сложность;

2) надежность;

3) универсальность;

4) информативность;

5) иерархичность.

При оценке системы по каждому одиночному критерию трудно получить объективную оценку системы, так как все критерии взаимосвязаны. Поэтому требуется давать относительную оценку важности каждому критерию. Для оценки критериев качества применяется экспертный подход. То есть при оценке систем используют систему оценок относительной важности критериев. При этом каждому критерию присваивается определенный вес в зависимости от его значимости при оценке системы. Оценки, данные всеми экспертами каждому критерию, усредняются и выводится средний вес для каждого критерия на множестве экспертов.

Технология эксперта:

– выбрать систему оценок характеристик ЭИС;

– расставить по определенной заранее бальной или численной системе оценки характеристикам ЭИС;

– усреднить оценки каждой характеристики, выставленные участниками (экспертами);

– полученный вектор весов сложить. Это будет общий вес ЭИС.

Таким образом, ЭИС можно будет сравнивать между собой по полученным общим весам, а не только по оценкам отдельных характеристик.

Пусть существует набор характеристик (параметров), с помощью которых (зная их метрическое значение) можно определить рейтинг системы на множестве однотипных (сходных) систем.

Дано: Х= {х_i}^m₁ – множество характеристических признаков (параметров)

• = { _j}ⁿ₁ – множество систем

Характеристический признак – свойство системы данного класса, присущее ей и только ей. Т.o. выполняется оценка внутри класса систем.

Требуется определить вес W _j системы  _j , то есть вес j-ой системы в рамках данного класса, исходя из значений параметров, определяющих совокупность свойств системы.

Пример 1: дадим оценку состояния конкретного человека в момент времени t_i на множестве других людей.

X = <здоровье, жилище, работа, общественное положение, материальное положение, успех у противоположного пола, семейное положение, хобби >=<x1,x2,x3,x4,x5, x6,x7,x8>

Определим W – вес или рейтинг конкретной системы на множестве систем в рамках данного класса ,т.е. конкретного человека.

Для этого указываются веса wi от 1 до 10 для xi; далее, согласно весам wi упорядочивается вектор Х по убыванию wi. Задаются значения числовых характеристик x_{i –} от 1 до 5 (пятибалльная система) и вычисляется вес системы – человек на t_i момент.

W=( x_i*w_i)/180 человек

Алгоритм:

3. Заполнить таблицу № 1

Таблица 1

здесь:

х_i – оценка параметра на момент времени t_i по по пятибалльной системе.

2. Эксперт упорядочивает параметры х_i по их значимости w_i для  системы – человек.

3. Оценка параметра х_i в данный момент времени t_i от 1 до 5

4. Вычисление по формуле W= ( х_i* wi )/180

5. Определение веса системы по технологии:

Если W> 0.9 – Отлично,

Если W> 0.7 – Хорошо,

Если W> 0.5 – Посредственно,

Если W< 0.5 – Плохо.

Пример 2: подход к оценке важности очередных работ (планирование этапов).

Дано: параметры системы S = планирование:

х = {х₁,х₂,х₃} – характеристические признаки системы:

х₁ – важность по четырехбалльной системе: {1,2,3,4} (B);

х₂ – срочность по трехбалльной системе: {1,2,3} (C);

х₃ – плановость {0,1,2}; (П);

х_{4 –} интервалы времени {t}, т.е. х = {В,С,П}.

Требуется: упорядочить по интервалу времени характеристические признаки х_i и получить на выходе упорядоченный план работ, т.е. <rj>.

Для каждого интервала времени t и работы rj рассчитывается ее приоритет по формуле:

W_{приоритета}=В х С + П , т.е.

Wrj=x1 x x2 + x3

Алгоритм

1. Составляется таблица вида:

Таблица 2

Здесь: В – Важность, С – Срочность, П – Плановость;

<r_j> – план работ, упорядоченный на интервале времени (t_i).

2. Заполнить графы 2 и 3; где 3 – наименование нупорядоченных работ, 2 – время;

3. Для каждой работы проставить значения характеристик В,С,П по балльной соответствующей системе;

4. Вычислить W_{приоритета} для каждой j-ой работы из плана работ {r_j}или графа 3;

5. Упорядочить полученный вектор числовых значений Wпр по убыванию на множестве {(t_i)} интервалов времени.

Такие методы оценки субъективны, так как все критерии качества взаимосвязаны.

Следовательно, результат оценки значимости каждой работы при планировании субъективен. Поэтому для того, чтобы абстрагироваться от влияния субъективных факторов в оценке важности работ, необходимо формализовать экспертный подход.

1. Метод оценки относительной важности системы (метод численных оценок);

2. Метод оценки относительной важности системы (бальный метод);

3. Метод Черчмена-Акофа.