Оценочные элементы фактора "надежность аналога 2"
Наименование |
Э1 |
Э2 |
Э3 |
Э4 |
Э5 |
Возможность обработки ошибочных ситуаций |
0,1 |
0,2 |
0,21 |
0,2 |
0,2 |
Наличие тестов для проверки допустимых значений входных данных |
0,5 |
0,6 |
0,5 |
0,65 |
0,6 |
Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств |
0,2 |
0,12 |
0,22 |
0,12 |
0,3 |
Наличие требований к программе по восстановлению результатов при отказах процессора, ОС |
0,8 |
0,79 |
0,8 |
0,8 |
0,7 |
Наличие возможности разделения по времени выполнения отдельных функций программ |
0,4 |
0,43 |
0,54 |
0,43 |
0,43 |
Наличие возможности повторного старта с точки останова |
0,8 |
0,8 |
0,8 |
0,8 |
0,8 |
Наличие проверки параметров и адресов по диапазону их значений |
0,7 |
0,66 |
0,67 |
0,65 |
0,67 |
Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех |
0,4 |
0,3 |
0,4 |
0,37 |
0,3 |
Этап 1. Создание экспертной комиссии. Число факторов n = 8, Число экспертов m = 5
Этап 2. Сбор мнений специалистов путем анкетного опроса. Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.
Этап 3. Составление сводной матрицы рангов.
№ п.п. / Эксперты |
1 |
2 |
3 |
4 |
5 |
1 |
0.1 |
0.2 |
0.21 |
0.2 |
0.2 |
2 |
0.5 |
0.6 |
0.5 |
0.65 |
0.6 |
3 |
0.2 |
0.12 |
0.22 |
0.12 |
0.3 |
4 |
0.8 |
0.79 |
0.8 |
0.8 |
0.7 |
5 |
0.4 |
0.43 |
0.54 |
0.43 |
0.43 |
6 |
0.8 |
0.8 |
0.8 |
0.8 |
0.8 |
7 |
0.7 |
0.66 |
0.67 |
0.65 |
0.67 |
8 |
0.4 |
0.3 |
0.4 |
0.37 |
0.3 |
Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду |
Расположение факторов по оценке эксперта |
Новые ранги |
1 |
0.1 |
1 |
2 |
0.2 |
2 |
3 |
0.4 |
3.5 |
4 |
0.4 |
3.5 |
5 |
0.5 |
5 |
6 |
0.7 |
6 |
7 |
0.8 |
7.5 |
8 |
0.8 |
7.5 |
Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду |
Расположение факторов по оценке эксперта |
Новые ранги |
1 |
0.21 |
1 |
2 |
0.22 |
2 |
3 |
0.4 |
3 |
4 |
0.5 |
4 |
5 |
0.54 |
5 |
6 |
0.67 |
6 |
7 |
0.8 |
7.5 |
8 |
0.8 |
7.5 |
Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду |
Расположение факторов по оценке эксперта |
Новые ранги |
1 |
0.12 |
1 |
2 |
0.2 |
2 |
3 |
0.37 |
3 |
4 |
0.43 |
4 |
5 |
0.65 |
5.5 |
6 |
0.65 |
5.5 |
7 |
0.8 |
7.5 |
8 |
0.8 |
7.5 |
Так как в матрице имеются связанные ранги в оценках 5-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду |
Расположение факторов по оценке эксперта |
Новые ранги |
1 |
0.2 |
1 |
2 |
0.3 |
2.5 |
3 |
0.3 |
2.5 |
4 |
0.43 |
4 |
5 |
0.6 |
5 |
6 |
0.67 |
6 |
7 |
0.7 |
7 |
8 |
0.8 |
8 |
На основании переформирования рангов строится новая матрица рангов.
№ п.п. / Эксперты |
1 |
2 |
3 |
4 |
5 |
1 |
1 |
2 |
1 |
2 |
1 |
2 |
5 |
5 |
4 |
5.5 |
5 |
3 |
2 |
1 |
2 |
1 |
2.5 |
4 |
7.5 |
7 |
7.5 |
7.5 |
7 |
5 |
3.5 |
4 |
5 |
4 |
4 |
6 |
7.5 |
8 |
7.5 |
7.5 |
8 |
7 |
6 |
6 |
6 |
5.5 |
6 |
8 |
3.5 |
3 |
3 |
3 |
2.5 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
1 |
2 |
1 |
2 |
1 |
7 |
-15.5 |
240.25 |
x2 |
5 |
5 |
4 |
5.5 |
5 |
24.5 |
2 |
4 |
x3 |
2 |
1 |
2 |
1 |
2.5 |
8.5 |
-14 |
196 |
x4 |
7.5 |
7 |
7.5 |
7.5 |
7 |
36.5 |
14 |
196 |
x5 |
3.5 |
4 |
5 |
4 |
4 |
20.5 |
-2 |
4 |
x6 |
7.5 |
8 |
7.5 |
7.5 |
8 |
38.5 |
16 |
256 |
x7 |
6 |
6 |
6 |
5.5 |
6 |
29.5 |
7 |
49 |
x8 |
3.5 |
3 |
3 |
3 |
2.5 |
15 |
-7.5 |
56.25 |
∑ |
36 |
36 |
36 |
36 |
36 |
180 |
|
1001.5 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x1 |
7 |
x3 |
8.5 |
x8 |
15 |
x5 |
20.5 |
x2 |
24.5 |
x7 |
29.5 |
x4 |
36.5 |
x6 |
38.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1001.5, n = 8, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) +
(23-2)]/12 = 1
T3 = [(23-2)]/12
= 0.5
T4 = [(23-2) + (23-2)]/12
= 1
T5 = [(23-2)]/12 = 0.5
∑Ti
= 1 + 0.5 + 1 + 0.5 = 3
W
= 0.97 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 8-1 = 7 и
при заданном уровне значимости α =
0.05
Так как χ2 расчетный 33.87>
табличного (14.06714), то W = 0.97 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии. На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть: x1 = 1/7 = 0.143 x3 = 1/8.5 = 0.118 x8 = 1/15 = 0.0667 x5 = 1/20.5 = 0.0488 x2 = 1/24.5 = 0.0408 x7 = 1/29.5 = 0.0339 x4 = 1/36.5 = 0.0274 x6 = 1/38.5 = 0.026
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x1 |
0.14 |
0.28 |
x3 |
0.12 |
0.23 |
x8 |
0.0667 |
0.13 |
x5 |
0.0488 |
0.0968 |
x2 |
0.0408 |
0.081 |
x7 |
0.0339 |
0.0673 |
x4 |
0.0274 |
0.0544 |
x6 |
0.026 |
0.0515 |
Аналогичным образом выполняем расчеты по другим показателям качества.
Оценочные элементы фактора "сопровождаемость нашего ПИ"
Код элемента |
Наименование |
|
|
|
|
|
C0803 |
Наличие комментариев в точках входа и выхода программы |
0,7 |
0,8 |
0,8 |
0,78 |
0,78 |
С0303 |
Осуществляется ли передача результатов работы модуля через вызывающий его модуль |
0,6 |
0,6 |
0,6 |
0,67 |
0,66 |
С0801 |
Наличие комментариев ко всем машинозависимым частям программы |
0,78 |
0,75 |
0,75 |
0,78 |
0,78 |
С0901 |
Соответствие комментариев принятым соглашениям |
0,7 |
0,7 |
0,7 |
0,7 |
0,7 |
С1001 |
Используется ли язык высокого уровня |
0,5 |
0,65 |
0,55 |
0,52 |
0,52 |
С0301 |
Наличие проверки корректности передаваемых данных |
0,8 |
0,8 |
0,8 |
0,82 |
0,8 |
C0602 |
Соблюдение принципа разработки программы сверху вниз |
0,57 |
0,63 |
0,63 |
0,57 |
0,57 |
C0101 |
Наличие модульной схемы программы |
0,7 |
0,75 |
0,85 |
0,74 |
0,7 |
C0102 |
Оценка программы по числу уникальных модулей |
0,56 |
0,7 |
0,6 |
0,57 |
0,57 |
C0903 |
Оценка ясности и точности описания последовательности функционирования всех элементов программы |
0,8 |
0,6 |
0,6 |
0,63 |
0,58 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
6 |
9.5 |
8.5 |
8.5 |
8.5 |
41 |
13.5 |
182.25 |
x2 |
4 |
1.5 |
3 |
5 |
5 |
18.5 |
-9 |
81 |
x3 |
8 |
7.5 |
7 |
8.5 |
8.5 |
39.5 |
12 |
144 |
x4 |
6 |
5.5 |
6 |
6 |
6.5 |
30 |
2.5 |
6.25 |
x5 |
1 |
4 |
1 |
1 |
1 |
8 |
-19.5 |
380.25 |
x6 |
9.5 |
9.5 |
8.5 |
10 |
10 |
47.5 |
20 |
400 |
x7 |
3 |
3 |
5 |
2.5 |
2.5 |
16 |
-11.5 |
132.25 |
x8 |
6 |
7.5 |
10 |
7 |
6.5 |
37 |
9.5 |
90.25 |
x9 |
2 |
5.5 |
3 |
2.5 |
2.5 |
15.5 |
-12 |
144 |
x10 |
9.5 |
1.5 |
3 |
4 |
4 |
22 |
-5.5 |
30.25 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1590.5 |
где
Проверка
правильности составления матрицы на
основе исчисления контрольной
суммы:
Сумма
по столбцам матрицы равны между собой
и контрольной суммы, значит, матрица
составлена правильно.
Этап 4. Анализ
значимости исследуемых факторов.
В
данном примере факторы по значимости
распределились следующим образом
(табл.).
Расположение факторов по
значимости
Факторы |
Сумма рангов |
x5 |
8 |
x9 |
15.5 |
x7 |
16 |
x2 |
18.5 |
x10 |
22 |
x4 |
30 |
x8 |
37 |
x3 |
39.5 |
x1 |
41 |
x6 |
47.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1590.5, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(33-3) +
(23-2)]/12 = 2.5
T2 = [(23-2) +
(23-2) + (23-2) + (23-2)]/12 = 2
T3
= [(23-2) + (33-3)]/12 = 2.5
T4
= [(23-2) + (23-2)]/12 = 1
T5 =
[(23-2) + (23-2) + (23-2)]/12 =
1.5
∑Ti = 2.5 + 2 + 2.5 + 1 + 1.5 = 9.5
W
= 0.79 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 35.52>
табличного (16.91898), то W = 0.79 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x5 = 1/8 = 0.125
x9 =
1/15.5 = 0.0645
x7 = 1/16 = 0.0625
x2
= 1/18.5 = 0.0541
x10 = 1/22 = 0.0455
x4
= 1/30 = 0.0333
x8 = 1/37 = 0.027
x3
= 1/39.5 = 0.0253
x1 = 1/41 = 0.0244
x6
= 1/47.5 = 0.0211
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x5 |
0.13 |
0.26 |
x9 |
0.0645 |
0.13 |
x7 |
0.0625 |
0.13 |
x2 |
0.0541 |
0.11 |
x10 |
0.0455 |
0.0942 |
x4 |
0.0333 |
0.0691 |
x8 |
0.027 |
0.056 |
x3 |
0.0253 |
0.0525 |
x1 |
0.0244 |
0.0505 |
x6 |
0.0211 |
0.0436 |
Оценочные элементы фактора "сопровождаемость аналога 1"
Код элемента |
Наименование |
|
|
|
|
|
C0803 |
Наличие комментариев в точках входа и выхода программы |
0,7 |
0,8 |
0,8 |
0,78 |
0,78 |
С0303 |
Осуществляется ли передача результатов работы модуля через вызывающий его модуль |
0,6 |
0,6 |
0,6 |
0,67 |
0,66 |
С0801 |
Наличие комментариев ко всем машинозависимым частям программы |
0,78 |
0,75 |
0,75 |
0,78 |
0,78 |
С0901 |
Соответствие комментариев принятым соглашениям |
0,7 |
0,7 |
0,7 |
0,7 |
0,7 |
С1001 |
Используется ли язык высокого уровня |
0,5 |
0,65 |
0,55 |
0,52 |
0,52 |
С0301 |
Наличие проверки корректности передаваемых данных |
0,8 |
0,8 |
0,8 |
0,82 |
0,8 |
C0602 |
Соблюдение принципа разработки программы сверху вниз |
0,57 |
0,63 |
0,63 |
0,57 |
0,57 |
C0101 |
Наличие модульной схемы программы |
0,7 |
0,75 |
0,85 |
0,74 |
0,7 |
C0102 |
Оценка программы по числу уникальных модулей |
0,56 |
0,7 |
0,6 |
0,57 |
0,57 |
C0903 |
Оценка ясности и точности описания последовательности функционирования всех элементов программы |
0,8 |
0,6 |
0,6 |
0,63 |
0,58 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
8 |
7.5 |
4.5 |
7 |
6.5 |
33.5 |
6 |
36 |
x2 |
4 |
4.5 |
7 |
4 |
4 |
23.5 |
-4 |
16 |
x3 |
6.5 |
10 |
7 |
10 |
9 |
42.5 |
15 |
225 |
x4 |
9.5 |
7.5 |
9 |
7 |
6.5 |
39.5 |
12 |
144 |
x5 |
2.5 |
2 |
2.5 |
3 |
2 |
12 |
-15.5 |
240.25 |
x6 |
6.5 |
9 |
7 |
9 |
8 |
39.5 |
12 |
144 |
x7 |
1 |
1 |
1 |
1 |
1 |
5 |
-22.5 |
506.25 |
x8 |
9.5 |
6 |
10 |
7 |
5 |
37.5 |
10 |
100 |
x9 |
2.5 |
3 |
2.5 |
2 |
3 |
13 |
-14.5 |
210.25 |
x10 |
5 |
4.5 |
4.5 |
5 |
10 |
29 |
1.5 |
2.25 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1624 |
где
Проверка
правильности составления матрицы на
основе исчисления контрольной
суммы:
Сумма
по столбцам матрицы равны между собой
и контрольной суммы, значит, матрица
составлена правильно.
Этап 4. Анализ
значимости исследуемых факторов.
В
данном примере факторы по значимости
распределились следующим образом
(табл.).
Расположение факторов по
значимости
Факторы |
Сумма рангов |
x7 |
5 |
x5 |
12 |
x9 |
13 |
x2 |
23.5 |
x10 |
29 |
x1 |
33.5 |
x8 |
37.5 |
x4 |
39.5 |
x6 |
39.5 |
x3 |
42.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1624, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (23-2)
+ (23-2)]/12 = 1.5
T2 = [(23-2)
+ (23-2)]/12 = 1
T3 = [(23-2) +
(33-3) + (23-2)]/12 = 3
T4 =
[(33-3)]/12 = 2
T5 = [(23-2)]/12
= 0.5
∑Ti = 1.5 + 1 + 3 + 2 + 0.5 = 8
W
= 0.8 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 36.13>
табличного (16.91898), то W = 0.8 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x7 = 1/5 = 0.2
x5 = 1/12 =
0.0833
x9 = 1/13 = 0.0769
x2 = 1/23.5
= 0.0426
x10 = 1/29 = 0.0345
x1 =
1/33.5 = 0.0299
x8 = 1/37.5 = 0.0267
x4
= 1/39.5 = 0.0253
x6 = 1/39.5 = 0.0253
x3
= 1/42.5 = 0.0235
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x7 |
0.2 |
0.35 |
x5 |
0.0833 |
0.15 |
x9 |
0.0769 |
0.14 |
x2 |
0.0426 |
0.0749 |
x10 |
0.0345 |
0.0607 |
x1 |
0.0299 |
0.0526 |
x8 |
0.0267 |
0.047 |
x4 |
0.0253 |
0.0446 |
x6 |
0.0253 |
0.0446 |
x3 |
0.0235 |
0.0414 |
Оценочные элементы фактора "сопровождаемость аналога 2"
Код элемента |
Наименование |
|
|
|
|
|
C0803 |
Наличие комментариев в точках входа и выхода программы |
0,7 |
0,8 |
0,8 |
0,78 |
0,78 |
С0303 |
Осуществляется ли передача результатов работы модуля через вызывающий его модуль |
0,6 |
0,6 |
0,6 |
0,67 |
0,66 |
С0801 |
Наличие комментариев ко всем машинозависимым частям программы |
0,78 |
0,75 |
0,75 |
0,78 |
0,78 |
С0901 |
Соответствие комментариев принятым соглашениям |
0,7 |
0,7 |
0,7 |
0,7 |
0,7 |
С1001 |
Используется ли язык высокого уровня |
0,5 |
0,65 |
0,55 |
0,52 |
0,52 |
С0301 |
Наличие проверки корректности передаваемых данных |
0,8 |
0,8 |
0,8 |
0,82 |
0,8 |
C0602 |
Соблюдение принципа разработки программы сверху вниз |
0,57 |
0,63 |
0,63 |
0,57 |
0,57 |
C0101 |
Наличие модульной схемы программы |
0,7 |
0,75 |
0,85 |
0,74 |
0,7 |
C0102 |
Оценка программы по числу уникальных модулей |
0,56 |
0,7 |
0,6 |
0,57 |
0,57 |
C0903 |
Оценка ясности и точности описания последовательности функционирования всех элементов программы |
0,8 |
0,6 |
0,6 |
0,63 |
0,58 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
1 |
4 |
1 |
4 |
4 |
14 |
-13.5 |
182.25 |
x2 |
3 |
1 |
4.5 |
3 |
1 |
12.5 |
-15 |
225 |
x3 |
5 |
5 |
3 |
6.5 |
6 |
25.5 |
-2 |
4 |
x4 |
7.5 |
8.5 |
9 |
10 |
9 |
44 |
16.5 |
272.25 |
x5 |
4 |
2.5 |
4.5 |
2 |
3 |
16 |
-11.5 |
132.25 |
x6 |
7.5 |
8.5 |
7 |
8 |
5 |
36 |
8.5 |
72.25 |
x7 |
7.5 |
6 |
6 |
5 |
7 |
31.5 |
4 |
16 |
x8 |
10 |
8.5 |
10 |
9 |
9 |
46.5 |
19 |
361 |
x9 |
2 |
2.5 |
2 |
1 |
2 |
9.5 |
-18 |
324 |
x10 |
7.5 |
8.5 |
8 |
6.5 |
9 |
39.5 |
12 |
144 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1733 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x9 |
9.5 |
x2 |
12.5 |
x1 |
14 |
x5 |
16 |
x3 |
25.5 |
x7 |
31.5 |
x6 |
36 |
x10 |
39.5 |
x4 |
44 |
x8 |
46.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1733, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(43-4)]/12 =
5
T2 = [(43-4) + (23-2)]/12 =
5.5
T3 = [(23-2)]/12 = 0.5
T4
= [(23-2)]/12 = 0.5
T5 = [(33-3)]/12
= 2
∑Ti = 5 + 5.5 + 0.5 + 0.5 + 2 = 13.5
W
= 0.87 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 39.09>
табличного (16.91898), то W = 0.87 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x9 = 1/9.5 = 0.105
x2 =
1/12.5 = 0.08
x1 = 1/14 = 0.0714
x5 =
1/16 = 0.0625
x3 = 1/25.5 = 0.0392
x7
= 1/31.5 = 0.0317
x6 = 1/36 = 0.0278
x10
= 1/39.5 = 0.0253
x4 = 1/44 = 0.0227
x8
= 1/46.5 = 0.0215
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x9 |
0.11 |
0.22 |
x2 |
0.08 |
0.16 |
x1 |
0.0714 |
0.15 |
x5 |
0.0625 |
0.13 |
x3 |
0.0392 |
0.0804 |
x7 |
0.0317 |
0.0651 |
x6 |
0.0278 |
0.057 |
x10 |
0.0253 |
0.0519 |
x4 |
0.0227 |
0.0466 |
x8 |
0.0215 |
0.0441 |
Оценочные элементы фактора "удобство применения ПИ"
Код элемента |
Наименование |
|
|
|
|
|
У0101 |
Возможность освоения программных средств по документации |
0,87 |
0,88 |
0,9 |
0,8 |
0,8 |
У0103 |
Возможность поэтапного освоения ПС |
0,7 |
0,74 |
0,65 |
0,7 |
0,74 |
У0201 |
Полнота и понятность документации для освоения |
0,9 |
0,8 |
0,92 |
0,8 |
0,83 |
У0202 |
Точность документации для освоения |
1 |
0,97 |
0,94 |
0,91 |
0,97 |
У0303 |
Наличие описания структуры функций ПС |
0,7 |
0,71 |
0,76 |
0,71 |
0,78 |
У0304 |
Наличие описания основных функций ПС |
0,8 |
0,6 |
0,9 |
0,58 |
0,6 |
У0309 |
Наличие описания пользовательских интерфейсов |
0,9 |
0,94 |
0,91 |
0,9 |
0,94 |
У0312 |
Наличие описания основных характеристик ПС |
0,85 |
0,81 |
0,83 |
0,8 |
0,81 |
У0402 |
Оценка оформления документации |
0,99 |
0,9 |
0,9 |
0,89 |
0,92 |
У0406 |
Ясность формулировок и описаний |
0,84 |
0,7 |
0,86 |
0,72 |
0,84 |
У0501 |
Оценка стиля изложения |
0,6 |
0,7 |
0,8 |
0,72 |
0,8 |
У0802 |
Легкость и быстрота загрузки и запуска программы |
0,7 |
0,7 |
0,7 |
0,7 |
0,87 |
У1002 |
Достаточность полученной информации для продолжения работы |
0,88 |
0,79 |
0,8 |
0,69 |
0,9 |
У1102 |
Легкость восприятия |
0,6 |
0,6 |
0,65 |
0,5 |
0,6 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
9 |
11 |
10 |
10 |
5.5 |
45.5 |
8 |
64 |
x2 |
4 |
7 |
1.5 |
4.5 |
3 |
20 |
-17.5 |
306.25 |
x3 |
11.5 |
9 |
13 |
10 |
8 |
51.5 |
14 |
196 |
x4 |
14 |
14 |
14 |
14 |
14 |
70 |
32.5 |
1056.25 |
x5 |
4 |
6 |
4 |
6 |
4 |
24 |
-13.5 |
182.25 |
x6 |
6 |
1.5 |
10 |
2 |
1.5 |
21 |
-16.5 |
272.25 |
x7 |
11.5 |
13 |
12 |
13 |
13 |
62.5 |
25 |
625 |
x8 |
8 |
10 |
7 |
10 |
7 |
42 |
4.5 |
20.25 |
x9 |
13 |
12 |
10 |
12 |
12 |
59 |
21.5 |
462.25 |
x10 |
7 |
4 |
8 |
7.5 |
9 |
35.5 |
-2 |
4 |
x11 |
1.5 |
4 |
5.5 |
7.5 |
5.5 |
24 |
-13.5 |
182.25 |
x12 |
4 |
4 |
3 |
4.5 |
10 |
25.5 |
-12 |
144 |
x13 |
10 |
8 |
5.5 |
3 |
11 |
37.5 |
0 |
0 |
x14 |
1.5 |
1.5 |
1.5 |
1 |
1.5 |
7 |
-30.5 |
930.25 |
∑ |
105 |
105 |
105 |
105 |
105 |
525 |
|
4445 |
где
Проверка
правильности составления матрицы на
основе исчисления контрольной
суммы:
Сумма
по столбцам матрицы равны между собой
и контрольной суммы, значит, матрица
составлена правильно.
Этап 4. Анализ
значимости исследуемых факторов.
В
данном примере факторы по значимости
распределились следующим образом
(табл.).
Расположение факторов по
значимости
Факторы |
Сумма рангов |
x14 |
7 |
x2 |
20 |
x6 |
21 |
x5 |
24 |
x11 |
24 |
x12 |
25.5 |
x10 |
35.5 |
x13 |
37.5 |
x8 |
42 |
x1 |
45.5 |
x3 |
51.5 |
x9 |
59 |
x7 |
62.5 |
x4 |
70 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 4445, n = 14, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(33-3) + (23-2)
+ (23-2)]/12 = 3
T2 = [(23-2) +
(33-3)]/12 = 2.5
T3 = [(33-3) +
(23-2) + (23-2)]/12 = 3
T4 =
[(33-3) + (23-2) + (23-2)]/12 = 3
T5
= [(23-2) + (23-2)]/12 = 1
∑Ti
= 3 + 2.5 + 3 + 3 + 1 = 12.5
W
= 0.79 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 14-1 = 13
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 51.36>
табличного (22.36203), то W = 0.79 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x14 = 1/7 = 0.143
x2 = 1/20
= 0.05
x6 = 1/21 = 0.0476
x5 = 1/24 =
0.0417
x11 = 1/24 = 0.0417
x12 =
1/25.5 = 0.0392
x10 = 1/35.5 = 0.0282
x13
= 1/37.5 = 0.0267
x8 = 1/42 = 0.0238
x1
= 1/45.5 = 0.022
x3 = 1/51.5 = 0.0194
x9
= 1/59 = 0.0169
x7 = 1/62.5 = 0.016
x4
= 1/70 = 0.0143
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x14 |
0.14 |
0.27 |
x2 |
0.05 |
0.0943 |
x6 |
0.0476 |
0.0898 |
x5 |
0.0417 |
0.0786 |
x11 |
0.0417 |
0.0786 |
x12 |
0.0392 |
0.0739 |
x10 |
0.0282 |
0.0531 |
x13 |
0.0267 |
0.0503 |
x8 |
0.0238 |
0.0449 |
x1 |
0.022 |
0.0414 |
x3 |
0.0194 |
0.0366 |
x9 |
0.0169 |
0.032 |
x7 |
0.016 |
0.0302 |
x4 |
0.0143 |
0.0269 |
Оценочные элементы фактора "удобство применения аналога 1"
Код элемента |
Наименование |
|
|
|
|
|
У0101 |
Возможность освоения программных средств по документации |
0,4 |
0,5 |
0,45 |
0,55 |
0,35 |
У0103 |
Возможность поэтапного освоения ПС |
0,2 |
0,4 |
0,32 |
0,43 |
0,4 |
У0201 |
Полнота и понятность документации для освоения |
0,5 |
0,54 |
0,52 |
0,54 |
0,54 |
У0202 |
Точность документации для освоения |
0,6 |
0,6 |
0,6 |
0,61 |
0,5 |
У0303 |
Наличие описания структуры функций ПС |
0,5 |
0,5 |
0,51 |
0,54 |
0,5 |
У0304 |
Наличие описания основных функций ПС |
0,7 |
0,55 |
0,76 |
0,6 |
0,5 |
У0309 |
Наличие описания пользовательских интерфейсов |
0,85 |
0,8 |
0,8 |
0,4 |
0,2 |
У0312 |
Наличие описания основных характеристик ПС |
0,48 |
0,32 |
0,5 |
0,32 |
0,3 |
У0402 |
Оценка оформления документации |
0,75 |
0,6 |
0,75 |
0,65 |
0,65 |
У0406 |
Ясность формулировок и описаний |
0,8 |
0,65 |
0,84 |
0,6 |
0,65 |
У0501 |
Оценка стиля изложения |
0,9 |
0,82 |
0,9 |
0,8 |
0,82 |
У0802 |
Легкость и быстрота загрузки и запуска программы |
0,5 |
0,56 |
0,5 |
0,56 |
0,56 |
У1002 |
Достаточность полученной информации для продолжения работы |
0,4 |
0,35 |
0,4 |
0,35 |
0,35 |
У1102 |
Легкость восприятия |
0,72 |
0,72 |
0,7 |
0,72 |
0,72 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
2.5 |
4.5 |
3 |
7 |
3.5 |
20.5 |
-17 |
289 |
x2 |
1 |
3 |
1 |
4 |
5 |
14 |
-23.5 |
552.25 |
x3 |
6 |
6 |
7 |
5.5 |
9 |
33.5 |
-4 |
16 |
x4 |
8 |
9.5 |
8 |
11 |
7 |
43.5 |
6 |
36 |
x5 |
6 |
4.5 |
6 |
5.5 |
7 |
29 |
-8.5 |
72.25 |
x6 |
9 |
7 |
11 |
9.5 |
7 |
43.5 |
6 |
36 |
x7 |
13 |
13 |
12 |
3 |
1 |
42 |
4.5 |
20.25 |
x8 |
4 |
1 |
4.5 |
1 |
2 |
12.5 |
-25 |
625 |
x9 |
11 |
9.5 |
10 |
12 |
11.5 |
54 |
16.5 |
272.25 |
x10 |
12 |
11 |
13 |
9.5 |
11.5 |
57 |
19.5 |
380.25 |
x11 |
14 |
14 |
14 |
14 |
14 |
70 |
32.5 |
1056.25 |
x12 |
6 |
8 |
4.5 |
8 |
10 |
36.5 |
-1 |
1 |
x13 |
2.5 |
2 |
2 |
2 |
3.5 |
12 |
-25.5 |
650.25 |
x14 |
10 |
12 |
9 |
13 |
13 |
57 |
19.5 |
380.25 |
∑ |
105 |
105 |
105 |
105 |
105 |
525 |
|
4387 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x13 |
12 |
x8 |
12.5 |
x2 |
14 |
x1 |
20.5 |
x5 |
29 |
x3 |
33.5 |
x12 |
36.5 |
x7 |
42 |
x4 |
43.5 |
x6 |
43.5 |
x9 |
54 |
x10 |
57 |
x14 |
57 |
x11 |
70 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 4387, n = 14, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) +
(33-3)]/12 = 2.5
T2 = [(23-2) +
(23-2)]/12 = 1
T3 = [(23-2)]/12
= 0.5
T4 = [(23-2) + (23-2)]/12
= 1
T5 = [(23-2) + (33-3) +
(23-2)]/12 = 3
∑Ti = 2.5 + 1 + 0.5 + 1 +
3 = 8
W
= 0.78 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 14-1 = 13
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 50.49>
табличного (22.36203), то W = 0.78 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x13 = 1/12 = 0.0833
x8 =
1/12.5 = 0.08
x2 = 1/14 = 0.0714
x1 =
1/20.5 = 0.0488
x5 = 1/29 = 0.0345
x3
= 1/33.5 = 0.0299
x12 = 1/36.5 = 0.0274
x7
= 1/42 = 0.0238
x4 = 1/43.5 = 0.023
x6
= 1/43.5 = 0.023
x9 = 1/54 = 0.0185
x10
= 1/57 = 0.0175
x14 = 1/57 = 0.0175
x11
= 1/70 = 0.0143
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x13 |
0.0833 |
0.16 |
x8 |
0.08 |
0.16 |
x2 |
0.0714 |
0.14 |
x1 |
0.0488 |
0.0951 |
x5 |
0.0345 |
0.0672 |
x3 |
0.0299 |
0.0582 |
x12 |
0.0274 |
0.0534 |
x7 |
0.0238 |
0.0464 |
x4 |
0.023 |
0.0448 |
x6 |
0.023 |
0.0448 |
x9 |
0.0185 |
0.0361 |
x10 |
0.0175 |
0.0342 |
x14 |
0.0175 |
0.0342 |
x11 |
0.0143 |
0.0279 |
Оценочные элементы фактора "удобство применения аналога 2"
Код элемента |
Наименование |
|
|
|
|
|
У0101 |
Возможность освоения программных средств по документации |
0,68 |
0,7 |
0,8 |
0,8 |
0,8 |
У0103 |
Возможность поэтапного освоения ПС |
0,75 |
0,73 |
0,73 |
0,75 |
0,75 |
У0201 |
Полнота и понятность документации для освоения |
0,7 |
0,9 |
0,9 |
0,8 |
0,8 |
У0202 |
Точность документации для освоения |
0,88 |
0,89 |
0,9 |
0,8 |
0,8 |
У0303 |
Наличие описания структуры функций ПС |
0,61 |
0,8 |
0,8 |
0,77 |
0,77 |
У0304 |
Наличие описания основных функций ПС |
0,58 |
0,8 |
0,78 |
0,58 |
0,58 |
У0309 |
Наличие описания пользовательских интерфейсов |
0,88 |
0,8 |
0,96 |
0,7 |
0,88 |
У0312 |
Наличие описания основных характеристик ПС |
0,65 |
0,69 |
0,7 |
0,6 |
0,72 |
У0402 |
Оценка оформления документации |
0,85 |
0,84 |
0,85 |
0,8 |
0,85 |
У0406 |
Ясность формулировок и описаний |
0,7 |
0,82 |
0,8 |
0,67 |
0,77 |
У0501 |
Оценка стиля изложения |
0,8 |
0,56 |
0,6 |
0,73 |
0,75 |
У0802 |
Легкость и быстрота загрузки и запуска программы |
0,73 |
0,6 |
0,6 |
0,69 |
0,69 |
У1002 |
Достаточность полученной информации для продолжения работы |
0,7 |
0,68 |
0,65 |
0,7 |
0,7 |
У1102 |
Легкость восприятия |
0,68 |
0,7 |
0,7 |
0,6 |
0,68 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
4.5 |
5.5 |
9 |
12.5 |
11 |
42.5 |
5 |
25 |
x2 |
10 |
7 |
6 |
9 |
6.5 |
38.5 |
1 |
1 |
x3 |
7 |
14 |
12.5 |
12.5 |
11 |
57 |
19.5 |
380.25 |
x4 |
13.5 |
13 |
12.5 |
12.5 |
11 |
62.5 |
25 |
625 |
x5 |
2 |
9 |
9 |
10 |
8.5 |
38.5 |
1 |
1 |
x6 |
1 |
9 |
7 |
1 |
1 |
19 |
-18.5 |
342.25 |
x7 |
13.5 |
9 |
14 |
6.5 |
14 |
57 |
19.5 |
380.25 |
x8 |
3 |
4 |
4.5 |
2.5 |
5 |
19 |
-18.5 |
342.25 |
x9 |
12 |
12 |
11 |
12.5 |
13 |
60.5 |
23 |
529 |
x10 |
7 |
11 |
9 |
4 |
8.5 |
39.5 |
2 |
4 |
x11 |
11 |
1 |
1.5 |
8 |
6.5 |
28 |
-9.5 |
90.25 |
x12 |
9 |
2 |
1.5 |
5 |
3 |
20.5 |
-17 |
289 |
x13 |
7 |
3 |
3 |
6.5 |
4 |
23.5 |
-14 |
196 |
x14 |
4.5 |
5.5 |
4.5 |
2.5 |
2 |
19 |
-18.5 |
342.25 |
∑ |
105 |
105 |
105 |
105 |
105 |
525 |
|
3547.5 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x6 |
19 |
x8 |
19 |
x14 |
19 |
x12 |
20.5 |
x13 |
23.5 |
x11 |
28 |
x2 |
38.5 |
x5 |
38.5 |
x10 |
39.5 |
x1 |
42.5 |
x3 |
57 |
x7 |
57 |
x9 |
60.5 |
x4 |
62.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 3547.5, n = 14, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (33-3)
+ (23-2)]/12 = 3
T2 = [(23-2) +
(33-3)]/12 = 2.5
T3 = [(33-3) +
(23-2) + (23-2) + (23-2)]/12 =
3.5
T4 = [(43-4) + (23-2) +
(23-2)]/12 = 6
T5 = [(33-3) +
(23-2) + (23-2)]/12 = 3
∑Ti =
3 + 2.5 + 3.5 + 6 + 3 = 18
W
= 0.63 говорит о наличии средней степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 14-1 = 13
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 41.19>
табличного (22.36203), то W = 0.63 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x6 = 1/19 = 0.0526
x8 =
1/19 = 0.0526
x14 = 1/19 = 0.0526
x12
= 1/20.5 = 0.0488
x13 = 1/23.5 = 0.0426
x11
= 1/28 = 0.0357
x2 = 1/38.5 = 0.026
x5
= 1/38.5 = 0.026
x10 = 1/39.5 = 0.0253
x1
= 1/42.5 = 0.0235
x3 = 1/57 = 0.0175
x7
= 1/57 = 0.0175
x9 = 1/60.5 = 0.0165
x4
= 1/62.5 = 0.016
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x6 |
0.0526 |
0.12 |
x8 |
0.0526 |
0.12 |
x14 |
0.0526 |
0.12 |
x12 |
0.0488 |
0.11 |
x13 |
0.0426 |
0.0939 |
x11 |
0.0357 |
0.0788 |
x2 |
0.026 |
0.0573 |
x5 |
0.026 |
0.0573 |
x10 |
0.0253 |
0.0558 |
x1 |
0.0235 |
0.0519 |
x3 |
0.0175 |
0.0387 |
x7 |
0.0175 |
0.0387 |
x9 |
0.0165 |
0.0365 |
x4 |
0.016 |
0.0353 |
Оценочные элементы фактора "эффективность ПИ"
Код элемента |
Наименование |
|
|
|
|
|
Э0102 |
Машинно-ориентированные функции |
0,77 |
0,78 |
0,87 |
0,8 |
0,78 |
Э0103 |
Функции ведения и управления |
0,8 |
0,81 |
0,7 |
0,8 |
0,81 |
Э0106 |
Функции защиты от несанкционированного доступа |
0,84 |
0,74 |
0,84 |
0,74 |
0,74 |
Э0107 |
Функции контроля доступа |
0,85 |
0,8 |
0,8 |
0,8 |
0,8 |
Э0201 |
Время выполнения программ |
0,7 |
0,76 |
0,72 |
0,76 |
0,86 |
Э0203 |
Время подготовки |
0,6 |
0,6 |
0,66 |
0,53 |
0,6 |
Э0301 |
Требуемый объем внутренней памяти |
0,45 |
0,45 |
0,5 |
0,5 |
0,45 |
Э0302 |
Требуемый объем внешней памяти |
0,34 |
0,45 |
0,4 |
0,55 |
0,45 |
Э0304 |
Требуемое базовое программное обеспечение |
0,97 |
0,97 |
0,9 |
0,9 |
0,97 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
5 |
6 |
8 |
7 |
5 |
31 |
6 |
36 |
x2 |
6 |
8 |
4 |
7 |
7 |
32 |
7 |
49 |
x3 |
7 |
4 |
7 |
4 |
4 |
26 |
1 |
1 |
x4 |
8 |
7 |
6 |
7 |
6 |
34 |
9 |
81 |
x5 |
4 |
5 |
5 |
5 |
8 |
27 |
2 |
4 |
x6 |
3 |
3 |
3 |
2 |
3 |
14 |
-11 |
121 |
x7 |
2 |
1.5 |
2 |
1 |
1.5 |
8 |
-17 |
289 |
x8 |
1 |
1.5 |
1 |
3 |
1.5 |
8 |
-17 |
289 |
x9 |
9 |
9 |
9 |
9 |
9 |
45 |
20 |
400 |
∑ |
45 |
45 |
45 |
45 |
45 |
225 |
|
1270 |
где
Проверка
правильности составления матрицы на
основе исчисления контрольной
суммы:
Сумма
по столбцам матрицы равны между собой
и контрольной суммы, значит, матрица
составлена правильно.
Этап 4. Анализ
значимости исследуемых факторов.
В
данном примере факторы по значимости
распределились следующим образом
(табл.).
Расположение факторов по
значимости
Факторы |
Сумма рангов |
x7 |
8 |
x8 |
8 |
x6 |
14 |
x3 |
26 |
x5 |
27 |
x1 |
31 |
x2 |
32 |
x4 |
34 |
x9 |
45 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1270, n = 9, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T2 = [(23-2)]/12 =
0.5
T4 = [(33-3)]/12 = 2
T5
= [(23-2)]/12 = 0.5
∑Ti = 0.5 + 2 + 0.5
= 3
W
= 0.86 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 9-1 = 8 и
при заданном уровне значимости α =
0.05
Так как χ2 расчетный 34.21>
табличного (15.50731), то W = 0.86 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x7 = 1/8 = 0.125
x8 = 1/8 =
0.125
x6 = 1/14 = 0.0714
x3 = 1/26 =
0.0385
x5 = 1/27 = 0.037
x1 = 1/31 =
0.0323
x2 = 1/32 = 0.0313
x4 = 1/34 =
0.0294
x9 = 1/45 = 0.0222
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x7 |
0.13 |
0.24 |
x8 |
0.13 |
0.24 |
x6 |
0.0714 |
0.14 |
x3 |
0.0385 |
0.0751 |
x5 |
0.037 |
0.0723 |
x1 |
0.0323 |
0.063 |
x2 |
0.0313 |
0.061 |
x4 |
0.0294 |
0.0574 |
x9 |
0.0222 |
0.0434 |
Оценочные элементы фактора "аналога 1"
Код элемента |
Наименование |
|
|
|
|
|
Э0102 |
Машинно-ориентированные функции |
0,35 |
0,35 |
0,3 |
0,32 |
0,31 |
Э0103 |
Функции ведения и управления |
0,2 |
0,4 |
0,32 |
0,4 |
0,4 |
Э0106 |
Функции защиты от несанкционированного доступа |
0,3 |
0,38 |
0,3 |
0,38 |
0,3 |
Э0107 |
Функции контроля доступа |
0,5 |
0,51 |
0,65 |
0,4 |
0,51 |
Э0201 |
Время выполнения программ |
0,87 |
0,8 |
0,7 |
0,7 |
0,8 |
Э0203 |
Время подготовки |
0,8 |
0,82 |
0,85 |
0,8 |
0,82 |
Э0301 |
Требуемый объем внутренней памяти |
0,2 |
0,2 |
0,25 |
0,32 |
0,2 |
Э0302 |
Требуемый объем внешней памяти |
0,3 |
0,31 |
0,3 |
0,31 |
0,31 |
Э0304 |
Требуемое базовое программное обеспечение |
0,8 |
0,76 |
0,78 |
0,6 |
0,76 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
5 |
3 |
3 |
2.5 |
3.5 |
17 |
-8 |
64 |
x2 |
1.5 |
5 |
5 |
5.5 |
5 |
22 |
-3 |
9 |
x3 |
3.5 |
4 |
3 |
4 |
2 |
16.5 |
-8.5 |
72.25 |
x4 |
6 |
6 |
6 |
5.5 |
6 |
29.5 |
4.5 |
20.25 |
x5 |
9 |
8 |
7 |
8 |
8 |
40 |
15 |
225 |
x6 |
7.5 |
9 |
9 |
9 |
9 |
43.5 |
18.5 |
342.25 |
x7 |
1.5 |
1 |
1 |
2.5 |
1 |
7 |
-18 |
324 |
x8 |
3.5 |
2 |
3 |
1 |
3.5 |
13 |
-12 |
144 |
x9 |
7.5 |
7 |
8 |
7 |
7 |
36.5 |
11.5 |
132.25 |
∑ |
45 |
45 |
45 |
45 |
45 |
225 |
|
1333 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x7 |
7 |
x8 |
13 |
x3 |
16.5 |
x1 |
17 |
x2 |
22 |
x4 |
29.5 |
x9 |
36.5 |
x5 |
40 |
x6 |
43.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1333, n = 9, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (23-2)
+ (23-2)]/12 = 1.5
T3 = [(33-3)]/12
= 2
T4 = [(23-2) + (23-2)]/12 =
1
T5 = [(23-2)]/12 = 0.5
∑Ti
= 1.5 + 2 + 1 + 0.5 = 5
W
= 0.9 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 9-1 = 8 и
при заданном уровне значимости α =
0.05
Так как χ2 расчетный 36.15>
табличного (15.50731), то W = 0.9 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x7 = 1/7 = 0.143
x8 = 1/13
= 0.0769
x3 = 1/16.5 = 0.0606
x1 =
1/17 = 0.0588
x2 = 1/22 = 0.0455
x4 =
1/29.5 = 0.0339
x9 = 1/36.5 = 0.0274
x5
= 1/40 = 0.025
x6 = 1/43.5 = 0.023
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x7 |
0.14 |
0.29 |
x8 |
0.0769 |
0.16 |
x3 |
0.0606 |
0.12 |
x1 |
0.0588 |
0.12 |
x2 |
0.0455 |
0.092 |
x4 |
0.0339 |
0.0686 |
x9 |
0.0274 |
0.0555 |
x5 |
0.025 |
0.0506 |
x6 |
0.023 |
0.0465 |
Оценочные элементы фактора "эффективность аналога 2"
Код элемента |
Наименование |
|
|
|
|
|
Э0102 |
Машинно-ориентированные функции |
0,45 |
0,5 |
0,45 |
0,45 |
0,45 |
Э0103 |
Функции ведения и управления |
0,69 |
0,55 |
0,75 |
0,6 |
0,6 |
Э0106 |
Функции защиты от несанкционированного доступа |
0,45 |
0,45 |
0,45 |
0,42 |
0,42 |
Э0107 |
Функции контроля доступа |
0,52 |
0,51 |
0,5 |
0,5 |
0,52 |
Э0201 |
Время выполнения программ |
0,83 |
0,71 |
0,82 |
0,75 |
0,8 |
Э0203 |
Время подготовки |
0,81 |
0,85 |
0,8 |
0,78 |
0,81 |
Э0301 |
Требуемый объем внутренней памяти |
0,24 |
0,22 |
0,22 |
0,44 |
0,24 |
Э0302 |
Требуемый объем внешней памяти |
0,33 |
0,3 |
0,3 |
0,4 |
0,33 |
Э0304 |
Требуемое базовое программное обеспечение |
0,8 |
0,8 |
0,8 |
0,83 |
0,8 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
3.5 |
4 |
3.5 |
4 |
4 |
19 |
-6 |
36 |
x2 |
6 |
6 |
6 |
6 |
6 |
30 |
5 |
25 |
x3 |
3.5 |
3 |
3.5 |
2 |
3 |
15 |
-10 |
100 |
x4 |
5 |
5 |
5 |
5 |
5 |
25 |
0 |
0 |
x5 |
9 |
7 |
9 |
7 |
7.5 |
39.5 |
14.5 |
210.25 |
x6 |
8 |
9 |
7.5 |
8 |
9 |
41.5 |
16.5 |
272.25 |
x7 |
1 |
1 |
1 |
3 |
1 |
7 |
-18 |
324 |
x8 |
2 |
2 |
2 |
1 |
2 |
9 |
-16 |
256 |
x9 |
7 |
8 |
7.5 |
9 |
7.5 |
39 |
14 |
196 |
∑ |
45 |
45 |
45 |
45 |
45 |
225 |
|
1419.5 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x7 |
7 |
x8 |
9 |
x3 |
15 |
x1 |
19 |
x4 |
25 |
x2 |
30 |
x9 |
39 |
x5 |
39.5 |
x6 |
41.5 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1419.5, n = 9, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2)]/12 =
0.5
T3 = [(23-2) + (23-2)]/12 =
1
T5 = [(23-2)]/12 = 0.5
∑Ti
= 0.5 + 1 + 0.5 = 2
W
= 0.95 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 9-1 = 8 и
при заданном уровне значимости α =
0.05
Так как χ2 расчетный 38.11>
табличного (15.50731), то W = 0.95 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x7 = 1/7 = 0.143
x8 = 1/9 =
0.111
x3 = 1/15 = 0.0667
x1 = 1/19 =
0.0526
x4 = 1/25 = 0.04
x2 = 1/30 =
0.0333
x9 = 1/39 = 0.0256
x5 = 1/39.5
= 0.0253
x6 = 1/41.5 = 0.0241
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x7 |
0.14 |
0.27 |
x8 |
0.11 |
0.21 |
x3 |
0.0667 |
0.13 |
x1 |
0.0526 |
0.1 |
x4 |
0.04 |
0.0767 |
x2 |
0.0333 |
0.0639 |
x9 |
0.0256 |
0.0492 |
x5 |
0.0253 |
0.0485 |
x6 |
0.0241 |
0.0462 |
Оценочные элементы фактора " универсальность ПИ"
Код элемента |
Наименование |
|
|
|
|
|
Г0101 |
Оценка числа потенциальных пользователей |
0,88 |
0,86 |
0,76 |
0,6 |
0,86 |
Г0102 |
Оценка числа функций ПС |
0,7 |
0,74 |
0,67 |
0,71 |
0,74 |
Г0103 |
Насколько набор функций удовлетворяет требованиям пользователя |
0,89 |
0,89 |
0,9 |
0,8 |
0,89 |
Г0601 |
Использование стандартных интерфейсных программ |
0,73 |
0,8 |
0,76 |
0,88 |
0,8 |
Г0801 |
Применение специальных языков программирования |
0,7 |
0,73 |
0,66 |
0,71 |
0,73 |
Г0802 |
Оценка зависимости программы от программ операционной системы |
0,8 |
0,82 |
0,78 |
0,8 |
0,82 |
Г0803 |
Зависимость от других программных средств |
0,2 |
0,2 |
0,32 |
0,3 |
0,2 |
Г1201 |
Наличие заголовка в программе |
0,2 |
0,29 |
0,3 |
0,2 |
0,29 |
Г1208 |
Наличие общих комментариев к программам |
0,76 |
0,7 |
0,7 |
0,8 |
0,7 |
Г1405 |
Использование общих областей памяти |
0,8 |
0,7 |
0,68 |
0,65 |
0,7 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
9 |
9 |
7.5 |
3 |
9 |
37.5 |
10 |
100 |
x2 |
3.5 |
6 |
4 |
5.5 |
6 |
25 |
-2.5 |
6.25 |
x3 |
10 |
10 |
10 |
8 |
10 |
48 |
20.5 |
420.25 |
x4 |
5 |
7 |
7.5 |
10 |
7 |
36.5 |
9 |
81 |
x5 |
3.5 |
5 |
3 |
5.5 |
5 |
22 |
-5.5 |
30.25 |
x6 |
7.5 |
8 |
9 |
8 |
8 |
40.5 |
13 |
169 |
x7 |
1.5 |
1 |
2 |
2 |
1 |
7.5 |
-20 |
400 |
x8 |
1.5 |
2 |
1 |
1 |
2 |
7.5 |
-20 |
400 |
x9 |
6 |
3.5 |
6 |
8 |
3.5 |
27 |
-0.5 |
0.25 |
x10 |
7.5 |
3.5 |
5 |
4 |
3.5 |
23.5 |
-4 |
16 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1623 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x7 |
7.5 |
x8 |
7.5 |
x5 |
22 |
x10 |
23.5 |
x2 |
25 |
x9 |
27 |
x4 |
36.5 |
x1 |
37.5 |
x6 |
40.5 |
x3 |
48 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1623, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (23-2)
+ (23-2)]/12 = 1.5
T2 = [(23-2)]/12
= 0.5
T3 = [(23-2)]/12 = 0.5
T4
= [(23-2) + (33-3)]/12 = 2.5
T5
= [(23-2)]/12 = 0.5
∑Ti = 1.5 + 0.5 +
0.5 + 2.5 + 0.5 = 5.5
W
= 0.8 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 35.89>
табличного (16.91898), то W = 0.8 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x7 = 1/7.5 = 0.133
x8 =
1/7.5 = 0.133
x5 = 1/22 = 0.0455
x10
= 1/23.5 = 0.0426
x2 = 1/25 = 0.04
x9
= 1/27 = 0.037
x4 = 1/36.5 = 0.0274
x1
= 1/37.5 = 0.0267
x6 = 1/40.5 = 0.0247
x3
= 1/48 = 0.0208
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x7 |
0.13 |
0.25 |
x8 |
0.13 |
0.25 |
x5 |
0.0455 |
0.0856 |
x10 |
0.0426 |
0.0801 |
x2 |
0.04 |
0.0753 |
x9 |
0.037 |
0.0697 |
x4 |
0.0274 |
0.0516 |
x1 |
0.0267 |
0.0502 |
x6 |
0.0247 |
0.0465 |
x3 |
0.0208 |
0.0392 |
Оценочные элементы фактора " универсальность аналога 1"
Код элемента |
Наименование |
|
|
|
|
|
Г0101 |
Оценка числа потенциальных пользователей |
0,88 |
0,86 |
0,76 |
0,6 |
0,86 |
Г0102 |
Оценка числа функций ПС |
0,7 |
0,74 |
0,67 |
0,71 |
0,74 |
Г0103 |
Насколько набор функций удовлетворяет требованиям пользователя |
0,89 |
0,89 |
0,9 |
0,8 |
0,89 |
Г0601 |
Использование стандартных интерфейсных программ |
0,73 |
0,8 |
0,76 |
0,88 |
0,8 |
Г0801 |
Применение специальных языков программирования |
0,7 |
0,73 |
0,66 |
0,71 |
0,73 |
Г0802 |
Оценка зависимости программы от программ операционной системы |
0,8 |
0,82 |
0,78 |
0,8 |
0,82 |
Г0803 |
Зависимость от других программных средств |
0,2 |
0,2 |
0,32 |
0,3 |
0,2 |
Г1201 |
Наличие заголовка в программе |
0,2 |
0,29 |
0,3 |
0,2 |
0,29 |
Г1208 |
Наличие общих комментариев к программам |
0,76 |
0,7 |
0,7 |
0,8 |
0,7 |
Г1405 |
Использование общих областей памяти |
0,8 |
0,7 |
0,68 |
0,65 |
0,7 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
9 |
9 |
7.5 |
6 |
9 |
40.5 |
13 |
169 |
x2 |
4 |
3 |
3 |
1 |
3 |
14 |
-13.5 |
182.25 |
x3 |
10 |
10 |
10 |
10 |
10 |
50 |
22.5 |
506.25 |
x4 |
8 |
7.5 |
7.5 |
7 |
7.5 |
37.5 |
10 |
100 |
x5 |
6.5 |
6 |
5 |
3 |
6 |
26.5 |
-1 |
1 |
x6 |
1.5 |
2 |
1.5 |
5 |
2 |
12 |
-15.5 |
240.25 |
x7 |
6.5 |
7.5 |
7.5 |
9 |
7.5 |
38 |
10.5 |
110.25 |
x8 |
5 |
4.5 |
4 |
8 |
4.5 |
26 |
-1.5 |
2.25 |
x9 |
3 |
4.5 |
7.5 |
3 |
4.5 |
22.5 |
-5 |
25 |
x10 |
1.5 |
1 |
1.5 |
3 |
1 |
8 |
-19.5 |
380.25 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1716.5 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x10 |
8 |
x6 |
12 |
x2 |
14 |
x9 |
22.5 |
x8 |
26 |
x5 |
26.5 |
x4 |
37.5 |
x7 |
38 |
x1 |
40.5 |
x3 |
50 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1716.5, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) +
(23-2)]/12 = 1
T2 = [(23-2) +
(23-2)]/12 = 1
T3 = [(43-4) +
(23-2)]/12 = 5.5
T4 = [(33-3)]/12
= 2
T5 = [(23-2) + (23-2)]/12 =
1
∑Ti = 1 + 1 + 5.5 + 2 + 1 = 10.5
W
= 0.85 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 38.43>
табличного (16.91898), то W = 0.85 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x10 = 1/8 = 0.125
x6 = 1/12
= 0.0833
x2 = 1/14 = 0.0714
x9 =
1/22.5 = 0.0444
x8 = 1/26 = 0.0385
x5
= 1/26.5 = 0.0377
x4 = 1/37.5 = 0.0267
x7
= 1/38 = 0.0263
x1 = 1/40.5 = 0.0247
x3
= 1/50 = 0.02
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x10 |
0.13 |
0.25 |
x6 |
0.0833 |
0.17 |
x2 |
0.0714 |
0.14 |
x9 |
0.0444 |
0.0892 |
x8 |
0.0385 |
0.0772 |
x5 |
0.0377 |
0.0758 |
x4 |
0.0267 |
0.0535 |
x7 |
0.0263 |
0.0528 |
x1 |
0.0247 |
0.0496 |
x3 |
0.02 |
0.0402 |
Оценочные элементы фактора " универсальность аналога 2"
Код элемента |
Наименование |
|
|
|
|
|
Г0101 |
Оценка числа потенциальных пользователей |
0,88 |
0,86 |
0,76 |
0,6 |
0,86 |
Г0102 |
Оценка числа функций ПС |
0,7 |
0,74 |
0,67 |
0,71 |
0,74 |
Г0103 |
Насколько набор функций удовлетворяет требованиям пользователя |
0,89 |
0,89 |
0,9 |
0,8 |
0,89 |
Г0601 |
Использование стандартных интерфейсных программ |
0,73 |
0,8 |
0,76 |
0,88 |
0,8 |
Г0801 |
Применение специальных языков программирования |
0,7 |
0,73 |
0,66 |
0,71 |
0,73 |
Г0802 |
Оценка зависимости программы от программ операционной системы |
0,8 |
0,82 |
0,78 |
0,8 |
0,82 |
Г0803 |
Зависимость от других программных средств |
0,2 |
0,2 |
0,32 |
0,3 |
0,2 |
Г1201 |
Наличие заголовка в программе |
0,2 |
0,29 |
0,3 |
0,2 |
0,29 |
Г1208 |
Наличие общих комментариев к программам |
0,76 |
0,7 |
0,7 |
0,8 |
0,7 |
Г1405 |
Использование общих областей памяти |
0,8 |
0,7 |
0,68 |
0,65 |
0,7 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
8.5 |
8 |
9 |
8 |
8.5 |
42 |
14.5 |
210.25 |
x2 |
5 |
4 |
3.5 |
4 |
5 |
21.5 |
-6 |
36 |
x3 |
10 |
10 |
10 |
10 |
10 |
50 |
22.5 |
506.25 |
x4 |
8.5 |
9 |
8 |
9 |
8.5 |
43 |
15.5 |
240.25 |
x5 |
6 |
6 |
6 |
6 |
6 |
30 |
2.5 |
6.25 |
x6 |
1 |
2 |
1 |
5 |
1 |
10 |
-17.5 |
306.25 |
x7 |
3 |
5 |
3.5 |
2 |
3 |
16.5 |
-11 |
121 |
x8 |
4 |
3 |
5 |
3 |
4 |
19 |
-8.5 |
72.25 |
x9 |
7 |
7 |
7 |
7 |
7 |
35 |
7.5 |
56.25 |
x10 |
2 |
1 |
2 |
1 |
2 |
8 |
-19.5 |
380.25 |
∑ |
55 |
55 |
55 |
55 |
55 |
275 |
|
1935 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x10 |
8 |
x6 |
10 |
x7 |
16.5 |
x8 |
19 |
x2 |
21.5 |
x5 |
30 |
x9 |
35 |
x1 |
42 |
x4 |
43 |
x3 |
50 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 1935, n = 10, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2)]/12 =
0.5
T3 = [(23-2)]/12 = 0.5
T5
= [(23-2)]/12 = 0.5
∑Ti = 0.5 + 0.5 +
0.5 = 1.5
W
= 0.94 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 10-1 = 9
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 42.37>
табличного (16.91898), то W = 0.94 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x10 = 1/8 = 0.125
x6 = 1/10
= 0.1
x7 = 1/16.5 = 0.0606
x8 = 1/19
= 0.0526
x2 = 1/21.5 = 0.0465
x5 =
1/30 = 0.0333
x9 = 1/35 = 0.0286
x1 =
1/42 = 0.0238
x4 = 1/43 = 0.0233
x3 =
1/50 = 0.02
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x10 |
0.13 |
0.24 |
x6 |
0.1 |
0.19 |
x7 |
0.0606 |
0.12 |
x8 |
0.0526 |
0.1 |
x2 |
0.0465 |
0.0905 |
x5 |
0.0333 |
0.0649 |
x9 |
0.0286 |
0.0556 |
x1 |
0.0238 |
0.0463 |
x4 |
0.0233 |
0.0453 |
x3 |
0.02 |
0.0389 |
Оценочные элементы фактора " корректность ПИ"
Код элемента |
Наименование |
|
|
|
|
|
К0101 |
Наличие всех необходимых документов для понимания и использования ПС |
0,87 |
0,7 |
0,67 |
0,7 |
0,7 |
К0102 |
Наличие описания и схемы иерархии модулей программы |
0,9 |
0,87 |
0,83 |
0,9 |
0,88 |
К0103 |
Наличие описания основных функций |
0,76 |
0,77 |
0,76 |
0,7 |
0,7 |
К0202 |
Реализация всех основных функций |
0,98 |
0,9 |
0,8 |
0,88 |
0,9 |
К0205 |
Реализация всех взаимосвязей в системе |
0,8 |
0,8 |
0,83 |
0,8 |
0,8 |
К0206 |
Реализация всех интерфейсов между модулями |
0,79 |
0,7 |
0,79 |
0,65 |
0,65 |
К0306 |
Отсутствие противоречий в описании интерфейсов с пользователем |
0,8 |
0,78 |
0,83 |
0,88 |
0,78 |
К0401 |
Отсутствие противоречий в выполнении основных функций |
0,87 |
0,87 |
0,89 |
0,87 |
0,8 |
К0701 |
Комплектность документации в соответствии со стандартами |
0,9 |
0,92 |
0,7 |
0,92 |
0,9 |
К0703 |
Правильное оформление титульных и заглавных листов документов |
0,98 |
0,88 |
0,8 |
0,8 |
0,88 |
К0705 |
Полнота содержания разделов в соответствии со стандартами |
0,88 |
0,89 |
0,81 |
0,89 |
0,89 |
К0801 |
Соответствии организации и вычислительного процесса эксплуатационной документации |
0,82 |
0,92 |
0,82 |
0,92 |
0,97 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
6.5 |
1.5 |
1 |
2.5 |
2.5 |
14 |
-18.5 |
342.25 |
x2 |
9.5 |
6.5 |
10 |
10 |
7.5 |
43.5 |
11 |
121 |
x3 |
1 |
3 |
3 |
2.5 |
2.5 |
12 |
-20.5 |
420.25 |
x4 |
11.5 |
10 |
5.5 |
7.5 |
10.5 |
45 |
12.5 |
156.25 |
x5 |
3.5 |
5 |
10 |
4.5 |
5.5 |
28.5 |
-4 |
16 |
x6 |
2 |
1.5 |
4 |
1 |
1 |
9.5 |
-23 |
529 |
x7 |
3.5 |
4 |
10 |
7.5 |
4 |
29 |
-3.5 |
12.25 |
x8 |
6.5 |
6.5 |
12 |
6 |
5.5 |
36.5 |
4 |
16 |
x9 |
9.5 |
11.5 |
2 |
11.5 |
10.5 |
45 |
12.5 |
156.25 |
x10 |
11.5 |
8 |
5.5 |
4.5 |
7.5 |
37 |
4.5 |
20.25 |
x11 |
8 |
9 |
7 |
9 |
9 |
42 |
9.5 |
90.25 |
x12 |
5 |
11.5 |
8 |
11.5 |
12 |
48 |
15.5 |
240.25 |
∑ |
78 |
78 |
78 |
78 |
78 |
390 |
|
2120 |
где
Проверка
правильности составления матрицы на
основе исчисления контрольной
суммы:
Сумма
по столбцам матрицы равны между собой
и контрольной суммы, значит, матрица
составлена правильно.
Этап 4. Анализ
значимости исследуемых факторов.
В
данном примере факторы по значимости
распределились следующим образом
(табл.).
Расположение факторов по
значимости
Факторы |
Сумма рангов |
x6 |
9.5 |
x3 |
12 |
x1 |
14 |
x5 |
28.5 |
x7 |
29 |
x8 |
36.5 |
x10 |
37 |
x11 |
42 |
x2 |
43.5 |
x4 |
45 |
x9 |
45 |
x12 |
48 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 2120, n = 12, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (23-2)
+ (23-2) + (23-2)]/12 = 2
T2 =
[(23-2) + (23-2) + (23-2)]/12 =
1.5
T3 = [(33-3) + (23-2)]/12 =
2.5
T4 = [(23-2) + (23-2) +
(23-2) + (23-2)]/12 = 2
T5 =
[(23-2) + (23-2) + (23-2) +
(23-2)]/12 = 2
∑Ti = 2 + 1.5 + 2.5 + 2 +
2 = 10
W
= 0.6 говорит о наличии средней степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 12-1 = 11
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 33.08>
табличного (19.67514), то W = 0.6 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x6 = 1/9.5 = 0.105
x3 =
1/12 = 0.0833
x1 = 1/14 = 0.0714
x5 =
1/28.5 = 0.0351
x7 = 1/29 = 0.0345
x8
= 1/36.5 = 0.0274
x10 = 1/37 = 0.027
x11
= 1/42 = 0.0238
x2 = 1/43.5 = 0.023
x4
= 1/45 = 0.0222
x9 = 1/45 = 0.0222
x12
= 1/48 = 0.0208
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x6 |
0.11 |
0.21 |
x3 |
0.0833 |
0.17 |
x1 |
0.0714 |
0.14 |
x5 |
0.0351 |
0.0707 |
x7 |
0.0345 |
0.0695 |
x8 |
0.0274 |
0.0552 |
x10 |
0.027 |
0.0545 |
x11 |
0.0238 |
0.048 |
x2 |
0.023 |
0.0463 |
x4 |
0.0222 |
0.0448 |
x9 |
0.0222 |
0.0448 |
x12 |
0.0208 |
0.042 |
Оценочные элементы фактора " корректность аналога 1"
Код элемента |
Наименование |
|
|
|
|
|
К0101 |
Наличие всех необходимых документов для понимания и использования ПС |
0,3 |
0,3 |
0,43 |
0,33 |
0,3 |
К0102 |
Наличие описания и схемы иерархии модулей программы |
0,75 |
0,6 |
0,7 |
0,67 |
0,6 |
К0103 |
Наличие описания основных функций |
0,3 |
0,3 |
0,3 |
0,3 |
0,3 |
К0202 |
Реализация всех основных функций |
0,45 |
0,5 |
0,45 |
0,5 |
0,5 |
К0205 |
Реализация всех взаимосвязей в системе |
0,5 |
0,65 |
0,55 |
0,6 |
0,65 |
К0206 |
Реализация всех интерфейсов между модулями |
0,7 |
0,7 |
0,83 |
0,7 |
0,4 |
К0306 |
Отсутствие противоречий в описании интерфейсов с пользователем |
0,6 |
0,66 |
0,6 |
0,66 |
0,4 |
К0401 |
Отсутствие противоречий в выполнении основных функций |
0,8 |
0,56 |
0,78 |
0,6 |
0,55 |
К0701 |
Комплектность документации в соответствии со стандартами |
0,71 |
0,75 |
0,4 |
0,75 |
0,75 |
К0703 |
Правильное оформление титульных и заглавных листов документов |
0,7 |
0,71 |
0,6 |
0,71 |
0,76 |
К0705 |
Полнота содержания разделов в соответствии со стандартами |
0,4 |
0,44 |
0,4 |
0,45 |
0,44 |
К0801 |
Соответствии организации и вычислительного процесса эксплуатационной документации |
0,5 |
0,53 |
0,5 |
0,5 |
0,53 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
1.5 |
1.5 |
4 |
2 |
1.5 |
10.5 |
-22 |
484 |
x2 |
11 |
7 |
10 |
9 |
9 |
46 |
13.5 |
182.25 |
x3 |
1.5 |
1.5 |
1 |
1 |
1.5 |
6.5 |
-26 |
676 |
x4 |
4 |
4 |
5 |
4.5 |
6 |
23.5 |
-9 |
81 |
x5 |
5.5 |
8 |
7 |
6.5 |
10 |
37 |
4.5 |
20.25 |
x6 |
8.5 |
10 |
12 |
10 |
3.5 |
44 |
11.5 |
132.25 |
x7 |
7 |
9 |
8.5 |
8 |
3.5 |
36 |
3.5 |
12.25 |
x8 |
12 |
6 |
11 |
6.5 |
8 |
43.5 |
11 |
121 |
x9 |
10 |
12 |
2.5 |
12 |
11 |
47.5 |
15 |
225 |
x10 |
8.5 |
11 |
8.5 |
11 |
12 |
51 |
18.5 |
342.25 |
x11 |
3 |
3 |
2.5 |
3 |
5 |
16.5 |
-16 |
256 |
x12 |
5.5 |
5 |
6 |
4.5 |
7 |
28 |
-4.5 |
20.25 |
∑ |
78 |
78 |
78 |
78 |
78 |
390 |
|
2552.5 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x3 |
6.5 |
x1 |
10.5 |
x11 |
16.5 |
x4 |
23.5 |
x12 |
28 |
x7 |
36 |
x5 |
37 |
x8 |
43.5 |
x6 |
44 |
x2 |
46 |
x9 |
47.5 |
x10 |
51 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 2552.5, n = 12, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(23-2) + (23-2)
+ (23-2)]/12 = 1.5
T2 = [(23-2)]/12
= 0.5
T3 = [(23-2) + (23-2)]/12
= 1
T4 = [(23-2) + (23-2)]/12 =
1
T5 = [(23-2) + (23-2)]/12 =
1
∑Ti = 1.5 + 0.5 + 1 + 1 + 1 = 5
W
= 0.72 говорит о наличии высокой степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 12-1 = 11
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 39.55>
табличного (19.67514), то W = 0.72 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x3 = 1/6.5 = 0.154
x1 =
1/10.5 = 0.0952
x11 = 1/16.5 = 0.0606
x4
= 1/23.5 = 0.0426
x12 = 1/28 = 0.0357
x7
= 1/36 = 0.0278
x5 = 1/37 = 0.027
x8
= 1/43.5 = 0.023
x6 = 1/44 = 0.0227
x2
= 1/46 = 0.0217
x9 = 1/47.5 = 0.0211
x10
= 1/51 = 0.0196
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x3 |
0.15 |
0.28 |
x1 |
0.0952 |
0.17 |
x11 |
0.0606 |
0.11 |
x4 |
0.0426 |
0.0772 |
x12 |
0.0357 |
0.0648 |
x7 |
0.0278 |
0.0504 |
x5 |
0.027 |
0.0491 |
x8 |
0.023 |
0.0417 |
x6 |
0.0227 |
0.0413 |
x2 |
0.0217 |
0.0395 |
x9 |
0.0211 |
0.0382 |
x10 |
0.0196 |
0.0356 |
Оценочные элементы фактора " корректность аналога 2"
Код элемента |
Наименование |
|
|
|
|
|
К0101 |
Наличие всех необходимых документов для понимания и использования ПС |
0,69 |
0,79 |
0,79 |
0,6 |
0,69 |
К0102 |
Наличие описания и схемы иерархии модулей программы |
0,76 |
0,82 |
0,82 |
0,84 |
0,8 |
К0103 |
Наличие описания основных функций |
0,7 |
0,7 |
0,7 |
0,6 |
0,7 |
К0202 |
Реализация всех основных функций |
0,7 |
0,6 |
0,69 |
0,67 |
0,7 |
К0205 |
Реализация всех взаимосвязей в системе |
0,67 |
0,7 |
0,7 |
0,69 |
0,67 |
К0206 |
Реализация всех интерфейсов между модулями |
0,6 |
0,76 |
0,76 |
0,71 |
0,86 |
К0306 |
Отсутствие противоречий в описании интерфейсов с пользователем |
0,7 |
0,8 |
0,79 |
0,79 |
0,79 |
К0401 |
Отсутствие противоречий в выполнении основных функций |
0,7 |
0,88 |
0,8 |
0,78 |
0,78 |
К0701 |
Комплектность документации в соответствии со стандартами |
0,85 |
0,64 |
0,85 |
0,83 |
0,83 |
К0703 |
Правильное оформление титульных и заглавных листов документов |
0,89 |
0,7 |
0,9 |
0,89 |
0,89 |
К0705 |
Полнота содержания разделов в соответствии со стандартами |
0,73 |
0,67 |
0,73 |
0,73 |
0,73 |
К0801 |
Соответствии организации и вычислительного процесса эксплуатационной документации |
0,77 |
0,75 |
0,77 |
0,71 |
0,77 |
Матрица рангов
Факторы / Эксперты |
1 |
2 |
3 |
4 |
5 |
Сумма рангов |
d |
d2 |
x1 |
3 |
9 |
7.5 |
1.5 |
2 |
23 |
-9.5 |
90.25 |
x2 |
9 |
11 |
10 |
11 |
9 |
50 |
17.5 |
306.25 |
x3 |
5.5 |
5 |
2.5 |
1.5 |
3.5 |
18 |
-14.5 |
210.25 |
x4 |
5.5 |
1 |
1 |
3 |
3.5 |
14 |
-18.5 |
342.25 |
x5 |
2 |
5 |
2.5 |
4 |
1 |
14.5 |
-18 |
324 |
x6 |
1 |
8 |
5 |
5.5 |
11 |
30.5 |
-2 |
4 |
x7 |
5.5 |
10 |
7.5 |
9 |
8 |
40 |
7.5 |
56.25 |
x8 |
5.5 |
12 |
9 |
8 |
7 |
41.5 |
9 |
81 |
x9 |
11 |
2 |
11 |
10 |
10 |
44 |
11.5 |
132.25 |
x10 |
12 |
5 |
12 |
12 |
12 |
53 |
20.5 |
420.25 |
x11 |
8 |
3 |
4 |
7 |
5 |
27 |
-5.5 |
30.25 |
x12 |
10 |
7 |
6 |
5.5 |
6 |
34.5 |
2 |
4 |
∑ |
78 |
78 |
78 |
78 |
78 |
390 |
|
2001 |
где Проверка правильности составления матрицы на основе исчисления контрольной суммы: Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно. Этап 4. Анализ значимости исследуемых факторов. В данном примере факторы по значимости распределились следующим образом (табл.). Расположение факторов по значимости
Факторы |
Сумма рангов |
x4 |
14 |
x5 |
14.5 |
x3 |
18 |
x1 |
23 |
x11 |
27 |
x6 |
30.5 |
x12 |
34.5 |
x7 |
40 |
x8 |
41.5 |
x9 |
44 |
x2 |
50 |
x10 |
53 |
Этап 5. Оценка средней степени
согласованности мнений всех
экспертов.
Воспользуемся коэффициентом
конкордации для случая, когда имеются
связанные ранги (одинаковые значения
рангов в оценках одного эксперта):
где
S = 2001, n = 12, m = 5
Li
- число связок (видов повторяющихся
элементов) в оценках i-го эксперта, tl
- количество элементов в l-й связке для
i-го эксперта (количество повторяющихся
элементов).
T1 = [(43-4)]/12 =
5
T2 = [(33-3)]/12 = 2
T3
= [(23-2) + (23-2)]/12 = 1
T4 =
[(23-2) + (23-2)]/12 = 1
T5 =
[(23-2)]/12 = 0.5
∑Ti = 5 + 2 + 1 + 1 +
0.5 = 9.5
W
= 0.57 говорит о наличии средней степени
согласованности мнений экспертов.
Этап
6. Оценка значимости коэффициента
конкордации.
Для этой цели исчислим
критерий согласования Пирсона:
Вычисленный
χ2 сравним с табличным значением
для числа степеней свободы K = n-1 = 12-1 = 11
и при заданном уровне значимости α =
0.05
Так как χ2 расчетный 31.2>
табличного (19.67514), то W = 0.57 - величина не
случайная, а потому полученные результаты
имеют смысл и могут использоваться в
дальнейших исследованиях.
Этап 7.
Подготовка решения экспертной комиссии.
На основе получения суммы рангов
(табл.) можно вычислить показатели
весомости рассмотренных параметров.
Для этого произведем следующие вычисления.
Сначала по каждому параметру вычислим
величины, обратные сумме рангов, то
есть:
x4 = 1/14 = 0.0714
x5 =
1/14.5 = 0.069
x3 = 1/18 = 0.0556
x1
= 1/23 = 0.0435
x11 = 1/27 = 0.037
x6
= 1/30.5 = 0.0328
x12 = 1/34.5 = 0.029
x7
= 1/40 = 0.025
x8 = 1/41.5 = 0.0241
x9
= 1/44 = 0.0227
x2 = 1/50 = 0.02
x10
= 1/53 = 0.0189
Факторы |
Величины, обратные сумме рангов |
Коэффициенты весомости параметров |
x4 |
0.0714 |
0.16 |
x5 |
0.069 |
0.15 |
x3 |
0.0556 |
0.12 |
x1 |
0.0435 |
0.0968 |
x11 |
0.037 |
0.0825 |
x6 |
0.0328 |
0.073 |
x12 |
0.029 |
0.0646 |
x7 |
0.025 |
0.0557 |
x8 |
0.0241 |
0.0537 |
x9 |
0.0227 |
0.0506 |
x2 |
0.02 |
0.0446 |
x10 |
0.0189 |
0.042 |