книги из ГПНТБ / Судовые системы автоматического контроля (системный подход к проектированию)
..pdfS' 2.5
МЕТОДЫ УПОРЯДОЧЕНИЯ ПОКАЗАТЕЛЕЙ САК
Изложенные в § 2.3 методы комплексной оценки вариантов САК требуют упорядочения показателей (частных критериев) по степени их влияния на эффективность системы.
Объективной оценкой влияния i-ro показателя САК на общую
эффективность системы можно считать значение частной производ
ной от критерия эффективности по этому показателю
Однако применение данного метода ограничивается двумя об
стоятельствами. Во-первых, аналитическое выражение для критерия
эффективности Е — f (X), связывающее основные показатели САК, как правило, неизвестно. Во-вторых, показатели САК являются
взаимозависимыми. Поэтому для упорядочения показателей обычно
ш ироко применяются методы, основанные на использовании мнения
квалифицированных специалистов (экспертов) по разработке, изго
товлению и эксплуатации САК и подобных им систем. Такие методы
получили название методов экспертных оценок.
Упорядочение показателей по какому-либо признаку, не име
ющему физических единиц измерения, как уже отмечалось, назы
вается ранжированием. При экспертных оценках для ранжирования
показателей САК возможны различные методы получения инфор мации от экспертов, оценки согласованности их мнений и значимости
результатов. Применение того или иного метода зависит от числа показателей т , числа экспертов п и квалификации экспертов.
Рассмотрим сначала случай, когда два эксперта ранжируют
показатели системы, причем каждый из них может квалифицированно судить о всех показателях.
Пусть эксперты ранжировали показатели следующим образом:
первый — х 1Ъ х 12, |
. . |
., |
хш , |
|
ВТОрОИ |
-^21» -^22» • |
• |
•> |
-^2т* |
Показателям х; и Xj |
первый эксперт приписал ранги х и и х и, |
|||
а |
второй |
— x 2i и х 2/. |
Связь между рангами xlt и х 1;- обозначим ап- |
|
а |
между |
рангами х п |
и x2j — bljt |
причем |
|
|
ai i = bij = ° |
ПРИ » '= / . |
|
Показателем согласованности мнений экспертов о ранжировании является коэффициент ранговой корреляции [19, 106]. Он опреде
ляется как
тт
X S ачьч
(2.5.1)
71
При отсутствии связи между ранжировками Г = 0. Если Г = 1, то ранжировки обоих экспертов полностью совпадают, а при про тивоположных ранжировках Г = — 1. При значениях Г, близких к единице, ранжировки считаются равнозначными.
Взависимости от способа определения связей между рангами atj
иbtj могут быть получены разные выражения для коэффициента
ранговой корреляции Г [106]. Целесообразно применять коэффициент
ранговой корреляции по Спирмену, когда
|
|
ац — xij ' |
хи> |
|
|
|
|
Ьц ~ |
X2j ■ |
х2,-, |
|
Г = Р = |
|
1= 1/=1(Xlj |
Xll) (Xij |
X2 i) |
|
m |
m |
|
|
|
|
|
|
|
( x 2/ ■ ; |
||
|
|
(xii |
xii)% |
||
или |
/i=i j=i |
|
i = l /=i |
|
|
|
|
|
|
|
|
|
|
|
6S (rf2) |
(2.5.2) |
|
|
|
|
m (m2 — 1) ’ |
||
|
|
|
|
||
где |
|
|
|
|
|
|
|
|
m |
|
|
|
5 |
(d1) = |
£ (xu — x2l-)2. |
||
|
|
|
<=i |
|
|
Если эксперт приписывает один и тот же ранг нескольким пока
зателям, то им необходимо приписать ранг, равный среднеарифме
тическому значению мест, которые эти показатели между собой поделили.
Например, эксперт ранжировал показатели следующим образом:
Показатели .................... |
хх |
хг |
х3 |
х4 |
х5 |
Ранг ................................ |
1 |
3 |
2 |
2 |
2 |
т. е. показателям х3, х4 и хъ он приписал одинаковый ранг. Будем считать, что эти показатели занимают в данном случае места со вто
рого по четвертое, их ранг определяется как ,2 + ^ + |
4 ____3 ^и панжи. |
||||
ровка будет иметь следующий вид: |
|
|
о |
|
|
|
|
|
|
||
Показатель .................... |
х± |
х2 |
х3 |
х4 |
хь |
Ранг ................................ |
1 |
5 |
з |
з |
з |
В таких случаях коэффициент ранговой корреляции определяется как
где
|
|
|
t |
Г = т |
2 |
» < » - » . |
|
|
|
V |
|
s (d2) = |
^ { х и — x2 ty , |
||
t и v —■ числа повторений |
каждого ранга соответственно в ранжи |
||
ровках первого и второго |
эксперта. |
||
Р а с с м о т р и м п р и м е р |
определения коэффициента ран |
||
говой корреляции. Два эксперта ранжировали шесть показателей
хи . . ., хв следующим образом:
Э к с п е р т
I
п
11 |
1 |
N * |
d 2
|
|
П о к а з а т е л и |
|
|
|
*i |
х 2 |
*3 |
Xi |
•*5 |
Хв |
1 |
2 |
3 |
4 |
5 |
6 |
2 |
3 |
1 |
4 |
6 |
5 |
— 1 |
— 1 |
2 |
0 |
— 1 |
1 |
1 |
1 |
4 |
0 |
1 |
1 |
|
S (d2) = |
8, |
|
Р = |
6S(d*) |
. |
6-8 |
т (m2 — 1) |
1 |
6(36 — 1) |
Следовательно, существует значительная положительная корре
ляция между ранжировками экспертов, и их можно считать равно
значными.
В некоторых случаях для оценки согласованности мнений экспер тов используется коэффициент ранговой корреляции по Кендаллу
|
2 ^ |
]£j aljbi |
|
|
Г = т = |
»'=1 /=1 |
|
|
|
т (т2 — 1) |
|
|||
|
|
|||
который находится из выражения |
(2.5.1) |
при условиях: |
||
|
1 |
х и < |
х |
и |
|
0 |
Х и — Хц |
||
|
— 1 |
х ц |
Xxj |
|
|
1 |
X2i < |
Х'2/: |
|
|
0 |
X2i = = Х2р |
||
|
— 1 |
Х21 > |
х 2]. |
|
Исследование мощности критериев р и т показывает, что при оди
наковом истинном уровне значимости критерий р имеет несколько
73
большую мощность, чем т [106]. Кроме того, определение коэффи циента ранговой корреляции т требует большего объема вычислитель ных работ, чем определение р. Поэтому использование коэффициента ранговой корреляции Спирмена предпочтительнее.
Чтобы выяснить, не является ли совпадение мнений экспертов в значительной мере случайным, производится оценка значимости
коэффициента ранговой корреляции.
Если f — частота появления каждого значения коэффициента
ранговой корреляции р (или соответствующего ему значения S (d2), то с увеличением числа ранжируемых параметров т кривая, описы вающая это распределение, стремится к нормальной кривой
со среднеквадратичным отклонением
Если число ранжируемых параметров т > 10, то распределение частот с достаточной точностью аппроксимируется нормальной кривой [106]. Если же число параметров т < 10, то отклонением
распределения частот от нормальной кривой пренебрегать нельзя, и следует использовать специальные таблицы распределения частот,
рассчитанные для каждого значения т (табл. 2.1), по которым можно определить вероятность (Р ) возникновения данной (или меньшей)
величины S (d2).
Если вычисленное для данных ранжировок S (d2) принимает
значение S „ (d2), такое, что Р [ |S (d2) | > S 0 (d2) ] < Р 0, то полу ченный коэффициент ранговой корреляции р считается значимым и мнения экспертов согласованными. Величиной Р 0 задаются как уров нем значимости и сравнивают наблюдаемое значение S (d2) с таблич ным для данного Р 0. Обычно принимают 5%-ный уровень значи мости, т. е. считают вероятность случайного совпадения результатов
ранжировки равной Р 0 = |
0,5. |
|
|
|
|
|
|
|
|
|||||
т |
В |
предыдущем примере было получено |
р = 0,77; |
S |
(d2) = |
8; |
||||||||
= 6. |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
Из |
табл. 2.1 |
находим: |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
Р IS |
(d2) |
> 8 ] = |
0,051. |
|
|
|
|
|
|
|
Если |
принять |
уровень |
значимости |
Р„ |
= |
0,05, то |
Р |
IS |
(d2) |
> |
|||
> |
8 ] л* |
Р 0 |
и следовательно, |
гипотезу |
о |
согласованности |
мнений |
|||||||
экспертов |
принимаем. |
|
|
|
|
|
|
|
|
|
||||
Для получения более объективной информации желательно знать
мнение большего числа экспертов. В этом случае возникает вопрос о согласованности нескольких ранжированных рядов и вычисления общего коэффициента ранговой корреляции.
74
|
пг = 4 |
|
т =5 |
|
т =6 |
|
Таблица 2.1 |
|
|
S (d 2) |
|
|
т =7 |
||||
S ( d * ) |
р |
Р |
S (d 2) |
Р |
s (d * ) |
Р |
||
10 |
0 ,5 4 2 |
2 0 |
0 ,5 2 5 |
34 |
|
0 ,6 0 0 |
5 6 |
0 ,5 1 8 |
8 |
0 ,4 5 8 |
18 |
0 ,4 7 5 |
32 |
|
0 ,4 6 0 |
54 |
0 ,4 8 2 |
6 |
0 ,3 7 5 |
16 |
0 ,3 9 2 |
30 |
|
0,401 |
52 |
0 ,4 5 3 |
4 |
0 ,2 0 8 |
14 |
0 ,3 4 2 |
28 |
|
0 ,3 5 7 |
50 |
0 ,4 2 0 . |
2 |
0 ,1 6 7 |
12 |
0 ,2 5 8 |
26 |
|
0 ,3 2 0 |
48 |
0,391 |
0 |
0 ,0 4 2 |
10 |
0 ,2 2 5 |
24 |
|
0 ,2 8 2 |
46 |
0 ,3 5 7 |
|
|
8 |
0 ,1 7 5 |
22 |
|
0 ,2 4 9 |
4 4 |
0,331 |
|
|
6 |
0 ,1 1 7 |
20 |
|
0 ,2 1 0 |
42 |
0 ,2 9 7 |
|
|
4 |
0 ,0 6 7 |
18 |
|
0 ,1 7 8 |
40 |
0 ,2 7 8 |
|
|
2 |
0 ,0 4 2 |
16 |
|
0 ,1 4 9 |
38 |
0 ,2 4 9 |
|
|
0 |
0 ,0 0 8 3 |
14 |
|
0 ,1 2 1 |
36 |
0 ,2 2 2 |
|
|
|
|
12 |
|
0 ,0 8 8 |
34 |
0 ,1 9 8 |
|
|
|
|
10 |
|
0 ,0 6 8 |
32 |
0 ,1 7 7 |
|
|
|
|
8 |
|
0 ,0 5 1 |
30 |
0,151 |
|
|
|
|
6 |
|
0 ,0 2 9 |
2 8 |
0 ,1 3 3 |
|
|
|
|
4 |
|
0 ,0 1 7 |
26 |
0 ,1 1 8 |
|
|
|
|
2 |
|
0 ,0 0 8 3 |
24 |
0 ,1 0 0 |
|
|
|
|
0 |
|
0 ,0 0 1 4 |
22 |
0 ,0 8 3 |
|
|
|
|
|
|
|
2 0 |
0 ,0 6 9 |
|
|
|
|
|
|
|
18 |
0 ,0 5 5 |
|
|
|
|
|
|
|
16 |
0 ,0 4 4 |
|
|
|
|
|
|
|
14 |
0 ,0 3 3 |
|
|
|
|
|
|
|
12 |
0 ,0 2 4 |
|
|
|
|
|
|
|
10 |
0 ,0 1 7 |
|
|
|
|
|
|
|
8 |
0 ,0 1 2 |
Если п экспертов ранжируют т различных показателей, то в ре
зультате получается матрица рангов:
Эксперт |
*i |
|
Показатели |
|
|
Х2 |
x i |
Y |
|||
1 |
Лт |
||||
|
|
|
|||
Хц |
Х12 |
ХЦ |
х \т |
||
2 |
Х21 |
Х22 |
H i |
Х2т |
|
/ |
х п |
Х/2 |
х а |
x jtn |
|
|
|
||||
п |
х т |
ХП2 |
ХЩ |
х тп |
Степень согласованности экспертов оценивается коэффициентом конкордации
W = |
12S (d2) |
(2.5.3) |
rfim (m2 — 1) ’ |
где
тп
5 ( d 2 ) = X У )(хп} - ± п ( т + 1 )
( =1 L / =1
75
Показатели ранжируются в соответствии с нарастанием зна^
П
чения х п.
/=1
Значение коэффициента конкордации изменяется от 0 до 1, при чем W = 0 означает, что связи между ранжировками нет, a W = 1
все эксперты ранжируют показатели одинаково.
Для оценки значимости коэффициента конкордации можно ис
пользовать специальные таблицы распределения частот коэффи циента W для (т\)п возможных сочетаний ранжировок [106].
При т |
> 7 можно использовать широко применяемый в |
мате |
|
матической |
статистике [57] критерий |
х2Величина п ( т — 1) W |
|
имеет х2— распределение с v = т — 1 |
степенями свободы |
[106]. |
|
Применение этого критерия рассмотрим на следующем примере. Четыре эксперта ранжировали т = 7 показателей. Ниже приведены
результаты ранжирования и ход последующих вычислений.
Значение d получено путем вычитания значения а = 1/2п (т + |
1) = |
|
1 |
п |
346. |
— ~2 ~4 Н + 1) из цифр в строчке |
хп. В результате S (d2) = |
|
12S (d2) |
12-346 |
|
Следовательно, W = -п2т ( т — 1) — |
16-7 (49 — 1) = 0,772. |
|
Оценим значимость полученного коэффициента конкордации
X2 = п (т — 1) W = 4 (7 — 1) 0,722 = 18,53,
v = т — 1 = 6.
Зададимся 5% -ным уровнем значимости, т. е. допустим вероят ность случайного совпадения ранжировок Р < 0,05. Из вышепри веденной таблицы х2 [57] при 5%-ном уровне значимости находим Хт = 12,59, что меньше получившегося в результате расчета значе
ния х2 = 18,53. Следовательно, между ранжировками экспертов
|
П |
имеется согласие. В соответствии с |
показатели ранжируются |
следующим образом: х4 = х4, хя, х3, |
х5, х7, хв. |
76
Если ранжировки содержат совпавшие |
ранги, тб |
|
W = |
12S (d2) |
|
П |
||
|
п2т (т 2 — 1) —п ^ Tj |
|
|
/= 1 |
|
где |
|
|
T/ = S * / ( * ? - * / ) . |
|
|
4 |
'/ |
|
|
|
|
tj — число повторений |
каждого ранга |
в /-й ранжировке. |
В этом случае распределение %2 со степенями свободы v = т — 1
имеет |
|
Y2 = |
_________12S (d2)__________ |
А |
п |
|
п т ( т + 1 ) — - ^ г 2 Г/ |
|
/=1 |
Часто эксперты затрудняются в ранжировке всего набора пока
зателей сразу. Тогда суммарную ранжировку можно получить
на основе метода парных сравнений. Каждому эксперту в случайном
порядке предъявляются все сочетания из т показателей по два.
Число таких пар будет Ст2 = |
— - . Для каждой пары эксперт |
указывает, какой показатель предпочтительнее. Если показатель xt
важнее, чем X/, то в клетку г/ матрицы (табл. 2.2) ставится йц = 1,
|
|
|
|
Таблица 2.2 |
|
|
|
/ |
|
i |
|
|
|
|
|
*1 |
*2 |
*3 |
хт |
x i |
|
1 |
1 |
0 |
*2 |
0 |
— |
0 |
1 |
Хд |
0 |
1 |
— |
0 |
хт |
1 |
0 |
1 |
— |
а в клетку ji — afl = 0. Такую матрицу составляет каждый эксперт.
Затем все п матриц (п — число экспертов) сводятся в суммарную, в ячейке ij которой записывается число уг/, равное сумме чисел в ячей
ках с этим номером во всех п матрицах. Результирующая ранжировка
получается при суммировании чисел в клетках суммарной матрицы
по столбцам или строчкам, при этом в- первом случае они распола
гаются в порядке убывания, во втором — в порядке возрастания.
77
Для оценки согласованности мнений экспертов определяется коэф фициент согласия
|
|
|
т |
|
|
|
V = — ---- fw - |
|
V С \.„ |
(2.5.4) |
|
|
пт(п— \ ) ( т — 1) |
i= 1 |
vti |
' |
|
|
|
|
/= 1 |
|
|
где Су.. — количество сочетаний по два из числа |
|
||||
При |
полном согласии экспертов |
V = |
1, при |
минимальном—■ |
|
V = |
(ПРИ четном п) и V = |
|
|
(ПРИ нечетном п). При |
|
п = 2 |
V меняется |
в |
пределах 0 < |
V < |
1 [22]. |
|
|
|
|||
Для оценки значимости коэффициента согласия |
V определяется |
||||||||||
распределение |
частот появления |
вспомогательной |
величины Q = |
||||||||
т |
|
|
|
|
|
|
|
|
|
|
|
= ^ Су., при |
случайной |
ранжировке. |
Для |
т = |
З'ч-б |
и п = |
4 |
||||
;=1 |
г/ |
|
|
|
|
|
|
|
|
|
|
/= 1 |
целью |
можно |
пользоваться табл. 2.3. |
Для |
значений п > |
8 |
|||||
с этой |
|||||||||||
и / п > 6 используется критерий х2- |
Для этого вычисляется |
значение |
|||||||||
|
|
2 |
= |
4 |
j- f l |
1 ^ 2 ^ 2 И 3 |
|
(2.5.5) |
|||
|
|
1 |
п — 2 |
S |
|
|
|
|
|||
|
|
|
|
|
i=l |
|
|
|
|
|
|
|
|
|
|
|
/=1 |
|
|
|
|
|
|
|
т =3 |
|
|
т =4 |
|
т =5 |
|
Таблица 2.3 |
|||
|
|
|
|
т = 6 |
|
||||||
Q |
Р |
|
|
Q |
Р |
Q |
|
Р |
Q |
Р |
|
6 |
1,0000 |
|
12 |
1,000 |
20 |
1,000 |
42 |
0,0048 |
|
||
7 |
0,947 |
|
13 |
0,997 |
21 |
1,000 |
43 |
0,0030 |
|
||
8 |
0,736 |
|
14 |
0,975 |
22 |
0,999 |
44 |
0,0017 |
|
||
9 |
0,455 |
|
15 |
0,901 |
23 |
0,995 |
45 |
0,00073 |
|
||
10 |
0,330 |
|
16 |
0,769 |
24 |
0,979 |
46 |
0,00041 |
|
||
11 |
0,277 |
|
17 |
0,632 |
25 |
0,942 |
47 |
0,00024 |
|
||
12 |
0,137 |
|
18 |
0,524 |
26 |
0,882 |
48 |
0,000090 |
|||
14 |
0,043 |
|
19 |
0,410 |
27 |
0,805 |
49 |
0,000037 |
|||
15 |
0,025 |
|
20 |
0,278 |
28 |
0,719 |
|
|
|
||
18 |
0,0020 |
|
21 |
0,185 |
29 |
0,621 |
|
|
|
||
|
|
|
|
22 |
0,137 |
30 |
0,514 |
|
|
|
|
|
|
|
|
23 |
0,088 |
31 |
0,413 |
|
|
|
|
|
|
|
|
24 |
0,044 |
32 |
0,327 |
|
|
|
|
|
|
|
|
25 |
0,027 |
33 |
0,249 |
|
|
|
|
|
|
|
|
26 |
0,019 |
34 |
0,179 |
|
|
|
|
|
|
|
|
27 |
0,0079 |
35 |
0,127 |
|
|
|
|
|
|
|
|
28 |
0,0030 |
36 |
0,090 |
|
|
|
|
|
|
|
|
29 |
0,0025 |
37 |
0,060 |
|
|
|
|
|
|
|
|
30 |
0,0011 |
38 |
0,038 |
|
|
|
|
|
|
|
|
|
|
39 |
0,024 |
|
|
|
|
|
|
|
|
|
|
40 |
0,010 |
|
|
|
|
78
и сравнивается с табличным значением %2 — распределения. Число степеней свободы определяется как
|
|
|
|
|
V — |
п (п — 1) |
|
|
|
|
(2.5.6) |
|
|
|
|
|
|
(п — 2)2 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
||
Р а с с м о т р и м |
п р и м е р . |
Четыре |
|
эксперта |
ранжируют |
|||||||
5 показателей |
x L—хъ. Получены |
|
следующие |
четыре матрицы: |
||||||||
i |
|
|
i |
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Xi |
*2 |
x 3 |
*4 |
*5 |
|
|
Xi |
x2 |
*8 |
*4 |
*5 |
Х1 |
0 |
1 |
0 |
0 |
0 |
|
|
0 |
1 |
1 |
1 |
0 |
х г |
— |
l |
0 |
0 |
|
x 2 |
— |
1 |
0 |
0 |
||
Ч |
1 |
0 |
— |
0 |
1 |
|
Хл |
0 |
0 |
— |
1 |
1 |
1 |
1 |
l |
— |
1 |
|
0 |
1 |
0 |
— |
1 |
||
Ч |
1 |
1 |
0 |
0 |
— |
|
4 |
1 |
1 |
0 |
0 |
— |
Эти матрицы |
преобразовываются |
в одну |
суммарную: |
|
|||
i |
|
|
/ |
|
|
2 |
|
*i |
X2 |
*3 |
X* |
*5 |
|||
|
|
||||||
X1 |
0 |
4 |
3 |
2 |
1 |
10 |
|
x2 |
— |
2 |
0 |
2 |
4 |
||
x3 |
1 |
2 |
— |
1 |
4 |
8 |
|
4 |
2 |
4 |
3 |
— |
4 |
13 |
|
Xb |
3 |
2 |
0 |
0 |
— |
5 |
|
2 |
6 |
12 |
8 |
3 |
11 |
40 |
|
|
|
|
|
|
|
||
Получаем суммарную ранжировку (в порядке возрастания сумм по строкам или в порядке убывания по столбцам): х г, хь, х3, x lt xt.
79
Коэффициент |
согласия |
|
|
|||
|
|
|
4 s |
cv,. |
|
|
|
|
|
»=i |
i> |
4 (6-C* + 3dj + 4Cl) |
|
|
V = |
|
i=i____ |
|
||
|
пт (n — 1) (m — 1) |
4 . 5 (4 — 1) (5 — 1) |
’ ° |
|||
где S C y |
= Q |
= |
39. |
|
|
|
f=i |
11 |
|
|
|
|
|
/=i |
|
|
|
|
|
|
Из табл. 2.3 находим, что вероятность Р случайного появления
значения Q = 39 равна 0,024. Следовательно, вероятность того,
что совпадение мнений экспертов неслучайно, равна 0,976. Возможны и другие методы заполнения матрицы парных сравнений.
§ 2.6
ОПРЕДЕЛЕНИЕ ВЕСОВЫХ КОЭФФИЦИЕНТОВ ПОКАЗАТЕЛЕЙ
Использование для сравнительной оценки вариантов САК кри терия (2.3.9), приведенного в § 2.3, требует не только упорядочения показателей, но и определения значений весовых коэффициентов |х;,
|
т |
отвечающих условиям р,(- > 0 , |
Нн = 1- Эти коэффициенты харак- |
1= 1
теризуют тот вклад в повышение эффективности, который вносит улучшение значения показателя xt по сравнению с требованием ТЗ.
Возможны различные подходы к определению весовых коэффи
циентов. Основными из них, нашедшими практическое применение,
являются статистический, стоимостный и эвристический. Выбор
того или иного метода определяется уровнем информационного
обеспечения.
Статистические методы нахождения весовых коэффициентов могут
быть применены при достаточно большом опыте проектирования систем аналогичного назначения, позволяющем использовать аппа рат математической статистики. В основе этих методов [1] лежит предположение о том, что для любого показателя системы xt всегда
•существует «конкурирующий» с ним показатель х\. Взаимосвязь
между ними определяется соотношением
|
xt Ф х, эт при |
Хс = х1 эт, |
где |
xt эт и х\ эт — наилучшие из |
возможных (эталонные) значения |
1-го |
и t'-ro показателей. |
|
Естественно предположить, что проектировщик будет стремиться
в большей степени приблизить к эталону значения тех показателей,
которые он считает наиболее важными. Для достаточно представи
тельной совокупности |
проектов приближение значений каждого |
из важных показателей |
к эталону будет тем большим, чем важнее |
в среднем показатели. Тогда среднее значение приближения к эта
лону может рассматриваться как оценка важности,
80