Квалиметрия и системы качества. Практикум. Учебное пособие
.pdf
Ранжирование объектов по их качеству можно осуществлять и в табличной форме. В этом случае сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.
Каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов и составляет таблицу. При этом каждый i-й объект сопоставляется с другимиj-ми объектами сравнения. Если при попарном сопоставлении i-й объект признается качественнее j-го, то это обозначается цифрой1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0.
В таком случае сопоставительная таблица одного эксперта, например, шести объектов исследования будет иметь следующий вид (табл. 1).
|
|
|
|
|
|
|
|
Таблица 1 |
|
Объект |
|
|
|
Объект j |
|
|
|
Итого |
|
i |
1 |
2 |
3 |
|
4 |
5 |
6 |
|
|
|
|
|
|||||||
1 |
0 |
1 |
-1 |
|
1 |
-1 |
1 |
|
1 |
2 |
-1 |
0 |
-1 |
|
0 |
-1 |
1 |
|
-2 |
3 |
1 |
1 |
0 |
|
-1 |
-1 |
-1 |
|
-1 |
4 |
-1 |
0 |
1 |
|
0 |
-1 |
-1 |
|
-2 |
5 |
1 |
1 |
1 |
|
1 |
0 |
1 |
|
5 |
6 |
-1 |
-1 |
1 |
|
1 |
-1 |
0 |
|
-1 |
Из табл. 1 видно, что предпочтительные оценки данного эксперта получили объекты № 5 и 1. Причем предпочтительнее в данном случае является объект № 5.
Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних объектов над другими, то есть экспертный показатель качества объекта в виде его частоты предпочтений.
Частота предпочтения (Fij) находится как частное от деле-
ния всех предпочтений данного объекта на возможное число предпочтений
Fij = N , n
41
где N – число предпочтений экспертов; n – число экспертов.
Весомость показателя для данного случая имеет вид
aij = Fij n,
C
где Fij – частота предпочтения i-ым экспертом j-го объекта экспертизы;
С – общее количество учитываемых оценок, связанное с объектом экспертизы m следующей зависимостью:
C = m(m -1) . 2
Сумма всех показателей весомости качества объектов -ис следования:
m
ågi =1.
j =1
Порядок выполнения работы
1.Определить коэффициенты весомости показателей качества, полученных от семи экспертов. Число оцениваемых объектов равно шести. Использовать данные табл. 2.
2.Оформить отчет.
Содержание отчета
1.Описать методику расчета.
2.Привести результаты интегральной оценки уровня качества продукта.
3.Проанализировать полученные данные и сформулировать выводы по работе.
4.Ответить на контрольные вопросы.
42
Контрольные вопросы
1.Чем характеризуются основные экспертные методы, используемые при проведении расчетов?
2.Какие шкалы используют для оценки показателей качества?
Таблица 2
|
|
Вариант 1 |
|
|
|
|
|
Вариант 2 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Объект |
|
|
Объект j |
|
|
Объект |
|
|
Объект j |
|
|
||
i |
1 |
2 |
3 |
4 |
5 |
6 |
i |
1 |
2 |
3 |
4 |
5 |
6 |
1 |
0 |
1 |
-1 |
1 |
-1 |
1 |
1 |
0 |
1 |
-1 |
-1 |
-1 |
1 |
2 |
-1 |
0 |
-1 |
0 |
-1 |
1 |
2 |
-1 |
0 |
-1 |
0 |
-1 |
1 |
3 |
1 |
1 |
0 |
-1 |
-1 |
-1 |
3 |
1 |
1 |
0 |
1 |
-1 |
-1 |
4 |
-1 |
0 |
1 |
0 |
-1 |
-1 |
4 |
1 |
0 |
-1 |
0 |
-1 |
-1 |
5 |
1 |
1 |
1 |
1 |
0 |
1 |
5 |
1 |
1 |
1 |
1 |
0 |
1 |
6 |
-1 |
-1 |
1 |
1 |
-1 |
0 |
6 |
-1 |
-1 |
1 |
1 |
-1 |
0 |
|
|
Вариант 3 |
|
|
|
|
|
Вариант 4 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||
Объект |
|
|
Объект j |
|
|
Объект |
|
|
Объект j |
|
|
||
i |
1 |
2 |
3 |
4 |
5 |
6 |
i |
1 |
2 |
3 |
4 |
5 |
6 |
1 |
0 |
1 |
-1 |
-1 |
-1 |
1 |
1 |
0 |
1 |
-1 |
-1 |
-1 |
1 |
2 |
-1 |
0 |
-1 |
0 |
1 |
1 |
2 |
-1 |
0 |
-1 |
0 |
1 |
1 |
3 |
1 |
1 |
0 |
1 |
-1 |
-1 |
3 |
1 |
1 |
0 |
1 |
-1 |
-1 |
4 |
1 |
0 |
-1 |
0 |
-1 |
-1 |
4 |
1 |
0 |
-1 |
0 |
-1 |
1 |
5 |
1 |
-1 |
1 |
0 |
0 |
1 |
5 |
1 |
-1 |
1 |
1 |
0 |
-1 |
6 |
1 |
-1 |
1 |
1 |
-1 |
0 |
6 |
-1 |
-1 |
1 |
-1 |
1 |
0 |
|
|
Вариант 5 |
|
|
|
|
|
Вариант 6 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||
Объект |
|
|
Объект j |
|
|
Объект |
|
|
Объект j |
|
|
||
i |
1 |
2 |
3 |
4 |
5 |
6 |
i |
1 |
2 |
3 |
4 |
5 |
6 |
1 |
1 |
1 |
-1 |
0 |
-1 |
0 |
1 |
-1 |
-1 |
1 |
1 |
0 |
-1 |
2 |
-1 |
1 |
1 |
-1 |
0 |
1 |
2 |
1 |
0 |
-1 |
0 |
1 |
0 |
3 |
-1 |
1 |
1 |
0 |
0 |
1 |
3 |
1 |
1 |
-1 |
1 |
1 |
0 |
4 |
-1 |
1 |
1 |
0 |
1 |
1 |
4 |
1 |
1 |
1 |
-1 |
0 |
1 |
5 |
0 |
0 |
1 |
1 |
-1 |
1 |
5 |
1 |
-1 |
-1 |
0 |
0 |
1 |
6 |
0 |
0 |
-1 |
1 |
-1 |
-1 |
6 |
0 |
-1 |
1 |
1 |
0 |
-1 |
43
Окончание табл. 2
|
|
|
|
|
Вариант 7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Вариант 8 |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Объект |
|
|
|
|
|
|
Объект j |
|
|
|
|
|
|
Объект |
|
|
|
|
|
|
Объект j |
|
|
|
|
||||||||
|
|
|
1 |
2 |
3 |
|
4 |
|
5 |
|
6 |
|
|
i |
|
1 |
2 |
3 |
|
|
4 |
5 |
|
6 |
||||||||||
|
1 |
|
1 |
1 |
-1 |
|
1 |
|
-1 |
1 |
|
|
1 |
|
|
-1 |
-1 |
-1 |
|
|
1 |
0 |
|
-1 |
||||||||||
|
2 |
|
0 |
1 |
0 |
|
0 |
|
-1 |
1 |
|
|
2 |
|
|
1 |
0 |
-1 |
|
|
1 |
-1 |
|
-1 |
||||||||||
|
3 |
|
-1 |
1 |
1 |
|
1 |
|
0 |
|
-1 |
|
|
3 |
|
|
0 |
1 |
1 |
|
|
-1 |
1 |
|
-1 |
|||||||||
|
4 |
|
0 |
1 |
-1 |
|
-1 |
|
1 |
|
-1 |
|
|
4 |
|
|
-1 |
0 |
0 |
|
|
-1 |
1 |
|
-1 |
|||||||||
|
5 |
|
1 |
0 |
-1 |
|
-1 |
|
1 |
|
1 |
|
|
5 |
|
|
-1 |
-1 |
1 |
|
|
1 |
1 |
|
0 |
|||||||||
|
6 |
|
1 |
1 |
0 |
|
0 |
|
1 |
|
0 |
|
|
6 |
|
|
-1 |
0 |
1 |
|
|
0 |
1 |
|
0 |
|||||||||
|
|
|
|
|
Вариант 9 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Вариант 10 |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Объект |
|
|
|
|
|
|
Объект j |
|
|
|
|
|
|
Объект |
|
|
|
|
|
|
Объект j |
|
|
|
|
||||||||
|
i |
|
1 |
|
2 |
|
3 |
|
4 |
|
5 |
6 |
|
|
i |
|
1 |
2 |
|
3 |
|
|
4 |
5 |
|
6 |
||||||||
|
1 |
|
-1 |
|
0 |
|
-1 |
|
1 |
|
0 |
0 |
|
|
1 |
|
-1 |
0 |
|
1 |
|
|
-1 |
1 |
|
0 |
||||||||
|
2 |
|
0 |
|
1 |
|
-1 |
|
1 |
|
|
0 |
-1 |
|
|
2 |
|
0 |
0 |
|
1 |
|
|
-1 |
1 |
|
-1 |
|||||||
|
3 |
|
-1 |
|
1 |
|
1 |
|
1 |
|
|
0 |
-1 |
|
|
3 |
|
1 |
0 |
|
1 |
|
|
0 |
1 |
|
0 |
|||||||
|
4 |
|
-1 |
|
1 |
|
0 |
|
1 |
|
|
1 |
1 |
|
|
4 |
|
1 |
-1 |
|
1 |
|
|
1 |
1 |
|
-1 |
|||||||
|
5 |
|
0 |
|
1 |
|
1 |
|
0 |
|
|
-1 |
1 |
|
|
5 |
|
1 |
-1 |
-1 |
|
|
1 |
0 |
|
0 |
||||||||
|
6 |
|
1 |
|
-1 |
|
1 |
|
1 |
|
|
0 |
1 |
|
|
6 |
|
-1 |
-1 |
0 |
|
|
1 |
0 |
|
1 |
||||||||
|
Число оцениваемых объектов берется из табл. 3. |
|
|
|
|
|
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таблица 3 |
|
|||
|
Число |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Варианты |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
оцениваемых |
1 |
|
|
2 |
|
|
|
3 |
|
4 |
|
5 |
|
6 |
|
|
7 |
|
|
8 |
|
|
9 |
|
10 |
|
|
||||||
|
объектов |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
N 2 |
|
4 |
|
|
4 |
|
|
|
4 |
|
2 |
|
3 |
|
1 |
|
|
0 |
|
|
5 |
|
|
3 |
|
2 |
|
|
|||||
|
N 3 |
|
3 |
|
|
5 |
|
|
|
5 |
|
4 |
|
5 |
|
0 |
|
|
2 |
|
|
4 |
|
|
1 |
|
3 |
|
|
|||||
|
N 4 |
|
0 |
|
|
4 |
|
|
|
4 |
|
3 |
|
4 |
|
3 |
|
|
3 |
|
|
0 |
|
|
2 |
|
4 |
|
|
|||||
|
N 5 |
|
5 |
|
|
3 |
|
|
|
1 |
|
2 |
|
0 |
|
5 |
|
|
1 |
|
|
2 |
|
|
4 |
|
5 |
|
|
|||||
|
N 6 |
|
2 |
|
|
0 |
|
|
|
0 |
|
1 |
|
1 |
|
2 |
|
|
4 |
|
|
1 |
|
|
5 |
|
0 |
|
|
|||||
44
Практическая работа № 11.
Определение качественного состава экспертной комиссии
Цель работы: изучить метод определения качественного состава экспертной комиссии.
Краткие теоретические сведения
Точность экспертных оценок определяют по согласованности мнений экспертов. Степень совпадения оценок экспертов, входящих в комиссию, характеризует качество экспертизы и выражается коэффициентом конкордации:
12S
W = n2 (m3 - m) ,
где S – сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения;
n – количество экспертов;
m – количество оцениваемых объектов.
Сумма квадратов отклонений рангов(S) от среднеарифметического их значения (Рср) по всем объектам и экспертам находят по формуле
n |
é m |
ù |
2 |
S = åêåQij - Qср ú |
, |
||
i=1 |
ë j =1 |
û |
|
где Qij – оценка в рангах, данная i-му объекту j-м экспертом; Qср – среднеарифметическое значение рангов.
Полная запись формулы коэффициента конкордации имеет следующий вид:
45
|
n é m |
ù |
2 |
|
|
12åêåQij -Qср ú |
|
|
|
W = |
i =1 ë j =1 |
û |
. |
|
n2 (m3 - m) |
|
|||
|
|
|
|
|
При W=0 – абсолютная несогласованность, а при W=1,0 – полное совпадение мнений (оценок). Следовательно, 0 £ W £1.
При экспертных методах оценки, в которых ранги окончательно не определяются, для нахождения коэффициента конкордации рассчитанные значимости объектов следует переводить в ранги путем их ранжирования. В противном случае оценку степени согласованности мнений экспертов проводят по другим критериям.
Кроме того, для определения качества отдельного эксперта проводят тестирование, самооценку, взаимооценку экспертов. По результатам тестирования определяют погрешность каждого эксперта. При определении согласованности мнений экспертов обычно заполняют таблицу (табл. 1).
Порядок выполнения работы
1.Выбрать объект экспертизы. Cформировать не более семи показателей. Определить способом ранжирования весовые коэффициенты. Определить согласованность мнений экспертов. Определить погрешность каждого эксперта и представить результаты в виде табл. 2.
2.Составить отчет.
|
|
|
|
|
|
|
|
|
Таблица 1 |
Номер |
|
Оценка эксперта |
|
Сумма |
Отклонение |
Квадрат |
|||
объекта |
1 |
2 |
3 |
4 |
|
… |
|
|
отклонений |
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
… |
|
|
|
|
|
|
|
|
|
46
|
|
|
|
|
|
|
|
Таблица 2 |
Ответы на тест |
|
|
Эксперты |
|
|
|
||
|
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Значение |
определяе- |
|
|
|
|
|
|
|
мого показателя |
|
|
|
|
|
|
||
Погрешность
эксперта
Содержание отчета
1.Описать методику определения качественного состава экспертной комиссии.
2.Привести результаты качественного состава экспертной комиссии.
3.Проанализировать полученные данные и сформулировать выводы по работе.
4.Ответить на контрольные вопросы
Контрольные вопросы
1.Как определяют сенсорные способности экспертов?
2.Как формируется экспертная комиссия?
4. По каким показателям качества экспертов, формируют экспертную комиссию на первом этапе?
Практическая работа № 12.
Метод попарного сопоставления объектов
Цель работы: изучить метод попарного сопоставления, провести экспертизу продукта изучаемым методом.
Краткие теоретические сведения
Экспертное оценивание по принципу предпочтений при попарном сопоставлении рассматриваемых объектов осуществляют, если количество объектов четное. При этом предпочтение эксперта выражается указанием номера предпочтительного объ-
47
екта в соответствующей графе таблицы сопоставления, как это показано, например, для шести объектов в табл.1.
|
|
|
|
|
|
|
Таблица 1 |
Номер объекта |
|
|
|
|
|
|
Количество |
→ |
1 |
2 |
3 |
4 |
5 |
6 |
предпочтений i-го |
экспертизы |
|
|
|
|
|
|
объекта, Ni |
↓ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
× |
1 |
1 |
1 |
5 |
1 |
4 |
2 |
|
× |
2 |
2 |
5 |
2 |
3 |
3 |
|
|
× |
3 |
5 |
3 |
2 |
4 |
|
|
|
× |
5 |
4 |
1 |
5 |
|
|
|
|
× |
5 |
5 |
6 |
|
|
|
|
|
× |
0 |
Максимальное возможное число предпочтений любого из рассматриваемых объектов, полученное от одного из экспертов, равно
Nmax = m -1,
где m - количество оцениваемых объектов.
Частота этих предпочтений Fi |
находится как частное от |
||||
деления Ni на Nmax , т.е. |
Ni |
|
|
Ni |
|
F = |
= |
|
. |
||
|
|
|
|||
i |
Nmax |
|
m -1 |
||
|
|
||||
Общее число суждений одного эксперта C , связанное с количеством объектов экспертизы m , находят из соотношения
C = m(m -1).
2
Определенный одним экспертом показательi-го объекта или весомость по сравнению с другими объектами рассчитывают по формуле
48
m,n |
F |
|
|||||
Qi = å |
i |
, |
|
|
|
|
|
|
|
||||||
i =1, j =1 |
C |
|
|||||
где n - число экспертов в группе. |
|
|
|
|
|
|
|
Число экспертов в группе равно пяти и их оценкиFi |
сво- |
||||||
дятся в табл. 2. |
|
|
|
|
|
Таблица 2 |
|
|
|
|
|
|
|
||
Частоты предпочтений объектов, данные |
Частоты предпочтений объектов |
||||||
экспертами |
|
|
|
|
|
|
|
|
F1 |
F2 |
F3 |
F4 |
F5 |
F6 |
|
1 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
3 |
|
|
|
|
|
|
|
4 |
|
|
|
|
|
|
|
5 |
|
|
|
|
|
|
|
Итого ∑ Fij |
|
|
|
|
|
|
|
Сумма значений всех показателей весомости рассматриваемых объектов:
m
åQi = 1.
i=1
Результат свидетельствует о том, что показатели оценены экспертами достаточно точно. На основании полученных данных строиться итоговый ранжированный ряд.
Порядок выполнения работы
1. Выбрать объект экспертизы. По сумме предпочтений каждого объекта экспертизы построить итоговый ранжированный
ряд, определить весомость каждого объекта по данным табл. 3-12. Частоты предпочтений объектов, данные экспертами, приведены в табл. 13.
2. Составить отчет.
49
Содержание отчета
1.Описать методику расчета.
2.Привести результаты экспертизы качества продукта.
3.Проанализировать полученные данные и сформулировать выводы по работе.
4.Ответить на контрольные вопросы.
Контрольные вопросы
1.Что такое «ранжированный ряд»?
2.В чем суть метода попарного сопоставления?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таблица 3 |
|
|
Номер |
|
|
|
Номер объекта |
|
|
|
|
|
Количество |
||||||||||
|
экспертизы |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
предпочтений |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i-го |
|
|
|
|
|
1 |
|
|
2 |
|
3 |
|
4 |
|
5 |
6 |
|
объекта, Ni |
|||||
|
1 |
|
|
× |
|
|
1 |
|
1 |
|
1 |
|
5 |
1 |
|
|
|
||||
|
2 |
|
|
|
|
|
× |
|
2 |
|
2 |
|
5 |
2 |
|
|
|
||||
|
3 |
|
|
|
|
|
|
|
|
× |
|
3 |
|
3 |
6 |
|
|
|
|||
|
4 |
|
|
|
|
|
|
|
|
|
|
|
× |
|
5 |
4 |
|
|
|
||
|
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
× |
5 |
|
|
|
|
|
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
× |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таблица 4 |
|
|
Номер |
|
|
Номер объекта |
|
|
|
|
Количество |
|
|||||||||||
|
экспертизы |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
предпочтений i-го |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
1 |
2 |
|
3 |
|
|
4 |
|
|
5 |
|
6 |
|
|
объекта, Ni |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
1 |
|
× |
1 |
|
1 |
|
|
4 |
|
|
5 |
|
1 |
|
|
|
|
|
||
|
2 |
|
|
× |
|
3 |
|
|
4 |
|
|
2 |
|
2 |
|
|
|
|
|
||
|
3 |
|
|
|
|
× |
|
|
4 |
|
|
3 |
|
3 |
|
|
|
|
|
||
|
4 |
|
|
|
|
|
|
|
× |
|
5 |
|
6 |
|
|
|
|
|
|||
|
5 |
|
|
|
|
|
|
|
|
|
|
× |
|
6 |
|
|
|
|
|
||
|
6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
× |
|
|
|
|
|
|
50