Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Экспертные методы управления технологичностью промышленных изделий. Монография
.pdf
Глава 2. Подбор экспертов для решения задач управления технологичностью
n
n
где b − коэффициент пропорциональности, определяемый экспертным
методом.
Рассмотренные методы при практическом применении требуют
больших объёмов вычислительных работ. Кроме того, понятие «среднего ранжирования» не вполне обоснованно.
Для уменьшения вычислений был разработан метод определения
коэффициента Спирмэна [68]:
n
2
d
6
∑
i
1
i
ρ
1
j
=
−=
3
, (2.4)
−
где d
пертом i-му объекту. Величина ρ
– разность между средним рангом и рангом, присвоённым j-м экс-
i
заключена в интервале -1 ≤ ρ
j
≤ 1, но
j
может быть переведена для удобства в 10-балльную шкалу.
Если эксперты не ранжируют объекты, а определяют их численные
значения, то компетентность эксперта по отклонению от средней можно
определить в виде функции
minmax
fК ∆∆= ,
),(
jjосj
где
экспертом i-му объекту и средними значениями оценок;
– максимальное расхождение между оценками, назначенными
j
min
∆
− мини-
j
max
∆
мальное расхождение между оценками, назначенными экспертом i-му
объекту и средними значениями оценок.
При другом способе используется понятие «расстояние»:
n
1
∑
2
i
=
1
−=
MMp
, (2.5)
ijij
где
– значение оценки, назначенное j-м экспертом i-му объекту;
M
ij
M
−
i
среднее значение оценки.
Тогда коэффициент компетентности эксперта определяется по формуле
)1(10
pK −= . (2.6)
jосj
91
Глава 2. Подбор экспертов для решения задач управления технологичностью
Оценка качества эксперта по воспроизводимости результатов
экспертиз. Как
известно, одним из главных критериев достоверности
любого научного результата является его воспроизводимость. То же самое относится к эксперту и выносимому им суждению. Высоким может
считаться качество только такого эксперта, для которого свойственна
воспроизводимость назначенных им оценок. Если опрос проводится в
несколько туров, то воспроизводимость результата означает, что оценки
эксперта, данные в последующем туре, должны быть достаточно близкими к аналогичным оценкам в предыдущем туре. В этом случае можно
говорить о малом значении случайной погрешности экспертной оценки,
т.е. о стабильности его мнения. К сожалению, оценка воспроизводимости результата, относящаяся к тестовым методам, еще не нашла широкого применения при отборе экспертов для оценки технологичности изделий.
Воспроизводимость результата проверяется следующим образом.
Проводятся два тура экспертиз. При этом промежуток времени между
двумя турами должен быть невелик, чтобы исключить возможность получения экспертом новой информации, которая могла бы привести к изменению его суждения, и в то же время достаточен, чтобы эксперт забыл
значения, назначенные им в первом туре.
Если назначаются численные значения (например, коэффициенты
весомости), то для определения воспроизводимости целесообразно использовать аналогичные формулам (2.5), (2.6) выражения, в которых заменить расстояние между частной и средней оценкой на расстояние между оценками одного и того же эксперта, назначенными в первом и втором турах. Если эксперт упорядочивает объекты в виде ранжирования,
то оценка воспроизводимости результата может быть определена при
помощи коэффициента ранговой корреляции Спирмэна (2.4).
Метод воспроизводимости результатов, на наш взгляд, должен быть
одним из важных критериев при отборе членов экспертной группы, принимающей решения по управлению технологичностью изделий, так как
тестовая задача позволяет оценить как профессиональную компетентность эксперта, так и его объективность и квалиметрическую компетентность.
Документальные оценки качества эксперта. Такие виды оценок
независимы от чьего-либо мнения, так как учитывают объективные, документально подтверждённые факты деятельности человека-эксперта:
число лет работы (практический стаж), количество публикаций, профес-
92
Глава 2. Подбор экспертов для решения задач управления технологичностью
сиональный статус. В некоторых исследованиях предлагается учитывать
наличие изобретений, владение иностранными языками, возраст, участие в совещаниях, симпозиумах и конференциях и др.
Условий для эффективного применения документальных оценок качества экспертов ещё недостаточно, что объясняется следующими причинами:
-
при переводе в количественные оценки документальных факторов
возникает субъективность оценок;
большая часть факторов документального характера в той или
-
иной мере учитываются при взаимооценке и самооценке экспертов;
влияние факторов документальной оценки очень сильно зависит от
-
области работы эксперта.
Комплексные оценки качества эксперта. Этот обзор показывает,
что ни один из существующих методов эвристической, статистической,
тестовой или документальной оценки сам по себе исчерпывающе характеризовать качество эксперта с учетом многочисленных требований,
предъявляемых к нему, не может. Дать полную характеристику эксперту
можно лишь на основе совместного использования различных методов
путем вычисления комбинированной оценки. Обосновать это можно
следующими положениями:
-
качество эксперта представляет собой иерархическую структуру
свойств, каждое из которых может быть количественно охарактеризовано одним из видов частных оценок (эвристических, статистических, документальных, тестовых). Следовательно, в соответствии с принципами
квалиметрии оценка качества эксперта должна быть величиной комплексной, зависящей от частных оценок;
-
на сегодняшний день разработаны на хорошем методологическом
уровне только методы самооценки, взаимооценки, оценки рабочей группой, оценки отклонения от средней и оценки воспроизводимости результата. Их и целесообразно применять для вычисления комплексной
оценки качества эксперта;
-
для сведения частных оценок в комплексную оценку целесообразно использовать формулу средней арифметической с учётом весомости
каждой частной оценки. Весомость частных оценок должны определять
специалисты, профессионально занимающиеся методологией экспертных оценок.
93
Глава 2. Подбор экспертов для решения задач управления технологичностью
2.5. МОДЕЛЬ КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА
ЭКСПЕРТА, ПРИВЛЕКАЕМОГО К ОЦЕНКЕ И
ПРОГНОЗИРОВАНИЮ ТЕХНОЛОГИЧНОСТИ
ИЗДЕЛИЯ
Экспертное прогнозирование такого сложного показателя качества
изделий как технологичность конструкции характеризуется многокритериальной системой альтернатив у специалистов, что требует более совершенных методов отбора и оценки качества экспертов. На базе анализа приведенных выше содержательных предпосылок, лежащих в основе
методов взаимооценки и самооценки эксперта, разработана модель,
уменьшающая субъективность известных эвристических методов отбора
экспертов [52, 59]. Она включает два этапа оценки качества эксперта
рис. 2.1):
(
Этап 1 (предварительный). На этом этапе кандидаты в эксперты
проходят процедуры взаимооценки и самооценки. Вырабатывается
комплексная оценка качества эксперта на основе весомости каждой из
процедур.
Основой предлагаемого метода взаимооценок является предположение о том, что участник экспертизы как специалист, компетентный в
исследуемой области, корректнее оценит компетентность партнёра по
экспертизе, нежели лицо, не связанное профессионально с решаемой
проблемой. В ходе взаимооценок любому эксперту в силу психологических и этических причин легче самому составить список компетентных
на его взгляд коллег, чем проранжировать предлагаемый организаторами экспертизы список кандидатов. Необходимо учитывать зависимость
между компетентностью эксперта и уровнем корректности информации,
получаемой от него в ходе взаимооценок. Учет корректности информации позволил бы объективизировать оценку качества эксперта при
наличии конъюнктурных интересов.
Кроме того, как уже подчеркивалось, в ходе взаимооценок не всегда
возможно достоверно отобразить такие составляющие качества эксперта, как информированность, специализация, степень знакомства с изделием, практический стаж работы и др. Эти свойства, оценивающие
профессиональную компетентность, целесообразно выявить в ходе самооценки эксперта. Комбинирование этих двух методов позволит получить объективную комплексную оценку качества эксперта.
94
Глава 2. Подбор экспертов для решения задач управления технологичностью
(эвр
)
II
)
Система проектирования и
производства изделий
I этап
Взаимооценка с
учётом корректности
истическая оценка
Кандидаты в эксперты
Самооценка с учётом
информированности и
знакомства с объектом
Комбинированная
оценка качества
эксперта
этап (тестовая оценка
Эксперты, прошедшие I этап отбора
Факторы оценки
технологичности
изделия
Парное сравнение
Непосредственное
ранжирование
Оценка воспроизво-
димости результата в
виде коэффициента
корреляции
Окончательно отобранные эксперты
Экспертиза
промышленных изделий
Рис.2.1. Модель комплексной оценки качества экспертов, участвующих в
процедурах оценки и прогнозирования технологичности изделий
95
Глава 2. Подбор экспертов для решения задач управления технологичностью
{
}
{
}
{
}
{
}
Пусть
{}
i
sieU
,1 , == – множество лиц, привлечение которых к экс-
пертизе теоретически возможно. Введем функцию компетентности
[]
1
iik
siUeRef
,1 , ,1 ;0)(
=∈⊂∈ ,
определяющую множество значений коэффициента компетентности
,1 ),( )( siefkkUK
ikii
===
и функцию корректности
[]
1
iit
=∈⊂∈
,,1 , ,1 ;0)(
siUeRef
характеризующую степень корректности получаемой от эксперта информации.
Функция корректности определяет множество числовых величин
itii
===Θ
,1 ),( )( siefttU
,
которые назовем коэффициентами корректности. Значения 0 и 1 функций f
и ft представляют, соответственно, минимальное и максимальное
k
значения выражаемых ими свойств. Для любого 0 < α < 1 существует
некоторое разбиение множества U на два непересекающихся подмножества
α
α
ikii
≤≥==∀=
,
,)( ),,1( snefknieE
α
ikii
EUefksnieE
\ )( ),,( =<==∀= .
αα
Пусть E
– группа первоначально отобранных экспертов. Тогда
α
можно сформулировать следующее утверждение.
Утверждение 1. Для любых двух
венство
tt > .
ji
Eei∈ и
α
Eej∈ имеет место нера-
α
Очевидно, что до проведения взаимооценок нельзя указать минимальное значение коэффициента компетентности α по экспертной груп-
96
Глава 2. Подбор экспертов для решения задач управления технологичностью
α
пе. Это обстоятельство означает произвольный выбора α при комплектовании экспертной группы и позволяет усилить первое утверждение.
Утверждение 2. Для любых двух Uee
гда следует
tt > .
ji
Действительно, пусть для определённости ) ,( Ueekk
рем
kk <<
. Тогда
ji
Eei∈ ,
α
Eej∈ и в силу утверждения 1
α
∈, из условия
ji
kk > все-
ji
∈> . Выбе-
jiji
tt > , что
ji
и требовалось доказать.
Из последнего утверждения следует принципиальная возможность
моделирования отображения L:
функциями с областями значений [0, 1] вида 0 ,)( >= gffL
ffLfg === )( 1 имеет линейную зависимость корректности ин-
kkt
ff → монотонно возрастающими
tk
g
kk
. При
формации от компетентности представившего её эксперта.
При использовании предлагаемой модели изменяется процедура
вычисления коэффициента компетентности эксперта. Для участия в экспертизе по методу взаимооценок каждый предварительно отобранный
эксперт составляет список достаточно компетентных специалистов. Коэффициент компетентности некоторого l-го эксперта рассчитывается по
формуле
n
x
∑
ij
=
1
=
j
nin
∑∑
==
11
j
, ),1( nl = , (2.7)
x
ij
k
взl
где k
тодом взаимооценок; x
– коэффициент компетентности l-го эксперта, определяемый ме-
взl
− значение оценки, которое приравнивается к
ij
единице, если j-й эксперт указал i-го в своем списке, или нулю в противном случае.
Иначе k
представляет собой относительное число голосов, отдан-
взl
ных за включение i-го эксперта в группу.
Введем в расчёт весовые коэффициенты корректности ) ,1( nit
= .
i
Тогда коэффициент компетентности l-го эксперта, определяемый согласно (2.7), можно оценить по формуле
97
Глава 2. Подбор экспертов для решения задач управления технологичностью
n
xt
∑
=
j
nin
k
взl
∑∑
==
11
ijj
=
1
),1( nl = . (2.8)
xt
j
ijj
Данная оценка является относительным числом «взвешенных» t
го-
i
лосов, отданных за участие l-го эксперта в экспертизе. Приняв
njkefeft
jjkjtj
,1 ,)()( ==== , рассмотрим систему n алгебраических
уравнений 2-й степени:
n
⎧
∑∑∑
===
111
j
⎪
11
nin
xkkxk
=−
j
ijjjj
,0
⎪
решение которой при
циенты компетентности экспертов. Для решения системы (2.9) исполь-
зуется подпрограмма, реализующая итерационный вычислительный
процесс
...
⎨
n
⎪
∑∑∑
⎪
===
111
j
⎩
nin
xkkxk
=−
j
ijjnnjj
n
==≥
knlk
∑
=
1
i
n
m
∑
=
j
nin
+
1
m
k
взl
∑∑
==
11
xk
lj
j
=
1
xk
j
1 ; ,1 ;0 позволяет оценить коэффи-
ll
) ,1( nl = ,
ijmj
(2.9)
,0
где m – номер итерации.
Начальное приближение вычисляется по формуле (2.7).
На первом этапе комплексной оценки качества эксперта реализуется
еще один эвристический метод самооценки, учитывающий информированность и научные познания эксперта, степень специализации по оцениваемым семействам изделий, профессиональный статус и стаж работы. Эксперт заполняет специальную анкету в виде бумажной либо электронной формы, где отражает приведённые качества. На рис. 2.2 представлена заполненная экспертом и обработанная рабочей группой анкета
самооценки, использовавшаяся при проведении предварительного отбора экспертов для прогнозирования технологичности конструкции изде-
98
Глава 2. Подбор экспертов для решения задач управления технологичностью
АНКЕТА САМООЦЕНКИ
Эксперт Крымов К. И.
Дата 23 апреля 2009 г.
Отметьте соответствующую интенсивность проявления у Вас данного фактора в
столбце 3 (помеченные * столбцы не заполнять)
№
п/п
Фактор и его проявление
Место
для
от-
метки
Весомость
фактора
и оцен-
m
i
ка интен-
m
i
сивности
d
i
1 2 3 4
1 Отечественная литература по вопросам про-
ектирования, изготовления, эксплуатации и
ремонта электромеханических изделий
• читаю часто и регулярно
• читаю часто, но не регулярно
• читаю редко
• не читаю
2 Зарубежная литература по вопросам проек-
тирования, изготовления, эксплуатации и
ремонта электромеханических изделий
3 Патентная информация
4 Фирменная информация, каталоги, проспек-
5 Степень специализации и знакомства с из-
6 Стаж практической работы
7 Профессиональная принадлежность
Коэффициент компетентности
• читаю часто и регулярно
• читаю часто, но не регулярно
• читаю редко
• не читаю
• читаю часто и регулярно
• читаю часто, но не регулярно
• читаю редко
• не читаю
ты, реклама
• читаю часто и регулярно
• читаю часто, но не регулярно
• читаю редко
• не читаю
делием
• принимал участие в разработке
• принимал участие в освоении
• знаком в общих чертах
• не знаком с изделием
• более 10 лет
• от 5 до 10 лет
• от 1 до 5 лет
• менее 1 года
• технолог, конструктор
• материаловед, экономист, менеджер
• мастер, техник, нормировщик
• прочие профессии
√
√
√
√
√
√
√
*
0,15
1
0,75
0,20
0
0,20
1
0,75
0,20
0
0,10
1
0,75
0,20
0
0,10
1
0,75
0,20
0
0,20
1
0,75
0,20
0
0,15
1
0,75
0,20
0
0,10
1
0,75
0,20
0
0,808
5
0,15
0,15
0,02
0,075
0,20
0,113
0,10
· d
*
i
Рис. 2.2. Форма заполненной анкеты самооценки эксперта
99
Глава 2. Подбор экспертов для решения задач управления технологичностью
лия на одном из производственных предприятий машиностроения.
Столбцы 4 и 5 служат для обработки результатов и вычисления коэффициента компетентности и во избежание возможного влияния на мнение
эксперта заполняются членами рабочей группы после заполнения анкеты экспертом.
Коэффициент компетентности l-го эксперта при самооценке вычис-
ляется по формуле
n
=
∑
i
=
dmk
, (2.10)
1
iiсамl
где m
– весомость факторов информированности, кругозора научного
i
познания, степени специализации, практического стажа и профессии; d
оценка, зависящая от интенсивности проявления перечисленных выше
–
факторов; n – число факторов, влияющих на самооценку эксперта.
С учетом специфики оцениваемых изделий mi может корректироваться экспертной группой. Полную оценку способностей эксперта на
первом этапе можно получить, используя результаты его взаимооценки
и самооценки. В соответствии с принципами квалиметрии оценка качества эксперта должна быть величиной комбинированной. Весомость частных оценок определяется группой экспертов исходя из практического
опыта, накопленного в ходе проведения экспертиз.
Комбинированную оценку качества эксперта на первом этапе можно рассчитать по формуле
I
l
kmkmk +=
, (2.11)
взвзсамсам
i
где m
перта; k
сам
и m
и k
вз
– коэффициенты весомости оценок компетентности экс-
вз
– коэффициенты компетентности экспертов, получен-
сам
ные методом самооценки и взаимооценки по формулам (2.10) и (2.8).
Этап 2. Данный этап реализуется тестовым методом. Экспертам,
успешно прошедшим отбор на первом этапе, предлагается упорядочить
некоторые факторы оценки свойств объекта (технологичность конструкции, качество, технический уровень) по степени убывания их значимости сначала методом парных сравнений, а затем ранжированием.
Процедура основывается на определении степени коррелированности
двух отдельных, независимо составленных экспертом упорядочений и
позволяет говорить о качестве эксперта. При этом независимость про-
100
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]