Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Экспертные методы управления технологичностью промышленных изделий. Монография

.pdf

Скачиваний:

Добавлен:

08.09.2026

Размер:

2 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 209 10 11 12 13 14 15 16 17 18 19 20 > Следующая >>>

Глава 2. Подбор экспертов для решения задач управления технологичностью

3±x

∑

−

)(

пробi

где x

− оценка технологичности, данная i-м экспертом; x

– средняя

проб

арифметическая оценок по результатам «пробного» обследования; n – число экспертов, участвовавших в «пробной» оценке технологичности промышленного изделия.

Задание погрешности не в виде абсолютной величины ∆, а в виде

относительной погрешности ∆ неизвестно). Тогда с учётом того, что

, выраженной в долях от δ (даже если δ

∆

∗

=∆

, формула (2.2) примет вид

Если можно с достаточной точностью указать максимальное и

. (2.3)

22∗

∆

минимальное возможные значения прогнозной оценки технологичности среди экспертов, то, считая нормальным, распределение значений оценок включают в промежуток

. Он содержит 99,7 % всех вариантов

значений прогноза.

Тогда среднее квадратическое отклонение можно определить по формуле

xx −

minmax

Если данная экспертная группа ранее оценивала технологичность каких-либо других промышленных изделий, то можно использовать дисперсию результатов δ

этих оценок для нахождения количества спе-

циалистов в новой экспертизе. По результатам опроса может быть определён и коэффициент вариации оценок

Vδ= ,

%100

где

– среднее значение экспертных оценок технологичности.

Тогда формула (2.2) приобретает вид

Глава 2. Подбор экспертов для решения задач управления технологичностью

n =

где ε – относительная погрешность, задаваемая в долях

(обычно со-

ставляет 5 %).

Однако не следует упускать из виду того факта, что на выбор количества экспертов влияют не только надёжность и точность результатов экспертизы, но и такие факторы, как трудоёмкость процесса опроса, управляемость группой, ограниченность количества квалифицированных специалистов на данном предприятии и др. Последний фактор может привести к тому, что по мере увеличения численности первоначальной группы высококомпетентных специалистов в неё будут включаться эксперты всё более низкой квалификации. Это, в конечном итоге, может привести к снижению точности оценки уровня технологичности с последующими ошибками при управлении этим свойством.

Таким образом, в общем виде можно записать

),,,,(

ККKfn ∆=

прупртр

Количество экспертов есть функция от таких аргументов, как надёжность оценок α, точность (погрешность) ∆, допустимая трудоёмкость опроса К ности предприятия по формированию экспертной группы К

, возможность управления экспертной группой К

тр

, возмож-

упр

пр

Рассчитаем рекомендуемое количество экспертов для случая формирования новой группы. Зададим интервал изменения относительной погрешности ∆ в пределах (0,1…0,5) от среднего квадратического отклонения. Уровни надёжности оценок (доверительной вероятности) α для соответствующих значений t представлены в строках табл. 2.1.

Тогда расчетные значения n для соответствующих величин α и ∆, полученные по формуле (2.3), можно отразить в виде табл. 2.1 (округление значений n произведено до целого числа в большую сторону). Наиболее предпочтительные варианты количества экспертов выделены в таблице рамкой.

Трудоёмкость проведения опроса экспертов значительно снижается при использовании автоматизированных методов и вычислительной техники. Учёт влияния факторов К

и Кпр реализуется на основании

упр

обобщения практического опыта проведения экспертиз. Состав группы

Глава 2. Подбор экспертов для решения задач управления технологичностью

из 12…18 человек можно считать оптимальным по параметрам К

и приемлемым по точности и надёжности результатов.

тр

Таблица 2.1

Расчётные значения количественного состава экспертной группы в

зависимости от надёжности и погрешности оценок

0,5

Предельная ошибка (погрешность) оценки, ∆ Плотность

0,45

0,4

0,35

0,3

0,25

0,2

0,15

функции рас-

пределения

нормирован-

ной случайной

величины, t

1,00 0,683 4 5 7 9 12 16 25 45 100 1,96 0,950 16 19 24 32 43 62 96 171 384 2,00 0,954 16 20 25 33 45 64 100 178 400

2,58 0,990 27 33 42 55 74 107 167 267 666 3,00 0,997 36 45 57 74 100 144 225 400 900

Надёж-

ность

оценок,

упр

, Кпр,

0,1

Возможен и другой метод определения числа экспертов, который можно назвать расчетно-экономическим. Он заключается в расчёте экономической эффективности проводимых экспертиз. Из формулы (2.1) следует, что точность оценки ∆ пропорциональна корню квадратному из числа экспертов n, а затраты можно считать пропорциональными числу экспертов. Сравнение экономического эффекта от повышения точности экспертной оценки с дополнительными затратами, позволяет определить целесообразное число экспертов.

Довольно часто количество экспертов выбирается случайным образом, без обоснований и учёта действующих факторов. Изложенные выше методы и рекомендации могут способствовать исключению подобных ситуаций и повышению точности экспертных оценок.

2.4. ОБЗОР МЕТОДОВ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТА

Правильный

отбор специалистов для участия в работе экспертной

группы очень важен, так как качество назначенных ими оценок в значительной степени определяется качеством экспертной группы. Поясним, что мы вкладываем в понятие «качество эксперта» и рассмотрим совре-

Глава 2. Подбор экспертов для решения задач управления технологичностью

менные методы, используемые для отбора эксперта по критерию качества.

Важно установить не абсолютную степень надёжности оценки эксперта, а степень надёжности по сравнению с показаниями «среднего» специалиста, а также корреляцию между вероятностью его прогнозной оценки и надёжностью класса тех гипотез, которыми оперирует эксперт. Отбор эксперта осложняется необходимостью учёта многообразных характеристик человека-кандидата на место эксперта. Предлагаемые методы учёта не являются достаточно удовлетворительными в силу ограниченности их узкими свойствами эксперта и специфическими областями применения. Например, вместо учёта многообразия свойств эксперта, принимают во внимание только его компетентность или ещё ýже – его профессиональную компетентность. Другая проблема – учет психофизиологических особенностей человека, от которых в значительной степени зависит успешное исполнение им обязанностей эксперта [90]. Ведь известно, что на принимаемое человеком решение, в том числе и на экспертную оценку, оказывает влияние целый ряд его индивидуальных психологических особенностей, например, склонность к риску, подсознательное предпочтение тех или иных численных значений по шкале отношений или вероятностей. Существует также противоречие между стремлением уменьшить расходы на экспертизу, уменьшая количество экспертов, и повысить надёжность и точность оценок путем увеличения количества опрашиваемых.

Вынося суждение о качестве эксперта, тот или иной специалист руководствуется своими представлениями о существенности свойств, характеризующих экспертов. Для однозначности восприятия понятия «качество эксперта», на наш взгляд, было бы целесообразным предварительно знакомить специалистов, участвующих в самооценке или оценке других экспертов, с полным списком свойств эксперта.

На основе анализа научных публикаций и с учетом специфики задачи управления технологичностью конструкций промышленных изделий предлагается следующий список основных свойств, составляющих понятие «качества эксперта» и расположенных по убыванию значимости:

широкий кругозор научных познаний, информированность;

компетентность в предметной области (для экспертной оценки технологичности изделий необходимы знания в вопросах их проектирования, технологии изготовления, ремонта и эксплуатации);

Глава 2. Подбор экспертов для решения задач управления технологичностью

- практический опыт, стаж работы, профессиональный статус, место

в служебной иерархии;

специализация по оцениваемому семейству изделий, степень зна-

комства с ним, знание лучших образцов, перспектив развития изделия;

эвристичность – способность выявлять неочевидные проблемы;

креативность – способность решать трудноформализуемые задачи;

предикатность – способность предсказывать будущее решение за-

дачи;

независимость суждений и способность отстаивать своё мнение в

коллективе;

системность мышления и всестороннее видение проблемы;

собранность, внимательность, умение сосредоточиться;

умение использовать различные типы шкал измерения и объектив-

но оценивать вероятные значения;

способность различать достаточное число градаций оценочной

шкалы;

заинтересованность в экспертизе, добросовестность в оценке.

Последнее свойство эксперта зависит от многих факторов, например, степени загруженности эксперта на основной работе, целей экспертизы и характера выводов, которые могут быть сделаны по результатам оценки технологичности, индивидуальных особенностей эксперта. Эксперты должны обладать и деловитостью – свойством, включающим в себя собранность, эластичность внимания, коммуникативностью – умением работать с людьми при решении задач в конфликтной ситуации, умением мотивировать выносимые оценки.

При отборе экспертов нельзя пренебрегать и такими качествами эксперта, как опыт успешных прогнозов в прошлом по задаче оценки технологичности изделий, авторитет эксперта среди своих коллег.

Имея целью разработку более совершенной методики оценки качества эксперта, решающего прикладную задачу оценки и прогнозирования технологичности изделий, рассмотрим основные методы оценки, предлагаемые наукой и практикой. Большая часть методов оценки комплексного качества эксперта или отдельных его свойств классифицируется на пять групп [84]:

эвристические, которые реализуются на оценках, назначенных

другими экспертами или специалистами;

статистические, основанные на оценках, полученных в результате

обработки суждений экспертов об объекте оценки;

Глава 2. Подбор экспертов для решения задач управления технологичностью

- тестовые, основанные на оценках, полученных в результате специ-

альных тестовых испытаний экспертов;

документальные, которые базируются на документальных мате-

риалах об эксперте;

комплексные, использующие оценки, полученные с помощью лю-

бой совокупности перечисленных выше методов.

В каждой группе содержится несколько разновидностей методов.

Самооценка. Относится к эвристическим методам, когда эксперт сам оценивает свою профессиональную компетентность, степень знакомства с объектом экспертизы и др., заполняя предлагаемую ему анкету самооценки. Результаты анкетирования переводятся в количественную форму посредством присваивания оценок и весов каждому фактору, влияющему на самооценку эксперта. Для целей прогнозирования отбор экспертов осуществляется более тщательно, а потому таблицы самооценки могут содержать 20 и более пунктов.

Но самооценка имеет и определённые недостатки, крупный из которых заключается в том, что самооценка зависит от психологических особенностей эксперта. Установлено, что в зависимости от степени удовлетворенности собой человек непроизвольно меняет свою самооценку [20]. Такая оценка выше истинной, если человек доволен собой, и занижена, если он неудовлетворён собой. Кроме того, самооценка эксперта зависит от его понимания оценочной шкалы, количества градаций оцениваемых свойств. При этом эксперты, по-разному оценивающие своё качество, могут воспользоваться одинаковыми оценками, что приведёт к необъективности полученных результатов экспертизы.

Одним из разновидностей метода самооценки можно считать оцен-

ку по аргументированности и степени знакомства с анализируемым изделием

. Этот метод можно эффективно применять при подборе экс-

пертов для прогнозирования технологичности изделий конкретного класса, так как оценить это свойство конструкции более достоверно и полно могут лишь те специалисты, которые специализировались по данному виду продукции и компетентны в вопросах конструкторскотехнологических особенностей данного изделия.

Эксперт количественно оценивает степень своей специализации по данному виду продукции и форму знакомства с ней (например, «специализируюсь по данному виду изделия», «участвую в проектировании

технологической подготовке производства) данного изделия», «с дан-

(

ным изделием не знаком» и т.д.). Такая оценка может быть достоверной

Глава 2. Подбор экспертов для решения задач управления технологичностью

лишь при условии тщательной проработки методов количественной оценки каждого из этих факторов (наличия соответствующих весов, оценочных критериев, коэффициентов значимости).

В силу недостаточной теоретической обоснованности и субъективности, слабой практической проработки, нам представляется, что метод самооценки по аргументированности и степени знакомства с изделием применять самостоятельно для комплексной оценки качества экспертов нецелесообразно. Однако комбинация этого метода с другими, например, методом взаимооценок, может дать приемлемые по точности результаты.

Взаимооценка. Сущность метода заключается в том, что, в целях уменьшения субъективности, оценка компетентности каждого эксперта определяется как средняя из оценок, назначенных всеми остальными экспертами. Было замечено, что существует достаточно тесная связь между профессиональной компетентностью эксперта и той усредненной оценкой, которую он может получить от своих коллег [106]. Упрощённая процедура коллективной оценки выглядит так: каждый эксперт ранжирует других экспертов по степени компетентности. Затем определяется средний ранг каждого эксперта. Однако такая процедура приемлема, если число экспертов не превышает 15 человек.

При большем числе экспертов процедура несколько изменяется. Каждый эксперт распределяет всех остальных в три подгруппы в соответствии со своими представлениями об уровне их компетентности и квалификации, например, наиболее квалифицированные, средней квалификации, низкой квалификации. Затем внутри этих подгрупп проводится ранжирование каждого эксперта. Каждая подгруппа имеет свой весовой коэффициент. С учётом ранга эксперта и весового коэффициента подгруппы выводится средняя оценка каждого эксперта как

∑

==1

вз

где

– средняя взаимооценка i-го эксперта; К

– оценка, проставлен-

вз

ная s-м экспертом i-му; c – число экспертов, оценивающих i-го эксперта.

Эвристическому методу присущ ряд недостатков. Если эксперт недостаточно знаком с каким-либо другим экспертом, он не имеет мораль-

Глава 2. Подбор экспертов для решения задач управления технологичностью

ного права оценивать его профессиональные качества. Может сложиться ситуация, когда некоторых экспертов может оценить лишь меньше половины всей экспертной группы. Выход из этой ситуации следующий: рабочая группа первоначально составляет список тем или проблем, на которые должны быть получены ответы в ходе экспертизы. Этот список показывают нескольким специалистам, чья компетентность несомненна, с просьбой рекомендовать экспертов, способных дать заключение по представленным темам. Затем список тем предоставляется каждому из названных специалистов второго уровня, которые в свою очередь тоже называют людей, компетентных в проблемах данного списка и т.д. Этот итеративный процесс завершается, как только перестают называться новые фамилии. При таком подходе вероятность того, что эксперты знакомы друг с другом значительно выше.

В методе преобладают этические и морально-психологические аспекты, поэтому взаимооценка должна быть анонимной. Кроме того, до каждого эксперта перед процедурой взаимооценки должно быть доведено содержание понятия «качество эксперта» для однозначного его толкования.

Оценка качества эксперта рабочей группой. В количественной форме (по 10-балльной или иной оценочной шкале) технические работники, проводящие опрос, дают характеристику эксперту по отдельным свойствам, например, собранности и внимательности, заинтересованности в участии в экспертизе и др. Конечно такие оценки не могут использоваться самостоятельно для комплексной оценки качества эксперта в силу их субъективности. Но при взвешенном применении этого эвристического метода в комбинации с другими можно получить эффективные и достоверные результаты.

Оценка качества эксперта по отклонению от среднего мнения группы. Этот

статистический метод основан на следующих соображе-

ниях. На точность результата при проведении экспертного опроса влияют многие факторы: организация и методика проведения оценки, способы определения оценок, число показателей технологичности, характер взаимоотношений между экспертами и т.д. Таким образом, влияют как субъективные (зависящие от эксперта), так и объективные (зависящие от методики оценки) факторы, воздействующие на процесс оценки как помехи. Погрешность оценки, возникающая под их воздействием, имеет систематическую и случайную составляющие. Случайная погрешность зависит от психофизиологических особенностей эксперта, его собранно-

Глава 2. Подбор экспертов для решения задач управления технологичностью

сти, уверенности в правильности информации, внимательности и т.д. Случайную погрешность экспертной оценки можно уменьшить многократным повторением оценок. Систематическая погрешность возникает из-за недостаточной или неправильной информированности эксперта. Повысить информированность можно, ознакомив эксперта с необходимой информацией перед началом экспертизы или организовав обсуждение в коллективе, в процессе которого эксперт получит дополнительные знания от других специалистов.

Таким образом, экспертную оценку технологичности изделия К

можно представить в виде

КККК ∆±∆±=

случсистТиТ

где К систематическая составляющая погрешности оценки; ∆К

– истинное значение оценки технологичности изделия; ∆К

Ти

– случайная

случ

сист

–

составляющая погрешности оценки.

Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы, а случайную погрешность

воспроизводимостью результатов. В обоих случаях требуется стати-

–

стическая обработка экспериментально полученных данных.

В основе метода оценки качества эксперта по отклонению от среднего мнения экспертной группы лежит предположение, что истинным значением определяемой или прогнозируемой экспертами величины является средняя оценка экспертной группы. Чем меньше отклонение индивидуальной экспертной оценки от коллективной (усредненной по группе), тем выше качество эксперта, давшего эту оценку. Следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией.

Если эксперт ранжирует оцениваемые величины, то В.Д. Малюгиным [71] предлагается оценивать компетентность i-го эксперта выраже- нием

комi

)(LfR

где L – расхождение между ранжированием эксперта и «средним» ранжированием; f – некоторая монотонная функция, выбираемая с учётом специфических условий работы конкретной экспертной группы.

Глава 2. Подбор экспертов для решения задач управления технологичностью

Другая разновидность метода основана на использовании коэффициента конкордации [68]. После ранжирования объектов подсчитывает-

ся сумма рангов каждого объекта

∑

=cj

, где аij – ранг i-го объекта у j-го

эксперта. Затем подсчитывают отклонение от средней суммы рангов ∆ по формуле

∑

Ta −=∆

iji

где Т

– средняя сумма рангов, определяемая выражением

⎛

⎜ ⎝

⎞ ⎟

⎠

где n – число объектов.

Рассчитывают сумму квадратов отклонений S

′

по формуле

∑

∆=

′

и коэффициент конкордации для c экспертов по формуле

′

)(

nnc

−

Аналогично вычисляется коэффициент конкордации

для груп-

1−c

пы из (c - 1) экспертов (т.е. для группы, из которой исключен i-й экс- перт). Затем для каждого j-го эксперта вычисляется отклонение

WWW

−=∆

1−

Оценка компетентности (качества) j-го эксперта К

пропорциональной величине отклонения

W∆

принимается

комj

WbK ∆=

cкомj

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 209 10 11 12 13 14 15 16 17 18 19 20 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]