4.2. Подготовка и проведение оценок

Здесь мы дадим общие рекомендации о том, как проводить подготовительный этап субъективных оценок. От конкретной ситуации зависит, в какой мере эти рекомендации могут быть учтены.

После определения подлежащего оценке объекта и тщатель­ной проверки, что необходимые данные можно получить только субъективным путем, субъективную оценку целесообразно под­готавливать по следующим этапам:

1) выбор области оценки;

2) изготовление формуляров для опроса и подведения итогов;

3) организация (регистрация, план проведения, программа расчетов и т. д.) оценивания;

4) определение общего числа экспертов и персональный выбор.

Кроме того, нужно учесть следующее.

Область оценки должна быть достаточно широкой, чтобы с самого начала не повлиять на результат оценки; при необходи­мости следует предварительно провести специальную экспер­тизу. Опросный лист отражает в сжатой и ясной форме задачу опроса и содержит далее интересующие организаторов вопросы, которые могут быть, например, даны и в форме таблиц, чтобы опрашиваемому достаточно было просто отметить вариант от­вета. Иногда имеет смысл провести предварительно опрос в узком кругу специально не оповещенных заранее сотрудников, поскольку таким путем можно выявить неясности и нежелатель­ные интерпретации вопросов, а также получить полезные ре­комендации относительно дополнительных вопросов.

Организация оценивания тесно связана с конкретными дан­ными, относящимися к задаче, так что общие указания здесь обычно не требуются. Важно установить соразмерное число опрашиваемых. В особых случаях, когда нет оснований боять­ся ни случайных, ни систематических ошибок, достаточно узнать мнение единственного компетентного специалиста. В общем случае, когда прежде всего речь идет об усреднении случайных ошибок, правильную линию должна наметить связь, описывае­мая формулой

. (4.1)

В этом соотношении, основывающемся на центральной предель­ной теореме теории вероятностей, символы обозначают: – квантиль порядка стандартного нормального распределе­ния; – дисперсия оценки; – допустимое отклонение полу­ченных оценочных значений от того значения, которое получи­лось бы при бесконечном числе оценивающих; – число экс­пертов, при котором вероятность того, что ошибка оценки не превышает , по меньшей мере равна .

Величину допустимого отклонения и вероятность ошиб­ки задать относительно просто, после чего легко определить, например, из таблиц квантиль . Чтобы с помощью формулы (4.1) рассчитать минимально необходимое число . нужно знать дисперсию оценки, которая характеризует рассея­ние отдельного оценочного значения и в свою очередь опреде­ляется совокупностью оценок , со средним значе­нием и дисперсией:

, (4.2)

. (4.3)

Однако перед проведением оценки значения неизвестны; кро­ме того, в формулу для входит . которое как раз и нужно определить. Поэтому применение формулы (4.1) предполагает, что мы уже знаем величину дисперсии , например из преж­них аналогичных оценок или предварительно проведенной в по­рядке подготовки пробной оценки. В конкретных оцениваемых ситуациях можно, например, провести оценку в кругу наиболее компетентных лиц. При этом верхняя граница для опреде­лится практическими соображениями (допустимыми затратами или фактически имеющимся числом нужных специалистов и т. п.), а затем по формулам (4.2) и (4.3) рассчитывается вели­чина дисперсии . Если после этого для заданных значений и величина, стоящая в правой части формулы (4.1), не пре­вышает , то оценку можно считать справедливой и характе­ризующейся вероятностью ошибки и максимальным отклоне­нием .

В заключение следует добавить, что к субъективной оценке нельзя привлекать пристрастных лиц. Нельзя допустить, чтобы уже при постановке проблемы проявились предубежденность и заинтересованность опрашиваемых в определенном результате.

Точка зрения конструкторов, проектировщиков, изготовите­лей и эксплуатационников технических устройств по определен­ным вопросам может быть весьма типичной, ярко выраженной, резко различной для указанных групп. Желательно, чтобы эксперт обладал такими качествами, как:

• предварительные знания и профессионализм, достаточные для суждения об оцениваемом объекте;

• самостоятельность суждений, хорошая память, чтобы про­межуток времени между заключением об оценке и мо­ментом опроса не влиял на результат;

• наличие знаний о сходных случаях;

• логические способности для суждения об аналогичных, но не идентичных ситуациях.

Обычно эти качества очень трудно проконтролировать и нет каких-либо точных критериев для их распознавания. Руководи­тель экспертного опроса должен в значительной степени пола­гаться здесь на собственный опыт и интуицию. С другой сторо­ны, отказываться от учета этих требований нельзя.

Субъективная оценка может касаться значения какой-то важной величины, границ интервала, в котором следует ожи­дать появления или распределения этой величины. Не стоит, однако, ожидать очень уж хорошего согласия субъективно оце­ненного распределения с истинным.