1.6. Технология экспертной оценки
Ключевая фигура в процессе оценивания качества – лицо, разрабатывающее МОК (ЛРМ). ЛРМ может самостоятельно, без чьей-либо помощи разработать МОК только в том случае, если оцениваемый объект – несложный и, кроме того, используется не экспертный или смешанный, а аналитический метод.
Но, если применяются экспертный или смешанный методы, а значит в разработке (а иногда и в использовании) МОК участвует несколько человек, то возникает вопрос – как целесообразно построить их работу? Должны ли все они быть универсальными специалистами (когда каждый может выполнять любую работу) или же желательно обеспечить их специализацию?
Опыт показывает, что в этой среде деятельности специализация более предпочтительна, чем универсальность. Поэтому рассмотрим какие целесообразно выделить группы участников разработки МОК и как это должно делаться.
Формирование организационной группы (ог)
ОГ создаются для методического руководства разработкой МОК. Возглавляет ее ЛРМ.
Если объект оценки является сложным (например, самолет), а лимит времени на разработку МОК небольшой (например, для упрощенного способа оценивания качества – не более 1,5 месяца), то в ОГ включаются 1 – 2 специалиста по оцениваемому объекту. Их основная задача – оказать помощь ЛРМ в методическом руководстве разработкой МОК. Если же помощь дополнительных специалистов не нужна, то функции ОГ выполняет сам ЛРМ.
Формирование технической группы (тг)
ТГ (иногда ее называют рабочей группой) формируется для технического обеспечения создания МОК – т.е. выполнения работ:
машинописных,
чертежных,
вычислительных (в том числе машиносчетных).
ТГ подчиняется ЛРМ или, по его указанию, другому члену ОГ.
Численный состав ТГ составляет от 0 (когда оценивание качества производится, например, в рамках дипломной работы или диссертации) до трех человек (когда задан малый срок разработки сложной МОК – меньше месяца). Обычно же в ТГ входят 1 – 2 человека. Время их работы в ТГ может быть непрерывным (например, 25 дней) или разбито на отрезки (25 дней в течение трех месяцев работы ОГ).
Определение требуемой численности экспертной группы (эг)
Для упрощенного метода оценивания качества целесообразна численность ЭГ от 7 до 10 человек, в зависимости от сложности объекта.
В отдельных случаях, когда времени на разработку МОК мало (например, не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или тем более морское судно), бывает необходимо сформировать не одну, а две или даже три ЭГ, численностью по 7 – 10 человек. В этом случае каждая ЭГ специализируется на отдельных группах свойств объекта и работает параллельно, независимо от других (под руководством одного из членов ОГ).
Если же МОК разрабатывается не упрощенным, а приближенным или тем более точным методом, то применяется более сложный (но и более точный) способ определения численности ЭГ. В его основе лежат два положения.
П е р в о е. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки qЭ, т.е. меньше относительная погрешность ε и выше доверительная вероятность (надежность) γ, с которой вычисляется qЭ.
Причем:
,
где: qИСТ – истинное значение той характеристики, которая определяется экспертным методом;
Δq – абсолютная погрешность, определяющая доверительный интервал:
.
В т о р о е. Чем больше априорной (предварительной) информации известно ОГ относительно ЭГ и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов1.