6. Тестовые оценки

Тестовый метод основан на испытаниях, в процессе которых оцениваются некоторые психофизиологические особенности, от которых зависит качество эксперта.

Учитывая, что в настоящее время в экспериментальной психологии накоплен большой опыт по разработке тестовых задач (например, для профессионального отбора и профессиональной ориентации), тестовый метод является перспективным и при оценки качества экспертов.

Тестовые исследования проводятся специальными способами для:

- оценки воспроизводимости результата,

- оценки квалиметрической компетентности эксперта,

- оценки объективности корректирования своих оценок и др.

7. Документальные оценки

Существует много различных мнений по документальным оценкам. Предполагают учет следующих, документально подтвержденных факторов:

1. число лет работы,

2. количество публикаций,

3. профессиональный статус,

4. количество изобретений,

5. владение иностранными языками,

6. участие в конференциях, симпозиумах, крупных совещаниях,

7. возраст, состояние здоровья, работоспособность, физические недостатки и др.

Анализ этих факторов в настоящее время носит дискуссионный характер, поэтому существует мнение, что их можно оценить одним совокупным коэффициентом.

8. Комбинированные оценки.

Учитывая, что ни одна из вышеприведенных оценок не способна полностью охарактеризовать качество эксперта, предлагается вычислять комбинированные оценки, основываясь на следующих исходных данных:

1. Оценка должна быть комплексной, в зависимости от частных оценок.

2. В первую очередь следует учитывать три эвристические оценки (самооценка, взаимооценка и оценка рабочей группой) и две статистические (оценка отклонения от средней и оценка воспроизводимости результата.

3. Комбинированную оценку целесообразно определять по формуле:

К_Э = М_САМ К_САМ + М_ВЗ К_ВЗ + М_РГ К_РГ + М_ОС К_ОС + М_ВР К_ВР,

где М_i - значения весомости соответствующих частных оценок.

Проведенные опыты показали, что для получения достаточно приближенных данных можно воспользоваться следующей зависимостью:

К_Э = 0,14 К_САМ + 0,21 К_ВЗ + 0,13К_РГ + 0,22 К_ОС + 0,30 К_ВР.

Для выбора лучших кандидатов в состав экспертной группы, при ее формировании (до начала экспертизы), можно воспользоваться упрощенной комбинированной оценкой:

К_Э = 0,4 К_САМ + 0,6 К_ВЗ.

9. Определение количества экспертов.

Руководствуясь теорией вероятности, для определения количества экспертов можно воспользоваться следующей формулой:

,

где S - среднеквадратичное отклонение оценки качества;

t_ - коэффициент, значение которого определяют по таблицам в зависимости от доверительной вероятности,

значения которой принимают в пределах  = (75...95)%, и предельно допустимой относительной ошибки ,

где  - абсолютная погрешность (ошибка).

При  = (75...95)% и ₁ = 0,5, значения числа экспертов составляют 5...15 человек,

при  = (75...95)%, ₁ = 0,3, значения числа экспертов составляют 15...43 человека.

Можно также число экспертов определить через коэффициент вариации, как отношение стандарта к среднему значению экспертной оценки i -го параметра.