Порядок экспертизы

Шаг 1: Организаторы экспертизы предоставляют каждому эксперту информацию по проблеме в виде сформулированной цели опроса и анкеты, включающей совокупность оцениваемых факторов или событий.

Шаг 2: Каждый эксперт независимо от других решает сформулированную задачу. Результаты решений собираются организаторами экспертизы.

Шаг 3: Организаторы опроса производят статистическую обработку анкет и формируют коллективное суждение экспертной группы, выявляют и обобщают аргументы, соответствующие различным суждениям.

Шаг 4: Полученная в результате обработки информация вместе с начальной информацией снова сообщается экспертам. Участников опроса просят объяснить причины несогласия с коллективным суждением и пересмотреть первоначальную точку зрения.

Шаг 5: Повторение шага 2 с целью сужения диапазона оценок экспертов (повтор – 3–4 раза).

Точность групповой оценки существенно зависит от числа экспертов в группе. Ясно, что уменьшение числа экспертов ведет к снижению точности оценки, поскольку на групповую оценку излишнее влияние оказывает оценка каждого из экспертов. В то же время при очень большом числе экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые, хотя и отличаются от мнения большинства, однако далеко не всегда оказываются ошибочными. Установить оптимальную численность группы экспертов чрезвычайно трудно. С.Д. Бешелев и Ф.Г. Гурвич приводят кривую, характеризующую зависимость между количеством экспертов в группе и средней групповой ошибкой (Рис.).

Ограничение состава экспертов ведет к росту веса ответа каждого – ошибочность суждений.

Увеличение состава экспертов повышает вероятность некомпетентных, ошибочных суждений.

Использование кривых такого типа позволяет выбрать минимально допустимое число экспертов. Однако нужно помнить, что каждая такая кривая не имеет универсального характера и обусловлена специфическими особенностями конкретной экспертизы [1, с. 98–99].

Отметим, что методы, опирающиеся на индивидуальную экспертную оценку, имеют существенный недостаток, заключающийся в ограниченности опыта одного эксперта. Совершенно очевидно, что наиболее удачными в плане применения в педагогических исследованиях являются методы, опирающиеся на компетентное мнение нескольких экспертов.

В педагогике в последние годы наибольшую популярность получает метод групповых экспертных оценок, который основывается на следующих основных положениях:

• экспертная оценка имеет вероятностный характер и основывается на способности эксперта давать информацию-оценку в условиях неопределенности, т.е. тогда, когда полнота или достоверность информации, необходимой для принятия решений, сравнительно невелика;

• считается, что когда оценку дает не один, а несколько экспертов, то «истинное» значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. «обобщенное» коллективное мнение более достоверно;

• отбор экспертов, процедура общения с ними и обработка полученных оценок проводятся по определенному алгоритму с целью уменьшения «шума» экспертов как «датчиков» информации.

В отличие от метода экспертных комиссий (например, метода педагогического консилиума) в методе ГЭО создаются условия, исключающие непосредственное общение между членами комиссии. Вместо коллективного обсуждения той или иной проблемы проводится индивидуальный опрос экспертов с помощью специально разработанных анкет.

Таким образом, МЭО довольно удобен в экономическом и организационном отношении.