2.3. Организация и проведение экспертизы

Под организацией экспертного оце­нивания понимается комплекс взаимо­связанных мероприятий, определяю­щих цель работы, условия и способы ее проведения, обеспечение процесса экспертного оценивания, права и обязанности привлекаемых лиц.

Задачу на проведение экспертного оценивания ставит ЛПР (заказчик). Задачу оформляют в виде руководя­щего документа — решения на прове­дение экспертного оценивания. Для подготовки решения и руководства всей дальнейшей работой назначают руководителя экспертизы, который оп­ределяет состав группы управления.

Условно можно выделить следующие основные этапы проведения эксперт­ного оценивания:

• формирование цели и задач оцени­вания;

• формирование группы управления и оформление решения на проведение оценивания;

• выбор метода получения экспертной информации и способа ее обработки;

• подбор экспертной группы и форми­рование при необходимости анкет опроса;

• опрос экспертов (экспертиза);

• обработка и анализ результатов экспертизы;

• интерпретация полученных резуль­татов;

• составление отчета.

Этап интерпретации полученных ре­зультатов необходим для организации обратной связи в процессе экспертного оценивания. Обратную связь с экс­пертами группа управления осущест­вляет либо методом Дельфи, либо методом совещаний с обсуждением ре­зультатов анонимных опросов. Взаи­мосвязь указанных этапов представ­лена на рис. 2.4.

Рис. 2.4. Взаимосвязь этапов экспертного оценивания

Этап формирования цели и задач экспертного оценивания является ос­новным, так как от него зависит на­дежность получаемого результата и его прагматическая ценность. Форми­рование цели и задач экспертного оценивания во многом определяется существом решаемой проблемы. Долж­ны быть учтены: надежность и полнота имеющейся исходной информации, тре­буемая форма представления резуль­татов (качественная или количест­венная), возможные области использо­вания полученной информации, сроки ее представления, наличие имеющихся ресурсов и возможность привлечения специалистов других отраслей знания.

На группу управления возлагается не только вся организационно-плано­вая работа по обеспечению благоприятных условий для эффективной твор­ческой деятельности экспертов, но и аналитическая работа по подбору эк­спертной группы, определению методов получения и обработки информации, составлению анкет опросов, содержа­тельной интерпретации получаемых результатов. Для решения этих задач необходимо включить в группу управ­ления высококвалифицированных ком­муникабельных специалистов как в области рассматриваемой проблемы, так и в других областях — матема­тики, психологии, социологии.

Экспертную группу обычно подби­рают в несколько этапов. Вначале ус­танавливают отрасли знаний, так или иначе связанные с рассматриваемой проблемой. Затем намечают список «потенциальных» экспертов, которые по своим профессиональным качест­вам компетентны в этих областях зна­ний. Такой предварительный отбор проводится на основе легкодоступной информации о профессиональной под­готовке кандидата — должность, уче­ное звание и степень, стаж практиче­ской деятельности, число публикаций, участие в других экспертизах. При этом желательно, чтобы кандидат в эк­спертную группу имел широкий об­щий кругозор и эрудицию. Сама груп­па не должна по возможности состоять из представителей одной отрасли или одной узкой специальности, что­бы исключить влияние ведомственных интересов на цели экспертизы и не сделать получаемые результаты тен­денциозными. Если предполагается использовать в экспертизе метод комис­сий или другой метод открытых опро­сов, то состав группы экспертов дол­жен быть однородным, чтобы исклю­чить «давление авторитетом». Первона­чально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, времен­ного и организационного характера. В окончательный список экспертной группы включают тех кандидатов, ко­торые являются наиболее компетент­ными.

Компетентность эксперта есть сте­пень его квалификации в определен­ной области знаний. Она определяется посредством анализа его профессио­нальной деятельности, широты круго­зора по перспективам развития рас­сматриваемой проблемы.

В зависимости от профессиональной подготовки эксперта (должность, уче­ное звание, степень) ему приписывают определенный балл. В табл. 2 в ка­честве примера приведена оценка про­фессиональных качеств эксперта, ра­ботающего в научно-исследователь­ской организации. Такая ин­формация позволяет предварительно отобрать и ранжировать кандидатов по их компетентности.

В практике экспертного оценивания широко используют оценку компетент­ности эксперта методами самооценки и взаимной оценки. В первом случае компетентность эксперта оценивают коэффициентом k (0 ≤ k ≤ 1), который определяют на основе суждений экс­перта о степени своей информативности по решаемой проблеме (коэффициент k_и) и степени аргументации своих мнений (коэффициент k_а): к = 0,5 {k_и + k_а).

Таблица 2. Оценки (в баллах) профессиональных качеств экспертов

Коэффициент информативности k_и по­лучают на основе самооценки эксперта по десятибалльной шкале, как

где Х_и — балл, выставленный экспер­том.

Таблица 3. Оценки коэффициента аргументации эксперта

Значение коэффициента k_a опреде­ляют следующим образом. Эксперту предъявляют таблицу 3 без цифр, в кото­рой он отмечает, какой источник им оценивается по соответствующим гра­дациям: В, С, Н. Группа управле­ния переводит отметки эксперта в шка­лу эталонной таблицы и вычисляет коэффициент k_a путем суммирования цифр, соответствующих позициям таблицы, отмеченным экспертом.

Другой метод заключается в вы­числении коэффициентов компетент­ности на основе матриц, составленных по результатам взаимной оценки экс­пертов. Каждый участник должен оце­нить объем и качество знаний других кандидатов по вопросам анкеты. При составлении анкет по этому методу необходимо заранее выявлять воз­можные цели экспертов, противоречащие целям экспертизы, то есть исключать те причины, которые могут побудить эксперта сознательно искажать оценки знаний других кандидатов. Использо­вать этот метод можно, если кандидаты знают друг друга по совместной дея­тельности.

Одной из эффективных модификаций метода взаимной оценки, которая поз­воляет не только оценить компетент­ность уже отобранных кандидатов, но и одновременно выявить возможно полное множество специалистов по рассматриваемой проблеме и сформи­ровать их список, является следующая процедура. Членам группы управле­ния предлагается высказать свое мне­ние о включении кандидатов в группу экспертов. Названных новых лиц про­сят, в свою очередь, сделать то же са­мое. Проведя несколько туров такого опроса, составляют удовлетворитель­ный по полноте список . кандидатов. По результатам опроса составляется матрица смежности, элементами кото­рой являются единицы или нули в за­висимости от того, высказался ли кандидат с номером (в пользу вклю­чения в группу кандидата с номером i или нет соответственно (i — номер строки матрицы смежности, j— номер столбца). После определения матрицы Z = ||z_ji||, i, j = 1, n вычисляют коэффициенты компетентности кандидатов γ₁ по следующему алгоритму.

Алгоритм 1

1. Задать критерий останова и требуемую точность в вычис­лениях γ₁, i= 1, n

2. Положить и все .

3. Положить .

4. Вычислить:

(2.4)

5. Проверить условие . Если условие выполня­ется, то перейти к п. 6, иначе — к п. 3.

6. Прекратить вычисления. Полу­ченные принять в качестве коэф­фициентов компетентности .

В этом алгоритме критерием останова является условие п. 5. Обычно ве­личину е выбирают на один - два по­рядка меньше величины . Иногда в качестве критерия останова исполь­зуют условие t = t^tp (обычно t^tp выбирают в диапазоне 3—5, что обуслов­лено быстрой сходимостью процесса). Содержательный смысл алгоритма со­стоит в том, что на первой итерации (t = 1) подсчитывают отношение суммы «голосов», поданных за канди­дата с номером i, к общему числу всех «голосов» (сумма единиц в матрице смежности). На последующих итера­циях (t > 1) голоса «взвешиваются» коэффициентами компетентности кан­дидатов , вычисленными на пре­дыдущей итерации.

Третий метод оценки компетентности кандидатов состоит в проверке досто­верности их суждений по результатам контрольных экспертиз. Контрольная экспертиза предусматривает опрос эк­спертов по тем вопросам, для которых уже известны достоверные ответы, неизвестные заранее участникам. При этом необходимо, чтобы эти вопросы были связаны с рассматриваемой про­блемой и информационно обеспечены настолько, чтобы эксперт мог дать по ним числовую оценку в заданной шкале. Коэффициент (достоверности) в этом случае определяется как от­ношение числа вопросов, на которые эксперт дал правильные ответы, к об­щему числу поставленных вопросов:

где N_пi; — число правильных ответов 1-го эксперта;

N — общее число пос­тавленных вопросов.

Этот показатель характеризует эк­сперта как «измерительный прибор».

Контрольная экспертиза для оценки компетентности экспертов может ис­пользоваться даже тогда, когда не известны достоверные ответы на по­ставленные вопросы. В этом случае используют подход, основанный на обработке нормированных балльных оценок. По этой методике сначала полагают, что все эксперты равно компетентны. Затем вычисляют средний нормированный балл каждого из оце­ниваемых элементов по индивидуаль­ным оценкам экспертов и взвешенную сумму оценок каждого из экспертов. В качестве весовых коэффициентов используют полученные средние оценки элементов. Вычисленные оценки нормируются их суммой и использу­ются в качестве уточненных значе­ний коэффициентов компетентности. Смысл этой операции состоит в том, что для эксперта, оценки которого ближе к среднегрупповым, коэффи­циент его компетентности увеличива­ется. Такая процедура может повто­ряться неоднократно в ходе контроль­ных экспертиз.

Пример 2.5. Четыре эксперта, оцени­вая относительную важность покупа­тельной способности, себестоимости и затрат в проблеме повышения рента­бельности предприятия (см. пример 2.3) в десятибалльной шкале, дали следу­ющие оценки:

Для всех экспертов коэффициент компетентности полагаем равным 0,25. Таблица соответствующих нормиро­ванных балльных оценок, определяе­мых как отношение баллов по каждому из оцениваемых элементов к их сум­марным баллам, выставленным каж­дым из экспертов, имеет вид

При этом средние баллы, приходя­щиеся на оцениваемые элементы, составляют (0,57 + 0,77 + 0,29 + 0,42) = 0,51 для W_l , 0,34 для W₁ и 0,15 для W₃. Взвешенные суммы относительных балльных оценок эк­спертов составляют для первого эк­сперта 0,57 X 0,51 + 0,29 X 0,34 + 0,14 X 0,15 = 0,41; для второго эксперта 0,45; для третьего 0,31; для четвертого 0,36. Сумма полученных взвешенных суммарных оценок опре­делится величиной 0,41 + 0,45 + 0,31 + 0,36 = 1,53, а уточненные коэффициенты у компетентности эк­спертов будут равны: 0,41 : 1,53 = = 0,26 — для первого; 0,3 — для второго; 0,2 — для третьего и 0,24 — для четвертого.

Использование указанных методов отбора кандидатов в экспертную груп­пу обеспечивает более высокую надеж­ность экспертизы, чем волюнтарист­ское назначение экспертов.