§1.3. Организация экспертного оценивания.

I) Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:

• постановка задачи эксперимента;

• цели эксперимента;

• обоснование необходимости эксперимента;

• сроки выполнения работ;

• задачи и состав группы управления;

• обязанности и права группы;

• финансовое и материальное обеспечение работ. I

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспер­тизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

II. а) После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности:

• уяснение решаемой проблемы;

• определение круга областей деятельности, связанных с проблемой;

• определение долевого состава экспертов по каждой области деятельности;

• определение количества экспертов в группе;

• составление предварительного списка экспертов с учетом их местонахождения;

• анализ качеств экспертов и уточнение списка экспертов в группе;

• получение согласия экспертов на участие в работе;

• составление окончательного списка экспертной группы.

II.б) Параллельно с процессом формирования группы экспертов, группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

III) Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

IV) Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

Глава 2

ЭЛЕМЕНТЫ ТЕОРИИ ИЗМЕРЕНИЙ

§2.1. Основные понятия

1) Экспертное оценивание представляет собой процесс измерения который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения. а) Объектами могут быть предметы, явления, решения, б) в качестве показателей сравнения могут использоваться пространственно-временные, физические, физиологические, психические и другие свойства и характеристики объектов. в)Процедура сравнения включает определение отношений между объектами и способ их сравнения. Введение конкретных показателей сравнения позволяет установить отношения между объектами, например «больше», «меньше», «равны», «лучше», «хуже», «одинаковы», «предпочтительнее» и т. п. Способ сравнения определяет, например, сравнение всех объектов последовательно с одним объектом или сравнение всех объектов друг сдругом в произвольной последовательности.

Для формального описания множества объектов и отношений между ними вводится понятие, 2) эмпирической системы с отношениями:

М = <O, R>,

где - множество объектов, (предметов, явлений, событий, решений и т.п.);- множество отношений между объектами. Запись означает, что объект находится в отношенииR_K к объекту ; такое отношение называется двуместным (бинарным), поскольку оно связывает два объекта. Если отношение имеет место между тремя объектами, оно называется трехместным и т.п.

Определим основные свойства отношений. Отношение R рефлексивно, если истинно. Отношение R антирефлексивно, если — ложно. Отношение R симметрично, если из OiROj следует OjROi. Отношение R антисимметрично, если из OiROj и OjROi следует .Отношение R несимметрично, если из истинность OiROj следует, что OjROi ложно. Отношение R транзитивно, если из OiROj и O_jRO_K следует O_iRO_K , где Oi, Oj, О_к суть элементы множества О.

Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности, называется отношением эквивалентности .При экспертном оценивании, кроме отношения эквивалентности, используется отношение порядка. Это отношение может означать, например: «раньше чем», «больше чем», «предпочтительнее чем». Отношение порядка антирефлексивно и транзитивно. Отношение предпочтительнееобозначается.

Разнообразие возможных объектов, показателей сравнения и видов отношений, встречающихся в реальных измерениях, привело к необходимости установления универсальной системы с отношениями. В качестве такой системы используется числовая система с отношениями:

,

где N – множество действительных чисел; - множество отношений между числами. Числовая система называетсяполной, если N – есть множество всех действительных чисел.

Основными проблемами теории измерений являются проблемы представления и единственности. Проблемa представления заключается в доказательстве того, что для эмпирической системы с отношениями, выбранной, с целью измерения определенных свойств объектов, можно построить числовую систему с отношениями, описывающую свойства объектов и отношений между ними с помощью чисел.

Для того чтобы числовая система сохраняла свойства и отношения объектов, необходимо, чтобы она была изоморфной или, по крайней мере, гомоморфной эмпирической системе. Поясним эти понятия. Две системы с отношениями ,называются подобными, если число отношений одинаково (k = m) и местность отношений одинакова (например, и- двуместные отношения).

Числовая система с отношениями изоморфна эмпирической системе, если эти системы подобны и существует взаимно однозначное отображение (функция) f объектов на числовое множество, такое, что отношение R_K между объектами имеет место тогда и только тогда, когда имеет место отношение Sk между числами, отображающимиобъекты на числовой оси. Например, для случая двуместных отношений OiR_KOj имеет место тогда и только тогда, когда , где числа получены отображением объектов: ri = f(Oi), rj=f(Oj).

Условие взаимной однозначности отображения f является в ряде случаев слишком жестким и не всегда необходимым.Если устранить это условие из предыдущего определения, то приходим кпонятию гомоморфизма.

Проблема единственности заключается в определении всех возможных способов представления заданной эмпирической системы различными числовыми системами. Другими словами, проблема единственности решает вопрос о том, сколькими способами можно описать данную эмпирическую систему различными числовыми изоморф­ными или гомоморфными системами и как связаны между собой эти числовые системы.

Проблему единственности можно сформулировать как проблему определения типа шкалы. Шкалой назыв­ается совокупность эмпирической системы, числовойсистемы и отображения, т. е. <M, H, f>. Пусть <M, H, f> и <M, H, g> двешкалы с разными отображениями f и g, тогда возникает вопрос о взаимосвязи числовых значений, полученных этими отображениями. Например, = f(Oj), = g(Oj). Связь между числами и запишем с помощью функции или.Функция φ называется допустимым преобразованием шкалы. Смысл этого определения состоит в том, что свойства функции φ устанавливают связи между всеми числовыми системами, выбираемыми для описания эмпирической системы. Свойства функции φ определяют тип шкалы и, следовательно, позволяют произвести классификацию шкал измерения. Единственность описания эмпирической системы числовыми системами выражается в свойствах допустимого преобразования шкалы, т. е. в свойствах функции φ.