Этап 3. Подбор экспертов

Качество экспертного прогноза в значительной степени определяется уровнем компетентности привлекаемых к опросу экспертов. Поэтому высокая компетентность эксперта является основным условием привлечения его к участию в разработке прогноза. Кроме того, требуется осведомленность эксперта в исследуемой области, его объективность, а также обеспечение репрезентативности экспертной группы.

Очевидно, что наиболее подходящим контингентом на роль экспертов являются студенты, которые располагают наиболее подробными и неочевидными сведениями об особенностях, достоинствах и недостатках организации процесса обучения. Кроме того, у них нет явных оснований для необъективного подхода в оценках. К потенциальным недостаткам этой группы следует отнести недостаточную зрелость суждений, связанную с тем, что фактически процесс обучения еще не закончен, а вместе с ним не завершен профессиональный, нравственный и социальный рост студентов.

Этап 4. Проведение экспертных прогнозных исследований

Непосредственная работа с экспертами заключается в организации обсуждения поставленной проблемы, формы и содержания предлагаемой опросной документацией, заполнении анкеты. Работа проводится в один тур. Анкеты заполняются анонимно.

Этап 5. Обработка и анализ результатов прогнозных исследований и выработка рекомендаций по ним

Цель данного этапа - получить обобщенное мнение группы экспертов и аргументированное обоснование. Результаты этого анализа используются для разработки рекомендаций по прогнозу.

1. Расчет обобщенной оценки качества образования по осредненным оценкам экспертов:

   1. Средняя значимость i-го критерия

, (1)

где - среднее значение значимости i-го критерия;

- значение значимости i-го критерия, данное j-ым экспертом;

- число экспертов.

2. Средний вес i-го критерия

, (2)

где - средний вес i-го критерия;

- число критериев.

3. Осредненная оценка качества образования

, (3)

Расчеты удобно вести в электронной таблице Excel. сопровождая их необходимыми графиками и диаграммами.

4. Предварительный анализ полученной экспертной оценки сводится к следующему:

• с помощью шкалы оценки качества образования можно перевести полученную оценку в один из квалификационных диапазонов: «Крайне низкое» … «Отличное»;

• рассматривая распределение значимости критериев можно составить представление о системе приоритетов студентов, отражающее их ожидания от результатов обучения;

• важным обстоятельством является также сопряженность между весами критериев и оценкой качества образования , так как исключительно важно, чтобы вклад наиболее важных сторон процесса был большим, в то время как по малозначительным критериям вклад может быть и невысоким;

• высокой содержательностью может обладать также анализ укрупненной оценки вклада отдельных аспектов в качество образования.

Указанные соображения не исчерпывают всё многообразие возможных ситуаций, которые требуют творческого подхода для их рассмотрения и анализа.

2. Расчет индивидуальных оценок экспертов:

Важность решаемой проблемы заставляет изучать ее не только в среднем, но и индивидуально для каждого студента.

1. Средний вес i-го критерия j-го эксперта

(4)

2. Оценка качества образования j-ым экспертом

, (5)

С помощью шкалы оценки качества образования можно перевести полученную оценку в один из квалификационных диапазонов: «Крайне низкое» … «Отличное».

3. Дальнейший анализ полученной информации позволяет получить более детальную характеристику группы экспертов, которые одновременно являются одним из субъектов исследуемого процесса. Отметим наиболее важные моменты анализа:

• Рассматривая упорядоченное распределение оценок качества образования можно найти его медиану, которая наряду с также является оценкой среднего качества образования. Значительное расхождение этих двух оценок, как правило, связано со значительным отклонением функции распределения рассматриваемой выборки от нормального закона. Косвенно это является свидетельством наличия существенных особенностей в распределении мнений экспертов, требующим специального изучения. В частности, это может быть связано с существованием отдельных группировок (кластеров) в студенческой среде.

• Диаграмма распределения упорядоченных индивидуальных оценок качества образования позволяет визуально получить диапазон оценок, распределение оценок по карманам от «крайне низкое» до «отличное».

Форма диаграммы является весьма тонким инструментом исследования. Она чувствительна к любым неоднородностям в мнениях экспертов, они проявляются в резком изменении наклона кривой. В частности, можно отметить следующие случаи:

• «экстремизм» в позиции экспертов (по-видимому, эти мнения не являются объективными и обоснованными);

• наличие группировок (кластеров) экспертов (обычно этот случай требует проведения дополнительных исследований).

Рекомендации по проведенному экспертному прогнозу должны содержать не только полученное значение оценки качества образования, но и результаты детальных исследований, направленных на выявление и анализ характерных особенностей организации учебного процесса, движущих мотивов и устремлений студентов, соответствие их проповедуемых учебным заведением установкам и используемым методикам, а также, возможно, причины и степень их несоответствия. Указанные сведения должны подготовить почву для принятия обоснованных и сбалансированных решений по повышению качества предоставляемой образовательной услуги.

12