Методика формирования индикаторов для целей мониторинга образования (пример)

Цели оценки	Индикаторы	Показатели (данные) для расчета индикаторов	Источник данных	Порядок расчета
качество образования	удельный вес медалистов среди выпускников, получивших аттестат о среднем (полном) общем образовании	численность получивших аттестат о среднем (полном) общем образовании, награжденные золотой медалью	ОШ-1: п. 2, строка 15	численность золотых и серебряных медалистов суммируется без применения коэффициентов
		численность получивших аттестат о среднем (полном) общем образовании, награжденные серебряной медалью	ОШ-1: п. 2, строка 16
		численность обучающихся, получивших аттестат о среднем (полном) общем образовании	ОШ-1: п. 2. стр.13а + стр.14
	удельный вес не получивших аттестат среди всех выпускников школы	число выпускников, не получивших аттестат о среднем (полном) общем образовании	ОШ-1: п. 2, строка 18	общая численность выпускников определяется по сумме строк 13а, 14, 18. п. 2 ОШ-1
		численность обучающихся, получивших аттестат о среднем (полном) общем образовании	ОШ-1: п. 2. стр.13а + стр.14

Но всегда ли достаточно одних, даже очень хороших, индикаторов для качественного анализа. Что если, например, средний балл успеваемости по классам приблизительно один и тот же, а соотношение пятерок, четверок и т.д. в этих классах различается и весьма серьезно. Или как интерпретировать ситуацию, когда у одного преподавателя класс получает сплошь одинаковые оценки, допустим, «четверки», а у другого по другому предмету – очень широкий диапазон успеваемости: от «пятерок» до «двоек»? Означает ли это, что осваивать один предмет дети могут примерно с одинаковым успехом, а другой предмет дается не всем. Или причина контраста успеваемости класса по разным предметам кроется в ином?

Помочь провести более тонкий анализ этих индикаторов может аппарат математической статистики. Покажем это на условном примере.

Допустим, в школе три класса на экзамене по математике получили одинаковый средний балл – 4,0. Но количество различных оценок в каждом классе было разное (Табл.6).

Таблица 6

Наименование показателей	Класс А	Класс Б	Класс В
Средний балл на экзамене	4,0	4,0	4,0
Количество оценок, полученных классом на экзамене, в том числе:
2 (не удовл.)	0	1	7
3 (удовл.)	0	4	2
4 (хорошо)	25	14	0
5 (отлично)	0	6	10

Если сравнить классы только по среднему баллу, то можно сделать вывод, что ситуация во всех трех из них абсолютно одинаковая – везде учатся преимущественно «хорошисты». Но если посмотреть на разброс оценок, то неизбежно возникнет вопрос – почему оценки оказались такими разными. Что стоит за таким разбросом оценок и как оценить сам этот разброс.

Разобраться в этом вопросе поможет математическая статистика.

Вы, несомненно, знаете, что для обобщенной характеристики некоторой совокупности признаков можно использовать средние значения этих признаков для данной совокупности. Мы уже упоминали т.н. «средний балл». Это рассчитанная средняя арифметическая величина из совокупности оценок, полученных классом. Простая средняя арифметическая (невзвешенная) рассчитывается как сумма отдельных значений признака, деленная на число этих значений. Рассчитывается средняя арифметическая по известной формуле:

Где - отдельные значения признака (в нашем случае оценки учащихся в баллах), а n - число единиц совокупности (количество учеников в классе).

В нашем примере мы получили величину среднего балла по всем классам 4,0. Но что стоит за ним, ведь разброс оценок в каждом из классов оказался различным (см. таблицу). Для анализа разброса оценок (вариации значений признаков) используют дополнительные статистические приемы обработки. В частности, рассчитывают среднее линейное отклонение, дисперсию, среднее квадратическое отклонение, коэффициент вариации и пр.

Чтобы дать обобщающую характеристику распределению отклонений, исчисляют среднее линейное отклонение (d), которое учитывает различие всех единиц изучаемой совокупности.

Среднее линейное отклонение определяется как средняя арифметическая из отклонений индивидуальных значений от средней, без учета знака этих отклонений:

.

Основными обобщающими показателями вариации в статистике являются дисперсии и среднее квадратическое отклонение.

Дисперсия – это средняя арифметическая квадратов отклонений каждого значения признака от общей средней. Дисперсия обычно называется средним квадратом отклонений и обозначается :

.

Среднее квадратическое отклонение – это обобщающая характеристика абсолютных размеров вариации признака в совокупности. Выражается оно в тех же единицах измерения, что и признак, в нашем случае – в баллах.

Среднее квадратическое отклонение представляет собой корень квадратный из дисперсии и обозначается S:

;

Среднее квадратическое отклонение дает обобщающую характеристику колеблемости всех вариантов совокупности. Чем меньше среднее квадратическое отклонение в нашем примере, тем более ровно по успеваемости учится класс. Иными словами, низкая величина среднего квадратического отклонения говорит о том, что в классе все успевают примерно в равной степени, нет резкой поляризации на «двоечников» и «отличников».

С другой стороны, если величина среднего квадратического отклонения близка к нулю, это тоже определенный сигнал. Но это сигнал о другом. Отсутствие каких-либо различий в уровне успеваемости различных учащихся может свидетельствовать либо о необъективности оценок, выставляемых этим учителем, либо о действии каких-либо иных факторов.

Высокое значение среднего квадратического отклонения также подлежит тщательному анализу. Непосредственно такая ситуация является сигналом того, что класс разделился на успевающих и неуспевающих. При даже относительно высоком среднем балле, большая величина среднего квадратического отклонения говорит о том, что в классе много запущенных детей. Резкие различия в успеваемости могут быть следствием либо необъективности, либо педагогической некомпетентности преподавателя.

Для определения критичности ситуации используется такой статистический оператор как коэффициент вариации:

Коэффициент вариации является наиболее распространенным индикатором колеблемости, используемым для оценки типичности средних величин. При этом исходят из того, что если Vбольше 40 %, то это говорит о чрезмерно большой колеблемости признака в изучаемой совокупности.

Рассчитав упомянутые нами статистические операторы, мы получим следующую таблицу данных:

Таблица 7

Наименование статистических операторов	Величина статистических операторов
	Класс А	Класс Б	Класс В
Среднее арифметическое (средний балл) ()	4,0	4,0	4,0
Среднее линейное отклонение (d)	0,0	0,5	1,3
Дисперсия (S2)	0.0	0,6	1,8
Среднее квадратическое отклонение (S)	0,0	0,75	1,35
Коэффициент вариации (V)	0,0%	18,8%	33,8%

Анализируя с помощью статистических операторов ситуацию в классах, взятых для примера, мы видим, что при одинаковом среднем балле успеваемости они весьма сильно различаются по разбросу величин статистических операторов, что обуславливается различиями в оценках конкретных учащихся.

В классе А все значения статистических операторов, характеризующих разброс величины полученных оценок от среднего балла, равны 0. Это означает, что все учащиеся класса показали на экзамене абсолютно одинаковую успеваемость. Даже теоретически такое трудно допустить. Скорее всего, это свидетельствует о необъективности оценок, выставленных экзаменаторами.

В классе Б коэффициент вариации и другие статистические операторы больше 0, но значения их невелики и скорее всего отражают реально сложившееся положение с успеваемостью.

В классе В коэффициент вариации приближается к критической величине. Высокие значения имеют и другие статистические операторы. Это говорит о крайней неравномерности полученных оценок учащимися и, как следствие, о просчетах самого учителя, преподавшего математику в этом классе. По-видимому, процесс обучения был пущен на самотек, части детей не уделялось должного внимания и, как следствие, они не получили необходимых знаний. За высоким средним баллом класса скрывалось резкое разделение учащихся на, условно говоря, «математическую элиту» и элементарно «запущенных» детей.

В заключение разговора о статистике и индикаторах следует назвать следующие важные аспекты работы со статистикой.

Во-первых, при разработке индикаторов, может оказаться так, что одних только показателей статистики образования будет недостаточно. Могут потребоваться сведения из области демографии, уровня жизни населения, рынка труда и образовательных услуг и пр. Большинство необходимых данных можно получить в региональном органе Госкомстата, отраслевых подразделениях органов исполнительной власти региона (муниципального образования). Научиться работать с этими данными – также задача организаторов мониторинга системы образования.

Во-вторых, сама система государственной статистики переживает сейчас этап обновления. Разработаны и апробируются новые формы государственного статистического наблюдения, новые показатели, которые включены в эти формы. В основу модернизации статистики образования закладываются новые принципы. Прежде всего предполагается превратить российскую статистику в основу общественной системы информации. Статистика должна функционировать как независимая общественная служба, открытая для всех членов общества. Вторым основополагающим принципом модернизации статистики образования является то, что образовательная статистика становится элементом системы национальной статистики, поэтому ее совершенствование идет в русле общей реформы российской статистики. Третьим важнейшим принципом модернизации статистики образования является обеспечение международных статистических стандартов. Важно следить за изменением методик, инструментария, которые использует современная статистика, отбирая для своих целей те из них, которые могут быть использованы в мониторинге качества образования.

В-третьих, при разработке индикаторов могут оказаться необходимыми знания основных приемов математической обработки статистической информации: расчет средних значений признаков, показателей вариации и др. Чтобы получить более полное и точное представление об изучаемой совокупности по ряду существенных признаков, необходимо владеть методикой расчета средних величин, которые могут описать явление с разных сторон. В этой связи помимо «средней арифметической» может понадобиться осуществить расчет «средней геометрической», «средней гармонической», «средней квадратической» различных коэффициентов вариации и пр. Выбор того или иного способа математической обработки статистической информации зависит от сущности индикатора, объекта и предмета анализа и тоже должен стать одним из этапов конструировании индикаторов.

В-четвертых, использование статистических индикаторов, оперирование средними и другими расчетными величинами предполагает достаточный массив единиц наблюдения (подробнее о выборке исследований в главе 6). В том случае, если класс или школа в целом являются малокомплектными, результаты расчета индикаторов могут оказаться не репрезентативными (не достаточными для обоснованных выводов, не показательными). Чтобы сравнить, например, качество образования в школе, где в параллели всего один класс, очевидно, придется сравнивать образовательные траектории этих классов. То есть, выстраивать годовые тренды успеваемости по различным индикаторам и сопоставлять их с учетом временного разрыва (успеваемость нынешнего пятого класса с успеваемостью по прошлому году тех учащихся, что сегодня учатся уже в шестом классе и т.д.).

В-пятых, в числе важных этапов мониторинга не только расчеты собственно индикаторов, но и представление полученных данных, обеспечение наглядности результатов анализа. В этой связи необходимо умело и правильно использовать диаграммные формы представления материалов.

Диаграммы, графики могут как подчеркивать, так и затушевывать результаты анализа, выявленные тенденции и пр. Для этого иногда бывает достаточно неправильно выбрать размерность шкалы или просто точку отсчета. Взгляните на приведенные ниже два графика, на которых отображены одни и те же полученные результаты:

Рис. 3. Влияние шкалы отсчета на представление одних и тех же результатов

Вы видите, что на первый взгляд, кажется, что здесь представлены две разные по силе тенденции, хотя на самом деле, количественные результаты абсолютно одинаковы. Поэтому, представляя результаты расчета индикаторов, старайтесь каждый раз подобрать и вид диаграмм, и размерность шкал, и масштаб графиков таким образом, чтобы они максимально наглядно и достоверно отражали результаты проведенного анализа.

В-шестых, при обработке статистических данных вашим помощником всегда может быть компьютер. Наиболее доступными и простыми в использовании являются программы интегрированные в стандартный пакет MSOffice:Excel,Access, которые могут использоваться как для ввода данных, так и математической обработке их. Помимо этих пользовательских программ можно использовать различные прикладные пакеты программ статистической обработки данных. Таких как “STATISTICA”,NCSS,SPSSи другие. Подробнее об использовании программыSPSSв главе 6

Как гуманитарий увлекся статистикой (окончание)

Вероятно, вы уже догадались, что информация, которой поделилась Галина Иванова на совещании директоров школ, понравилась далеко не всем. Ее выступление было небольшое, но очень убедительное. А всего-то и рассказала Галина Иванова, как она провела анализ качества и эффективности образования в своей школе. Индикаторы кое-какие продемонстрировала, сравнила данные по своей школе с общегородскими. В общем, оказалось, что лидерство некоторых элитных школ далеко не бесспорно, особенно в части эффективности организации образовательного процесса. Но своим выступлением нашла Галина Иванова себе и горячих сторонников. Понравились ее подходы к анализу и в комитете образования. Действительно все понятно, все прозрачно. А главное, на общую пользу. Так что полюбила Галина Иванова с тех пор статистику. И теперь даже представить себе не может, как она раньше без нее обходилась.

ПОДВЕДЕМ ИТОГИ ИЛИ ЛОГИЧЕСКАЯ ЦЕПОЧКА РАССУЖДЕНИЙ

• Для мониторинга качества образования в школе можно использовать возможности, которые открывает статистика. При этом речь может идти, во-первых, о статистике как системе учета, то есть тех данных, которые имеются в формах государственного статистического наблюдения, во-вторых, об использовании аппарата математической статистики для углубленного анализа показателей успеваемости учащихся.

• Использование статистических данных из форм отчетности позволяет директору осуществлять как межклассные сравнения (внутришкольная статистика), так и проводить сравнительный анализ качества обучения в своей школе по сравнению с другими образовательными учреждениями. И в том и другом случае нужно лишь выбрать подходящие индикаторы, данные для которых можно найти в имеющихся статистических формах.

• Статистические формы содержат значительный массив данных о самых разных аспектах функционирования образовательных учреждений: контингенте учащихся, успеваемости, материальных ресурсах школы, кадровом составе и пр. Наличие в статистических формах большого массива данных, отражающих различные качественные стороны образовательного процесса в школе, позволяет создавать и использовать интегральные индикаторы качества образования. Интегральные индикаторы, во-первых, более полно отражают качество образования, поскольку учитывают не один, а несколько факторов, во-вторых, позволяют ранжировать классы по одному выбранному оценочному критерию.

• Использование аппарата математической статистики, позволяет, наоборот, за средними цифрами (успеваемости, обеспеченности ресурсами и т.д.) увидеть разброс показателей, выявить факторы влияния на среднее значение показателя, определить тенденции. Использование инструментов математической статистики не требует привлечения специалистов, поскольку это всегда можно поручить своему преподавателю математики.

• В целом, умелое использование статистики вооружает руководителя образовательного учреждения мощным инструментом анализа действительного положения вещей в школе, становится дополнительным весомым аргументом принятия тех или иных управленческих решений.