4.1. Оценка качества образовательной деятельности школ

Сравнение результатов учеников и классов по уровню учебных достижений по предметам может производиться непосредственно по «техническим» и «содержательным» результатам. Тем более, что тестирование классов в школе производится обычно почти одновременно и на одних и тех же диагностических материалах (тестах). Для сравнения полученных в различных условиях результатов оценки школ подобная методика не подходит – необходимо использовать рейтинговые оценки.

Возможность сравнения школ или групп школ по видам, районам (округам) по учебным достижениям иллюстрируют наглядные лучевые (рупорные) диаграммы рис.8.

Рис. 8. Учебные достижения образовательных учреждений разного уровня

На них отображены усредненные показатели оценки учебных достижений по предметам в рейтинговых тестовых оценках ТО для различных видов общеобразовательных учреждений. При построении диаграмм были использованы результаты 351 обследования общеобразовательных учреждений за 1998-2002 год. Несколько школ были обследованы по два раза. В обследованиях приняли участие свыше 16000 учащихся.

По каждому «лучу» диаграмм отложена средняя «оценка» тестирования ТО по соответствующему предмету. Первый символ в обозначении предмета означает ступень: H - начальная, О - основная, С - средняя школа, а второй и третий символы – предмет: ру - русский язык, ма - математика, пр - природоведение, чт - чтение, би - биология, ге - география, ис - история, фи - физика, хи - химия, ан - английский язык, не – немецкий язык, фр - французский язык, ли-литература. Если обследование по предмету не проводилось, то соответствующий луч оказывается «пустым», это относится к отдельным иностранным языкам в гимназиях, лицеях и негосударственных (частных) школах, в которых не проводились тесты по этим предметам.

Для обеспечения большей понятности выводов для работников системы образования применялся рейтинг «по попаданию в диапазон». По результатам работы независимой экзаменационной комиссии, то есть независимой оценки учебных достижений выпускников школ Санкт-Петербурга по различным предметам, доля отметок «удовлетворительно» составляет примерно 2/3, а доля отметок «отлично» – примерно 1/3, от доли отметок «хорошо». Это соотношение можно принять за «эталон» оценки знаний петербургскими учителями. Для большей объективности к перечисленным долям целесообразно добавить небольшую долю отметок «неудовлетворительно», практически отсутствующих в результатах комиссии. Все результаты распределяются на группы по «тестовым отметкам» ТО: 2, 3, 4 и 5, – 4, 32, 48 и 16% обследованных, соответственно. Результат с рейтингом 33% (это больше 4% и меньше 36%), например, соответствует ТО = 3, а результат с рейтингом 37% – уже ТО = 4. В соответствии с отметками ТО можно оценивать «качественную успеваемость» в группах обследованных (например, по школам или видам школ).

Средняя оценка тестирования по предмету ТО может принимать значения от ТО = 3 (в центре диаграммы) до ТО = 4 (на внешней границе диаграммы). Такой масштаб делает более заметным различие между результатами разных школ. Хотя эта характеристика и не учитывает многие детали содержания заданий, а также «качественной» структуры результатов, она позволяет произвести интегральную оценку учебных достижений по всему кругу предметов.

База оценки при определении средних ТО была взята по результатам всех школ (первая диаграмма). Неравномерность средних ТО на этой диаграмме, как показал детальный анализ, является следствием «огрубления» оценки из-за высокой плотности результатов по математике и природоведению в начальной школе (лучи Нма и Нпр), биологии в средней школе (луч Сби), а также малым количеством результатов по французскому и немецкому языкам в основной школе (лучи Оне и Офр).

В числе обследованных были 42 школы с углубленным изучением отдельных предметов. Среди этих предметов преобладали иностранные языки и математика. Обследованные школы подтверждают своё название – выпускники 9-х классов этих школ имеют показатели заметно выше базовых по указанным предметам (лучи Ома, Оан, Оне и Офр на соответствующей диаграмме). Интересно, что результаты по математике выпускников 11-х классов этих школ гораздо скромнее – на уровне базовых (средних) по Санкт-Петербургу.

Обращает на себя внимание значительное превосходство, особенно в старших классах (основной и средней школе), гимназий. Их в числе обследованных – 45. Это превосходство характерно не только для гуманитарных, но и всех других предметов, кроме, пожалуй, математики в 11-х классах (луч Сма).

Среди обследованных школ было 16 лицеев. Их результаты в старших классах (основной и средней школе) практически по всем предметам на уровне базовых (средних) по Санкт-Петербургу, а по иностранным языкам (лучи Оан, Оне и Офр на соответствующей диаграмме) – даже ниже этого уровня. Результаты в начальной школе по всем предметам ниже базового (среднего) уровня по Санкт-Петербургу. Видимо, качество образования в школах этого типа, относящихся к школам повышенного уровня, не соответствует пока такому уровню.

Интересны результаты негосударственных (частных) школ, из которых обследована примерно треть. В обществе присутствует широкий спектр мнений об этих школах – от представления об «элитарности» частных школ до отнесения их к числу специальных, для «проблемных» учеников. В действительности, частные школы оправдывают все эти мнения – они очень разные. Тем не менее в целом частные школы показывают результаты значительно ниже средних по Санкт-Петербургу по всем предметам, кроме истории (лучи Оис и Сис на соответствующей диаграмме).

Необходимо подчеркнуть, что содержание тестовых заданий по предметам соответствовало базовому уровню. Проверка на повышенном уровне, обеспечиваемом в некоторых школах, не проводилась. Несмотря на это, результаты, как показывает анализ, адекватно отражают уровень учебных достижений. Обучение на повышенном или углубленном уровне «строится» при условии повышенной мотивации к обучению, что неизбежно приводит к повышению учебных достижений на всех уровнях, в том числе – базовом, служащем основанием любого более высокого уровня.

К сожалению обновление тестов, использовавшихся при обследовании, происходило достаточно редко, что в некоторых случаях приводило к получению «абсолютных» результатов в виде 100% выполнения всех заданий всеми обследуемыми в школе. Как показывает опыт, достижение подобных результатов без «дополнительных» усилий администрации школы невозможно. Следует отметить, что при статистической обработке большого числа результатов эти случаи почти не сказываются.

Использование рейтинговых оценок для каждого ученика по каждому предмету позволило определить средние результаты в тестовых оценках ТО=2,3,4,5 для каждой ступени каждой обследованной школы в целом и для разных предметов. Такой средний результат соответствует средней успеваемости, которая, несмотря на всю условность её, широко применяется для оценки школ.

По итогам обследования учебных достижений можно определить рейтинг любой обследованной школы. При этом следует помнить, что учебные достижения выпускников – это одна из важнейших, но далеко не единственная характеристика качества образовательного роцесса в школе.

Наиболее интересными представляются результаты по начальной школе и для выпускных классов средней школы. Именно эти результаты в первую очередь интересуют родителей учащихся, на них они могли бы ориентироваться при выборе школы. Независимая оценка учебных достижений по четко определенной и одинаковой для всех методике безусловно более предпочтительна, чем уровень отметок школьных учителей, число полученных на их основании медалей или непроверяемые данные о поступлении в ВУЗы.

По учебным достижениям выпускников начальной школы лучшие результаты в Санкт-Петербурге показали: гимназия 56, негосударственная православная гимназия св. А. Невского, школа 181, лицей 366, частная школа «Взмах», школа с углубленным изучением английского языка 98.

Оценка этих школ специалистами и родителями, скорее всего, подтвердит такую оценку. Так, в 2002 году количество заявлений о приеме в гимназию 56 намного превысило возможности, и было принято решение о расширении гимназии – создании на ее базе общеобразовательного комплекса.

Не случайно в числе лучших оказались сразу две негосударственные школы, в которых особенно велики возможности индивидуального подхода к ученикам, столь важного для младших классов.

По средним учебным достижениям выпускников 11-х классов лучшие результаты в Санкт-Петербурге показали: гимназии 272 и 168, лицей 239, школа с углубленным изучением английского языка 196 и лицей СПб Государственного университета телекоммуникаций.

Как видно, и здесь во главе рейтинга находятся школы с высокой репутацией в Санкт-Петербурге. В то же время в «верхней» части рейтинга оказалось много школ, не упоминавшихся в документах органов управления образованием в качестве лучших, а многие из многократно отмеченных победителей всевозможных конкурсов и олимпиад расположились в «нижней» части этого рейтинга. По естественно-научным предметам можно отметить высокие результаты при тестировании по биологии – школы 551, по химии – школ 250, 412, 572. По истории в число лучших наряду с гимназиями вошла школа 450. По немецкому языку кроме специализированных школ и гимназий в числе лучших оказались школы 90 и 365.

Само наличие такого рейтинга безусловно заставит произвести переоценку отношения к разным школам.

В ряде случаев при обследовании результаты не удовлетворяли требований к школам того типа, к которому относилась школа – гимназия, лицей или школа с углубленным изучением предметов. В таких случаях школа могла через год после проведения работы по повышению качества обучения пройти обследование повторно.

На рис.9 показана диаграмма, подобная диаграммам рис.8 и отображающая результаты оценки учебных достижений одной из гимназий при первом и втором (повторном) обследовании.

Рис. 9. Результат эффективного управления образовательной деятельностью

Нетрудно заметить, что результаты повторного обследования намного выше, чем первого. Проведенная гимназией работа, независимо от ее направленности, содержания и объема, дала эффект. Показатели повысилась практически по всем предметам, особенно – у выпускников основной школы.

Пример противоположного характера дал лицей, результаты которого при первом и втором (повторном) обследовании отображены на диаграмме рис.10, аналогичных диаграмме рис.9, но с несколько иным набором предметов.

Изменения в уровне учебных достижений, показанном учениками этого лицея невелики, по части предметов уровень повысился, по другой – снизился. В целом средний уровень учебных достижений у этой школы, претендующей на статус лицея, остался низким.

Рис. 10.Результат неэффективного управления образовательной деятельностью

Интересно сравнить средние результаты оценки учебных достижений по районам Санкт-Петербурга – центральным и удаленным, с большим числом научных учреждений и «промышленных» и т.п. Средний уровень учебных достижений по районам Санкт-Петербурга отображают диаграммы рис.11, построенные аналогично диаграммам рис.8,9,10.

Рис. 11. Учебные достижения районов Санкт-Петербурга

Очевидно, что в рамках школы уровень учебных достижений по предметам существенно зависит от учителя: от его профессионального уровня, от того – как он строит методическую работу, какие дидактические приемы использует и т.д. В рамках района уровень учебных достижений определяется контингентом учащихся, постановкой методической и кадровой деятельности, организацией государственной и общественной поддержки школ и др. Требуются немалые усилия, чтобы все школы района обеспечили высокие учебные достижения по какому-либо предмету.

Несмотря на трудность сравнения по большому числу показателей – двадцати, среди лучших в Санкт-Петербурге по учебных достижений можно назвать Центральный, Московский и Невский районы.

Как видно на диаграмме Центрального района, по сравнению со средним (ТО 3,7) уровень учебных достижений по разным предметам в районе, оставаясь достаточно высоким для Санкт-Петербурга, различается: он гораздо выше среднего по гуманитарным предметам, биологии, несколько менее превосходит средний уровень по точным и естественным предметам, практически равен среднему по географии.

В Московском районе относительный уровень учебных достижений по всем предметам достаточно ровен – несколько выше среднего по Санкт-Петербургу, кроме географии в основной школе.

Другая картина в Невском районе. Он обладает по всем предметам примерно одинаковым средним уровнем учебных достижений, а как раз по географии уровень учебных достижений намного превосходит средний и является одним из самых высоких в Санкт-Петербурге.

В большинстве районов относительный уровень учебных достижений по разным предметам заметно отличается. Поскольку на диаграммах представлены усредненные результаты по большому числу школ, можно предположить, что такая неравномерность обусловлена не различием контингента учащихся и не особенностями работы учителей, а методической работой территориальных органов управления образованием (ТОУО) с учителями-предметниками. Относительно низкий уровень учебных достижений по тому или иному предмету свидетельствует о необходимости усиления методической работы.

Среди результатов можно отметить высокий в сравнении со средним уровень учебных достижений: по немецкому языку в Петроградском районе, истории и литературе в средней школе в Курортном районе, естественным предметам в Петродворцовом районе.

Как видно, каждый тип общеобразовательных учреждений, район характеризуется своими сильными и слабыми успехами в учебных достижений по различным предметам.

На диаграмме рис.12 представлены в виде «столбиков» с высотой, пропорциональной значению показателя, средние «тестовые оценки» ТО общеобразовательных учреждений разного типа для выпускников разных ступеней.

Можно отметить стабильно очень высокие показатели гимназий на всех ступенях, что может объясняться действовавшим много лет правилом конкурсного набора учащихся.

Интересно стабильное увеличение по мере приближения окончания школы относительного уровня учебных достижений в лицеях, которые, согласно положению о лицеях в Санкт-Петербурге, целевым образом готовят учащихся к поступлению в конкретные ВУЗы.

Рис. 12. Средние по ступеням результаты тестирования различных типов школ

Высокие показатели выпускников 9-х классов (основной школы) школ с углубленным изучением предметов объясняются тем, что на этой ступени оценивалась учебные достижения по иностранным языкам, которые чаще всего изучаются углубленно.

Негосударственные (частные) школы обеспечивают стабильный уровень учебных достижений по всем ступеням – немного ниже среднего по Санкт-Петербургу («все школы» на диаграмме) на старших ступенях и выше среднего в начальной школе.

Таким образом, тестовая оценка учебных достижений позволяет выявить особенности и различие в относительном уровне учебных достижений по предметам и ступеням в школах и их группах по различным признакам: типу, расположению и т.д. Информация с различным уровнем интеграции (агрегирования) позволяет обеспечить управление организационной и методической деятельностью на уровне региона, района, школы.

Для оценки качества школьного образования значительный интерес представляет сопоставление однотипных оценок – по итогам тестирования (ТО) и школьных – учителя (ШО). Среднее значение разницы между результатами предметного тестирования и школьными отметками говорит об уровне требований к учащимся в школе, валидности тестов, разнице в требованиях по разным предметам. Разброс значений этой разницы свидетельствует, в частности, об объективности подхода учителей к оценке знаний.

Представляется интересным детально рассмотреть различие между отметками учителей в школе ШО и оценками тестирования ТО. В этом различии отражается степень соответствия содержания тестовых заданий ожидаемым результатам реализации учебной программы с одной стороны и специфика оценки результатов школьным учителем – с другой. Результат тестирования каждого ученика по каждому предмету в виде «школьной оценки» сравнивается с отметкой школьного учителя по этому предмету. Для всех классов, школ, групп школ подсчитывается доля (в процентах) обследованных с каждым значением разницы ТО–ШО этих оценок.

Диаграмма по результатам обследования выпускников 3-х классов всех обследованных школ Санкт-Петербурга (свыше 5000 учащихся) по математике, природоведению, русскому языку и чтению, приведена на рис.13. Высота «столбиков» диаграммы пропорциональна доле обследованных, имеющих указанную слева величину разницы ТО–ШО между оценкой по тестам и отметкой учителя по указанным предметам.

Рис. 13.Разница в оценке тестированием и учителем для начальной школы

Среднее значение разницы оценок по тестам и школьных учителей ТО–ШО отражает различие в технологии оценки в рассматриваемой системе и учителями отобранных для аттестационного обследования учеников. Являясь наиболее «сильными» в школах, они имеют в школе средние отметки ШО = 4..5. В то же время используемый алгоритм преобразования процентов выполнения тестов в отметки дает для большинства обследованных ТО = 3..4. Очевидно, что, используя для определения базы оценки результаты всех учеников (в том числе – «слабых»), мы получим более близкие между собой результаты (ТО–ШО  0, а не ТО–ШО  –1).

На практике в большинстве случаев действительно оценка по тестам ниже отметки школы (величина ТО–ШО отрицательна). Это естественно, если вспомнить причины расхождения указанных оценок и представить наиболее вероятный результат их влияния, кроме личного отношения учителя к ученику. В среднем школьный учитель ставит ученику отметку на один балл выше, чем тот получает при тестировании. Что касается отдельных предметов, то по математике среднее значение разницы ТО–ШО = –1, по русскому языку – меньше (ТО–ШО = –0,6), а по чтению – больше (ТО–ШО = –1,3).

В качестве объяснения можно сказать, что проверка тестами степени усвоения грамматических правил русского языка в большой степени соответствует требованиям учебной программы. То же относится и к математике, но задания здесь носят комплексный характер, они «сложнее», чем по русскому языку, где каждое задание проверяет один «элемент» ЗУН. При тестировании проверяется способность учащегося без единой ошибки выполнить все действия задачи. «Ход решения», принимаемый во внимание учителем, применяемый вид тестирования не учитывает.

Проверка фактологического материала по чтению, скорее всего, охватывает малую, и не главную, часть учебных достижений, которыми должен овладеть ученик. При тестировании с помощью закрытых тестов почти не проверяется культура речи, не учитываются умение говорить и общая эрудиция. Отсюда и намного более высокие, чем при тестировании, оценки учителей. Те предметы, в которых различие в оценках наиболее велико, требуют особого внимания при составлении тестовых заданий.

В старших классах существенно расширяется круг предметов. Меняется структура содержания образования, появляются новые уровни обучения. Увеличивается число преподавателей, работающих с учеником. С увеличением возраста учащихся происходит развитие их личности и связанное с этим изменение отношений с учителями. Интересно оценить влияние этих факторов на объективность оценки учебных достижений в школе.

Диаграмма рис.14 построена аналогично диаграмме рис.13 по данным учеников 11-х классов всех обследованных школ Санкт-Петербурга.

Рис. 14.Разница в оценке тестированием и учителем для выпускников

По сравнению с начальной школой заметно лучшее совпадение оценок учителей и по тестам. Группа учеников с совпадением этих оценок (ТО=ШО) в 11-ом классе по всем предметам составляет около трети всех обследованных. Появилась заметная группа обследованных учеников (около 10%), имеющих по результатам тестирования более высокую тестовую оценку, чем им поставил учитель. Наиболее вероятной причиной этого можно считать личное отношение учителя к ученику. Соотношение содержания тестовых заданий и требований учебной программы к учебным достижениям скорее всего не влияет на отмеченное различие, так как оно характерно для всех предметов.

Что касается различия между предметами в рассматриваемом случае, то оно невелико. Оценка тестирования наиболее адекватна оценке учителя по физике и химии (среднее значение ТО–ШО = –0,5), чуть менее – по биологии и математике (среднее значение ТО–ШО = –0,6). Наибольшая разница присуща истории (среднее значение ТО–ШО = –0,7) и литературе (среднее значение ТО–ШО = –0,8). Здесь причина, скорее всего, в различии содержания тестовых заданий и требований учебной программы к ЗУН по рассмотренным предметам, а также объеме непроверяемых при тестировании результатов обучения.

Отдельно остановимся на разбросе разницы между оценками учителей и по тестам. Как уже отмечалось, основной причиной этого разброса, скорее всего, является личное отношение учителя к ученику, заставляющее учителя менять свою оценку.

В начальной школе среднеквадратичное значение разброса минимально и составляет по Санкт-Петербургу в целом 0,7…0,9. Для выпускников основной школы его величина возрастает – преобладают значения 0,8..0,9 по большинству предметов. В 11-х классах преобладающим становится значение разброса в один балл.

Очевидно, что по мере развития личности ученика с возрастом отношения его с учителем становятся всё более сложными, многосторонними. Различие в отношении учителя к различным ученикам проявляется в разном подходе к оценке ЗУН одинакового уровня.

На рис.15 изображены диаграммы, иллюстрирующие среднюю по всем предметам разницу в оценках учителей и тестирования по типам школ. Высота каждого «столбика» диаграмм пропорциональна величине разницы ШО-ТО, (обратной использованной на рис.13 и рис.14 ТО–ШО), тип школ указан слева, а ступень образования – справа.

Рис. 15.Разница в оценке учителем и тестированием по типам школ

Учителя младших классов оценивают своих учеников наименее строго. Превышение их отметок над результатами тестирования наиболее велико и составляет ШО-ТО = 0,8..0,9. «Строже» всех, как ни странно, оказались учителя младших классов частных школ и школы-интерната для социально неблагополучных детей. Они ставят ученикам с тем же уровнем учебных достижений по результатам тестирования более низкие отметки, чем «средний» учитель Санкт-Петербурга, хотя в общественном мнении бытует представление о частных школах, как школах, где ничему не учат, а отметки ставят «за деньги». Для всех предметов, кроме русского языка, разница в оценках учителей и по тестам в частных школах гораздо меньше, чем в среднем по Санкт-Петербургу.

В 9-11-х классах (основная и средняя школа на рис.23) учителя становятся заметно «строже» – среднее превышение их отметок над оценками тестирования ШО-ТО уменьшается на 0,2..0,3.

Обращают на себя внимание результаты школы-интерната для социально неблагополучных детей. Хотя с точки зрения статистики рассматривать их как характерные было бы некорректно, они представляются крайне интересными. С увеличением возраста учащихся «строгость» учителей возрастает здесь значительно сильнее, чем в других школах. По всем предметам, кроме биологии, у учеников 11-го класса наблюдалось почти полное соответствие оценок учителей и по тестам. «Завышения» оценок учителями не было, их оценка была весьма строгой. Подтверждением может служить и относительно малая величина среднеквадратичного значения разброса разницы ТО–ШО = 0,5..0,7, что говорит о «почти одинаковом» отношении учителей ко всем ученикам. Такое отношение учителей к ученикам (не личное, а групповое – ко всем в целом), можно предположить, и послужило причиной этой «строгости».

Таким образом, результаты тестового контроля по предметам в Санкт-Петербурге по используемой методике в целом адекватны уровню учебных достижений. Их сопоставление с оценкой учителей в школе позволило сделать ряд интересных выводов об уровне учебных достижений и условиях образовательного процесса в петербургских школах.

При оценке качества школьного образования во многих случаях не требуется сильно дифференцированная оценка – вполне приемлемыми являются ответы «в норме», «ниже нормы», «выше нормы». При оценке образовательной деятельности школ или их групп по различным признакам названные ответы будут относиться к группам или совокупностям показателей, отражающих различные свойства как стороны качества школьного образования.

Очевидно, что с точки зрения управления образовательной деятельностью и образовательным процессом наибольший интерес представляют именно отклонения от «нормы», как проявление свойств образования, делающих его «лучше» или «хуже». С увеличением перечня показателей оценки и, следовательно, диагностических методов существенно возрастает вероятность «ложного» выявления отклонения от нормы. При попадании 90% результатов в интервал «нормы» за пределами этого интервала оказываются 10% исследуемых объектов. При использовании двух показателей вне «нормы» окажутся 19% объектов, а при 20-и – 88%.

Отмеченная особенность заставляет использовать минимальное число характеризующих качество показателей. Тем более, большинство их оказываются взаимосвязаны. Минимизация числа используемых показателей оценки качества полностью соответствует известному «правилу Парето» для систем управления качеством, которое говорит о наибольших потерях качества от малого числа факторов (и соответствующих показателей).

Для интегральной оценки качества образовательной деятельности школ Санкт-Петербурга были выбраны такие показатели как уровень учебных достижений по основным предметам, уровень развития мышления (образовательный потенциал), психологический комфорт обучения и пребывания в школе. Результаты оценки (объективной и экспертной) этих показателей и их сопоставление для различных школ, групп школ, ступеней образования были приведены выше. При этом значения показателей, нормы их оценки, роль этих показателей при общей оценке образования были весьма различными.

Понимая всю условность использования обобщенных показателей, характеризующих «образование» в целом, можно все же сделать попытку агрегирования группы показателей. Агрегирование подразумевает при этом не только и не столько объединение в смысле усреднения, сколько объединение при представлении, позволяющее рассматривать все показатели по отдельности и одновременно.

Как уже отмечалось, значительная протяженность школьного образования приводит к тому, что задачи и методы образования на разных его ступенях заметно различаются. Соответственно, различаются подходы к роли и оценке одних и тех же показателей качества образования на разных ступенях школы. Следовательно, целесообразно рассматривать при оценке школьной образовательной деятельности все три показателя на каждой ступени образования. Содержание результатов аттестационного обследования школ Санкт-Петербурга позволяет это сделать.

При представлении результатов обследования для отчетов или анализа использовались уже описанные выше различные формы.

В процессе обследования определялись непосредственно ответы учащихся на вопросы заданий тестов по предметам или психологических, анкет, опросников. По этим ответам определялись «технические» результаты в форме суммы баллов или доли (процента) от максимально возможного результата. Все используемые методики имели результат в виде числа, но размерность результата могла быть разной – например, в рассматриваемом обследовании для результатов оценки психологического климата у старшеклассников и школьной тревожности у учащихся младших и средних классов.

Разной была и «норма» оценки результатов. Возможность применения «нормы» для «технических» результатов в подавляющем большинстве случаев определяется: во-первых, наличием или отсутствием достаточного количества результатов для получения статистических характеристик их распределения, во-вторых, выводами после детального анализа этих результатов и их характеристик специалистами. Расширение границ применения методики или модификация диагностических материалов неизбежно влечет за собой необходимость переопределения нормы для «технических» результатов.

Более общей является «рейтинговая» форма представления результатов. Результатом является рейтинг значения показателя среди других аналогичных значений, полученных в аналогичных условиях, например – процент выполнения заданий конкретного закрытого теста по математике для выпускников начальной школы, прошедших обследование в один период времени.

Рейтинг результата среди аналогичных может быть представлен в персентилях – доле в процентах числа аналогичных результатов, оказавшихся «хуже» оцениваемого. Если в числе оцениваемых окажется большая группа одинаковых результатов, то всем им может быть присвоен рейтинг, равный персентилю «середины» этой группы.

Наконец, результат может быть представлен в форме «качественной» оценки: «плохо», удовлетворительно» и т.п. для учебных достижений по предметам, «низкая», «высокая» и т.п. для школьной тревожности, и т.д. Такая форма оценки тоже является «рейтинговой», но включает в себя обычно «норму» оценки, задаваемую экспертами или получаемую, как было сказано, после анализа достаточно большого числа аналогичных результатов. Качественная оценка получается после отнесения результата к одному из диапазонов значений показателя, а определение диапазонов представляет собой ни что иное, как определение «нормы».

Однако, даже не зная заранее «нормы», можно также воспользоваться достаточно наглядной (и привычной для российской школы) шкалой «школьных отметок»: 2, 3, 4 и 5, если принять в качестве данного «нормального» существующий уровень образования с присущими ему значениями показателей качества, как это было сделано при оценке уровня учебных достижений в Санкт-Петербурге.

Большинство обследуемых считались обладающими «нормальным»: несколько «худшим» («тестовая» оценка ТО = 3, 32% обследованных) или несколько «лучшим» («тестовая» оценка ТО = 4, 32% обследованных) уровнем обученности. Небольшая часть (4% обследованных) имевших результаты хуже, чем «нормальные», получали «тестовую» оценку ТО = 2. 16% обследованных с самыми высокими результатами получали «тестовую» оценку ТО = 5. Если в дальнейшем выяснится, что эти соотношения не устраивают, их можно будет изменить.

Эти оценки получаются на принципиально другой основе, чем отметки учителей по различным предметам. В них отсутствуют утвержденные для большинства предметов нормы ошибок либо элементов знаний, умений, навыков. В них нет и оценки мотивации, трудолюбия, старательности, прилежности учащихся. Кроме того, в них отсутствует личное отношение учителя. Эти оценки объективны – все результаты оцениваются по одному заранее известному алгоритму.

Если поставить целью одновременное сопоставление результатов предметного тестирования, оценки образовательного потенциала и психологической комфортности обучения, то естественно применить к результатам по всем этим показателям один и тот же принцип с одинаковым соотношением доли обследованных для каждой из «отметок»: 2, 3, 4 и 5 – 4%, 32%, 48% и 16% от общего числа обследованных по показателю, соответственно. Среднее для Санкт-Петербурга значение любого из показателей при таком выборе соотношений числа «отметок» составляет 3,6..3,7. Если выбрать другое соотношение, то средняя оценка тоже изменится.

На диаграммах рис.16 показаны агрегированные показатели качества образования в нескольких школах Санкт-Петербурга, полученные по результатам их обследования.

Рис. 16. Интегральная оценка качества образования в школах

Обозначения показателей начинаются с первой буквы названия ступени («Н» – начальная, «О» – основная и «С» – средняя школа), а затем следует названия показателя: «обученность» (средняя «тестовая оценка» ТО всех обследованных учащихся ступени по всем предметам обследования), «образовательный потенциал» (полученная по тому же «рейтинговому» принципу средняя оценка уровня развития мышления всех обследованных учащихся ступени), «психологическая комфортность» (полученная по тому же «рейтинговому» принципу средняя оценка психологической комфортности обучения всех обследованных учащихся ступени по школьной тревожности для начальной и основной школы либо психологического климата для средней школы). Значение каждого показателя может меняться от 2 (в центре диаграммы) до 5 (на внешней границе диаграммы) и отложено по соответствующему «лучу» диаграммы. Отсутствие какого-либо показателя свидетельствует об отсутствии ступени (или данных). Чем больше площадь фигуры, ограниченной соединяющей значения всех показателей ломаной линией, тем выше качество образования в школе в целом.

Каждая из диаграмм характеризует на основе одинаковых для всех объективных методов оценки качество образования в школе на каждой ступени образования. Рассмотрим наиболее показательные и типичные особенности этих диаграмм.

Одна из лучших в Санкт-Петербурге школ – гимназия, в целом подтвердила свою репутацию. Обращают на себя внимание очень высокие показатели психологической комфортности обучения – гораздо выше средних и одни из самых высоких в Санкт-Петербурге. Не случайно директор называет свою гимназию «школой радости». Очень высок образовательный потенциал учащихся, особенно – выпускников ступеней основной и средней школы. Предельно высоки показатели учебных достижений выпускников ступеней основной и средней школы по итогам обследования, что можно отнести к заслугам администрации школы. Относительный уровень учебных достижений на всех ступенях образования выше относительного уровня образовательного потенциала, что говорит о высокой эффективности образовательного процесса без чрезмерной психологической нагрузки на учащихся.

В корне отличаются от гимназий показатели лицея (без начальной школы). На обеих ступенях уровень учебных достижений ниже очень высокого уровня образовательного потенциала учащихся. При явно более низкой эффективности образовательного процесса психологическая нагрузка на учащихся высока – относительно низок уровень психологической комфортности обучения.

Школа (с углубленным изучением предметов) отличается от других школ относительно высоким уровнем образовательного потенциала учащихся. В то же время на всех ступенях образования уровень учебных достижений «отстает» от уровня образовательного потенциала – эффективность образовательного процесса недостаточна. Низка психологическая комфортность на всех ступенях.

Типичны особенности диаграммы негосударственной школы. Начальная ступень этой негосударственной школы отличается ровным и наиболее высоким уровнем показателей из всех рассмотренных школ. Для ступеней основной и средней школы здесь характерна одинаковая картина. При крайне низком уровне образовательного потенциала учащихся (на уровне «проблемных») школа добивается высокого (выше среднего по Санкт-Петербургу) уровня учебных достижений при высокой (тоже выше среднего по Санкт-Петербургу) степени психологической комфортности обучения.

Таким образом, определенная здесь совокупность показателей и способ их агрегирования позволили оценить уровень качества образования в рассмотренных школах в целом и выявить особенности каждой школы.

Оценим тем же способом качество образования в разных типах школ Санкт-Петербурга. Диаграммы, аналогичные диаграммам рис.16, для групп обследованных школ по типам приведены на рис.17. Усредненные значения показателей отличаются друг от друга гораздо меньше, чем у отдельных школ, поэтому масштаб диаграмм выбран более подробным – значение каждого показателя здесь может меняться от 3 (в центре диаграммы) до 4 (на внешней границе диаграммы).

Рис. 17. Интегральная оценка качества образования в разных типах школ

Первые четыре диаграммы отображают показатели в подавляющем большинстве государственных школ разных типов. Если судить о качестве образования в целом по площади фигуры, ограниченной соединяющей значения всех показателей ломаной линией, то среди школ разных типов впереди всех стоят гимназии, затем идут лицеи, школы с углубленным изучением одного или нескольких предметов, а «замыкают» список «обычные» школы, которых большинство в городе. Общим для всех типов является в разной мере выраженное «отставание» уровня учебных достижений от уровня образовательного потенциала на всех ступенях школы.

Если говорить об особенностях гимназий и, следовательно, гимназического образования в Санкт-Петербурге, то соответствующая диаграмма отличается от других прежде всего более высоким уровнем образовательного потенциала учащихся на всех ступенях, начиная с начальной школы. Выше среднего по Санкт-Петербургу в гимназиях и психологическая комфортность обучения, и учебные достижения по предметам (за исключением ступени начальной школы).

У лицеев психологическая комфортность обучения на всех ступенях образования в среднем практически такая же, как и у гимназий. Заметно ниже у лицеев образовательный потенциал учащихся и учебные достижения, особенно – на ступени начальной школы. Этот факт можно объяснить тем, что лицейская образовательная программа начинает заметно отличаться от общеобразовательной значительно позже, чем гимназическая.

Школы с углубленным изучением одного или нескольких предметов обладают показателями практически на среднем для Санкт-Петербурга уровне, за исключением чуть более высоких, чем средние, уровней образовательного потенциала учащихся и психологической комфортности обучения на ступени основной школы.

«Обычные» школы, как и следовало ожидать, обладают средними для Санкт-Петербурга показателями.

На диаграмме для негосударственных образовательных учреждений (школ) бросается в глаза очень заметное преобладание психологической комфортности обучения на всех ступенях школы. Это объясняется тем, что негосударственные (частные) школы изначально создавались как альтернатива государственным в обучении «проблемных» и нестандартных учащихся и сохранили свою особенность до сих пор. Уровень учебных достижений учащихся в этих школах относительно невысок – чуть ниже среднего по Санкт-Петербургу, но зато соответствует уровню образовательного потенциала учащихся. Это говорит о более высокой эффективности образовательного процесса в этих школах, чем в государственных.

Таким образом, используемые здесь совокупность показателей и способ их агрегирования позволили оценить уровень качества образования не только в отдельных школах, но и в их типах, а также выявить особенности каждого из рассмотренных типов школ.

Диаграммы, аналогичные диаграммам рис.17, для групп обследованных школ по нескольким территориальным районам Санкт-Петербурга приведены на рис.18. Как и на диаграммах рис.17, усредненные значения показателей отличаются друг от друга гораздо меньше, чем у отдельных школ, поэтому значение каждого показателя здесь тоже может меняться от 3 (в центре диаграммы) до 4 (на внешней границе диаграммы).

Рис 18.Интегральная оценка качества образования по районам

Типичными «середнячками» на диаграммах выглядят Василеостровский, Калининский и Красносельский районы. Их показатели соответствуют показателям «обычной» школы. Впрочем, Василеостровский район отличается более низкой обученностью выпускников начальной школы.

Заметно выше в целом показатели Московского, Петродворцового и Центрального районов – площадь фигуры, ограниченной соединяющей значения всех показателей ломаной линией, у этих районов больше. При этом Московский и Петродворцовый район отличаются самым высоким образовательным потенциалом выпускников основной школы, а Центральный – средней школы, при примерно одинаковых результатах – обученности по предметам выпускников всех ступеней.

Обращает на себя внимание низкая психологическая комфортность в старших классах районов с наиболее высокими учебными достижениями (обученностью): Адмиралтейском, Московском, Центральном. Скорее всего, это следствие обучения в школах «повышенного уровня» или проживания в центральных районах.

Особенностью Курортного района является высокое качество образования на ступени средней школы. При практически равных образовательном потенциале и обученности выпускников этой ступени, то есть нормальной для Санкт-Петербурга реализации их образовательного потенциала, психологическая комфортность обучения в районе самая высокая в Санкт-Петербурге.

Таким образом, предложенный способ агрегирования показателей позволяет оценить уровень качества образования и в группах школ по территориальному признаку, выявить особенности каждого из рассмотренных районов, обусловленные свойствами контингента учащихся и уровнем работы территориального органа управления образованием.