Вопросы для размышления

Согласны ли Вы с выводами о динамике обучения классов по приведенным результатам? Достаточно ли, по Вашему мнению, данных для подобных выводов?

Целесообразно ли, по Вашему мнению, построение аналогичной лонгитьюды по результатам диагностики развития мышления? Приведите аргументы за и против подобного действия.

Можно ли, по Вашему мнению, построить такую лонгитьюду с 1 по 11 класс на основе описанных методик? Почему?

Убедили ли Вас выводы о влиянии школы на мотивацию к учению? Подберите аргументы для другого обоснования отмеченных закономерностей.

Является ли, по Вашему мнению, связь между учебными достижениями и развитием личности учащегося столь простой и однозначной, чтобы её можно было выявить только с помощью описанных методик диагностики?

4.4. Оценка результатов образовательной деятельности учителя

В одной из гимназий Санкт-Петербурга решили осуществить независимую оценку учебных достижений – провести внешний аудит результатов образования. В 4 и 9-х классах дважды прошло тестирование по русскому языку, математике и немецкому языку. В октябре проверка производилась по учебному материалу прошлых лет, а в феврале – по итогам полугодия. Использовались закрытые тесты учебных достижений, апробированные в ходе государственной аттестации школ, многолетнего мониторинга в школах Санкт-Петербурга. Количество заданий в тестах, подготовленных нами по выбранным учителями темам, составило: по математике – 9-10 заданий, по русскому языку – 20 заданий, по немецкому языку –20-40 заданий. Тематика заданий для обследований определялась гимназией.

По результатам тестирования мы представили гимназии таблицы по классам, в которых для каждого ученика показаны: % выполнения теста, показатель «рейтинг среди всех, отвечавших на задания теста», отметка учителя за проверяемый период учебы. Для учителей-предметников были представлены также по каждому предмету для каждого класса «содержательные» таблицы, в которых показано среднее для класса значение процента выполнения заданий по каждой из тем тестирования, а также процент выполнения заданий по каждой из тем каждым из учеников. Эти таблицы предназначены для организации целенаправленной работы с классом в целом и каждым учеником в отдельности (при желании и возможности) по «неусвоенным» темам.

Мы провели анализ оценивания учебных достижений учащихся разными учителями в различных классах. Для этого использовался такой показатель, как рейтинг ученика в параллели, т.е. процент учащихся параллели (обследованных), которые ответили хуже, чем этот ученик, или получили более низкую отметку у учителя. Рейтинг выражается в % (персентилях) и принимает значения от 0% (самый низкий) до 100% (самый высокий).

Для каждого обследованного класса были построены диаграммы, на которых для каждого ученика класса по каждому предмету показана разница (ТО-ШО) между рейтингами по итогам тестирования (ТО) и по отметкам учителя (ШО). С учетом очень «грубой» оценки по шкале отметок учителя ШО=2,3,4,5 можно считать разницу ТО-ШО в ±20% незначительной и допустимой. Если разница ТО-ШО больше 20%, то учитель «недооценивает» учебные достижения ученика, а если эта разница меньше -20%, то «переоценивает». Учителя давали адекватное объяснение наиболее заметным различиям указанных рейтингов.

Диаграмма со средними значениями тех же показателей для каждого обследованного класса по трем предметам приведена на рис.30.

Рис.30. Оценка адекватности отметки учителей уровню учебных достижений

В отличие от оценки отдельных учеников, здесь имеют значение и менее значительные расхождения рейтингов ТО-ШО. Разница ТО-ШО свидетельствует об уровне преподавания, требовательности и объективности учителя. Среднее по классу значение разницы ТО-ШО можно считать показателем «строгости оценки» (разница положительна) или «снисходительности» (разница отрицательна) учителя.

Показатели 4-х классов говорят об объективной, в целом, оценке учителями достижений своих учеников.

Другая картина в 9-х классах. Каждый из них имеет свой особый заявленный статус, не всегда обеспечиваемый, как показала наша оценка, результатами учащихся. Средние результаты 9а класса (не гимназического) не показательны из-за малого числа обследованных в нем учеников. Обращает на себя внимание существенная разница в подходе к оцениванию двух учителей по русскому языку в 9б и 9в,г классах. Учитель в 9б заметно (ТО-ШО = –15) «снисходительнее» коллеги. По математике обращает на себя внимание «снисходительность» учителя в 9г классе (ТО-ШО = –12). Средний уровень «строгости» учителей по немецкому языку примерно одинаков во всех классах. Это объясняется тем, что с каждым классом работают по три учителя и их требования для класса в целом усредняются.

Приведенные оценки позволили сравнить учебную деятельность отдельных классов и учителей внутри школы. Используемая нами технология оценки дает возможность оценить достижения обследованного класса и даже отдельного ученика по сравнению со всеми, кто когда-либо отвечал на те же вопросы. Диаграмма, на которой показаны средние для каждого класса значения показателя «рейтинг среди всех, отвечавших на задания теста» по каждому предмету приведена на рис.31 и говорит о достаточно высоком уровне учебных достижений гимназии. Для адекватного восприятия этой оценки следует учитывать, что уровень показателя ограничен сложностью используемых заданий – обычно 20-80% правильных ответов, что дает максимально возможный рейтинг не более 60-70%.

Рис.31.Учебные достижения классов гимназии на уровне Санкт-Петербурга

Эта диаграмма показывает, что уровень учебных достижений 9-х классов высок. Особенно выделяется 9в класс. Достижения учеников 9а класса заметно ниже. Показатели этого «обычного» класса можно считать средними. Заметно ниже уровень 4-х классов, особенно – по русскому языку. Отметим, что сделать подобный вывод из «внутришкольной» оценки (рис.30) было невозможно.

Другой яркий пример выявления уровня работы учителя дало выборочное обследование нескольких школ Санкт-Петербурга, произведенное нами в 2006 году. Учащиеся 9-х классов нескольких школ двух районов тестировались по нескольким предметам.

Рассмотрим результаты обследования, представленные на диаграмме рис.32. По каждому «лучу» диаграммы отложено среднее для всех обследованных учащихся каждой школы значение рейтинга в этом тестировании в персентилях по каждому предмету – 3-х школ района, обозначенного «пр», с условными номерами от пр1 до пр3 и 9-и школ района, обозначенного «пе», с условными номерами от пе1 до пе9.

Рис.32.Средний по школам рейтинг по предметам в группе при тестировании

Представленные на диаграмме результаты позволяют сравнить уровень учебных достижений школ. По ним можно выделить как «наиболее сильные» школы «пр2», «пе5», «пе6» – по русскому языку; «пе1», «пе5», «пе6» – по иностранным языкам; «пр1», «пр2» – по математике.

Однако эти результаты не учитывают уровень развития учащихся, который заметно зависит от школы, района, региона. Известно, что результаты обучения во многом определяются «качеством контингента» обучающихся и в гораздо меньшей степени зависят от дидактических усилий педагога. В связи с этим для оценки уровня обучения представляет интерес не столько оценка уровня учебных достижений тестированием или отметкой учителя, сколько разница ТО-ШО оценок по тестам (ТО) и учителя (ШО). Большие положительные значения этого показателя говорят о «высокой» требовательности учителя, а большие отрицательные – о «низкой». Средняя по классу (школе) разница ТО-ШО по предмету свидетельствует об уровне обучения. Соответствующие результаты в нашем мониторинге отображает диаграмма рис.33.

Рис.33.Разница в оценке учебных достижений в школах тестами и учителем

Интересно, что при достаточно ровных результатах школ по русскому языку (рис.32) оценка учебных достижений по этому предмету учителями заметно отличается. В «сильных» школах «пе5», «пе6» (рис.33) учителя заметно «строже», чем в остальных. Однако «высокая требовательность» учителей оказалась присуща и «средней» по мнению районных руководителей системы образования школе «пе7». В то же время требовательность учителя «сильной» школы «пр2» оказалась заметно ниже.

Яркий пример адекватности результатов нашей оценки условиям обучения и уровню учебных достижений учащихся демонстрирует сравнение и анализ результатов школ «пр1», «пр2» по математике. При практически одинаковых результатах школ по рейтингу (рис.32) наблюдается существенная разница в оценке учителей. Требовательность учителя математики «обычной» муниципальной школы «пр1» оказалась значительно выше, чем у учителя в лицее «пр2». Этот феномен нашел объяснение при анализе с администрацией школы личностных и профессиональных качеств учителя математики школы «пр1».

Интересны результаты проводимой нами подобной оценки на уровне отдельных учеников. При интерпретации рейтинговых оценок отдельных учеников следует учитывать, что рейтинг по отметкам учителя (2,3,4 и 5) достаточно «грубый». Всем «хорошистам», например, а их в классе или параллели может быть достаточно много, присваивается одинаковый рейтинг «середины» этой группы. Поэтому для отдельного ученика разница рейтингов по тестам и отметке учителя в ±10-20% вполне допустима. Большее расхождение может служить сигналом о неадекватности оценки. Вот, например, на рис.34 диаграмма с фрагментом (по двум предметам) результатов оценки учебных достижений учеников выпускного класса одной из гимназий.

Рис.32. Разница в оценке учебных достижений учеников тестами и учителем

У большинства учеников наблюдается превышение рейтинга в параллели по результатам тестирования над рейтингом по отметкам учителя. Отчасти отмеченный факт объясняет то, что это «сильнейший» класс в параллели. В то же время, ряд учеников класса (1,18,19 и 23) оказались заметно «переоценены» учителями (разница ТО-ШО отрицательна), причем – по разным предметам.

На общем фоне заметно выделяется ученица 13, чьи достижения существенно недооценены учителями по обоим предметам. Очевидно, что на её взаимоотношения с учителями целесообразно обратить внимание классному руководителю и администрации школы.

Этот пример демонстрирует возможность использования результатов тестирования с применением нашей технологии для мониторинга образовательного процесса в школе и управления им. Можно отметить, что, помимо двух рассмотренных предметов, тестирование в этом классе прошло ещё по 10-и, и аналогичные результаты стали достоянием администрации и учителей школы.