Вопросы для размышления

Кто из учеников, чьи показатели приведены на рисунке с десятью диаграммами, учится лучше всех по Вашему мнению? Почему Вы так решили?

Кто из учеников, чьи результаты приведены на этом рисунке, по Вашему мнению, чувствует себя в школе лучше всех? Обоснуйте своё решение.

Возможности какого из учеников, чьи результаты приведены на этом рисунке, по Вашему мнению, реализуются в школе наилучшим образом? Почему Вы так решили?

Можно ли, с Вашей точки зрения, оценивать динамику обучения школьника с помощью среднего рейтинга по всем предметам? Какие аргументы можно привести против такой методики?

Означает ли стабильность среднего рейтинга, с Вашей точки зрения, отсутствие положительной динамики в учебных достижениях школьника? Почему Вы так решили?

4.3. Оценка качества образования класса

Используемая в рассматриваемой системе оценки методика получения и обработки результатов позволяет успешно сравнивать классы параллели.

Многие специалисты по комплексной оценке качества образования предостерегают от бездумного усреднения показателей качества образования отдельных учащихся при получении показателей класса. Действительно, в ходе усреднения может быть получен результат, аналогичный «средней температуре по больнице». Весьма эффективными и полезными в такой ситуации могли бы оказаться методы кластерного анализа, использование таких известных в статистических исследованиях понятий как квартили, децили и их характеристики.

В то же время, применение подобных методов связано с использованием достаточно сложных методик, для которых, правда, существует развитый аппарат программного обеспечения. Необходимо отметить, что применение такого аппарата для обработки результатов одного класса связано с риском получения формально правильного, но по сути ничего не говорящего результата. Об этом говорит, в частности, известный специалист в области применения статистических методов в гуманитарных исследованиях Е.В. Сидоренко [38].

Определение среднего значения и характеристики разброса показателей относительно небольшой группы (класса) по силам учителю без сложных программ, а с учетом наличия обозримых результатов всех учащихся по отдельности риск «потерять» смысл результатов при усреднении сводится к минимуму.

Попробуем применить средние показатели для оценки качества образования учащихся по классам. Достаточно наглядное представление о соотношении результатов обучения в двух 4-х классах школы дают диаграммы рис.23.

По каждому «лучу» этих диаграмм отложено значение соответствующего среднего показателя учебных достижений класса по итогам тестирования в конце указанной четверти. Точки на лучах, соответствующие значениям показателей, соединены для наглядности ломаной линией. Все показатели для обеспечения возможности сопоставления измеряются одинаково – в процентах правильно выполненных заданий одних и тех же тестов для обоих классов, что вполне допустимо, поскольку сравниваются классы, а не предметы.

Рис. 23.Динамика результатов оценки учебных достижений классов параллели

Как видно из этих диаграмм, в 1-й четверти 2002/03 учебного года эти классы имели практически одинаковый уровень учебных достижений по всем предметам, кроме природоведения, где класс 4Б значительно лучше. Во 2-й четверти уровень учебных достижений по всем предметам стал практически одинаковым. В 3-й четверти 4А класс лучше, чем 4Б, по математике и чтению, но хуже – по английскому языку. В 4-й четверти классы опять имеют практически одинаковый уровень учебных достижений по всем предметам.

Сопоставим оценку возможностей и достижений рассматриваемых классов в целом воспитателями этих классов и по используемым объективным показателям.

Класс 4А считается в школе более способным, чем 4Б класс. В то же время все учителя, воспитатели и администрация школы отмечают, что из-за прихода большой группы пока не адаптировавшихся детей 4А класс пока не может реализовать свой потенциал.

Очевидно, что при классно-урочной системе предметного обучения наилучшие результаты достигаются при близких показателях образовательного потенциала всех учеников класса. Как показал анализ результатов оценки образовательного потенциала учащихся 2-11-х классов рассматриваемой школы в течение 2-х лет, по мере совместного обучения в классе разброс значений этого показателя у учеников одного класса уменьшается, уровень класса «выравнивается». Приход «новичков» увеличивает разброс и, тем самым усложняет задачу учителя по совместному обучению учеников класса.

По результатам диагностики образовательного потенциала оба класса в целом дали одинаковый процент правильных ответов на вопросы двух первых разделов теста, а по третьему разделу – «общая осведомленность», 4А класс значительно опередил класс 4Б.

Следует отметить, что по результатам обследования в декабре 2002 года в классе 4А в среднем отмечалось несколько более тревожное эмоциональное состояние учеников, чем в 4Б классе. Повышенная тревожность наблюдается в 4А классе практически по всем факторам, определяющим школьную тревожность, что нехарактерно для петербургских школ.

Таким образом, как по оценке школы, так и по объективным показателям, 4А класс пока потерял свою лидирующую позицию в параллели, однако, как показывают результаты тестовой оценки, превосходство в образовательном потенциале осталось и, по мере адаптации детей и снижения тревожности, можно ожидать возвращения лидирующей позиции к классу А.

Результат образования в виде учебных достижений по предметам не принимает значительная часть педагогов ученых и практиков. Позиция ученых обуславливается в большинстве случаев стремлением на различных основаниях отдать приоритет образованию как процессу развития учащегося над образованием как результатом этого процесса. Позиция практиков основана на понимании роли уровня развития контингента учащихся для возможности обеспечения высокого уровня результатов.

В процессе мониторинговых исследований уровня учебных достижений мы неоднократно сталкивались с ситуацией, когда расположение школы и регламент формирования контингента учащихся полностью нивелировали все старания высококвалифицированного и мотивированного коллектива школы по достижению высокого уровня учебных достижений. При этом может заметно отличаться уровень контингента учащихся как по годам, так и по классам в параллели.

Рассмотрим возможности предлагаемой модели оценки учебных достижений в совокупности с оценкой развития личности учащихся. Во взятой нами для примера школе в течение ряда лет проводилась диагностика уровня учебных достижений, а также таких показателей уровня развития личности как уровень развития мышления и структура мотивации к учению.

Возьмем для оценки учебных достижений такой показатель, как «рейтинг среди всех, кто когда-либо выполнял отдельные задания из используемых для диагностики тестов». Этот показатель, чьи значения на уровне 40-60% можно считать достаточно высокими, позволяет сопоставить результаты, полученные на совершенно различных по тематике и уровню тестах. На диаграммах рис.24 показаны средние результаты выпускных классов по ступеням образования одной из петербургских школ для двух предметов: математики и литературы (чтения в начальной школе), полученные при обследованиях 2003-2004, 2005-2006 и 2007-2008 учебных годов.

Рис. 24Учебные достижения выпускных классов по годам

Из приведенных диаграмм становится ясно, что достижения 3-х классов по чтению во все годы отличались незначительно. По математике в 2003-2004 уч.году сильнее был 3Б класс, а в последующие годы самым сильным оставался 3А класс.

Среди 9-х классов по математике в 2003-2004 уч.году сильнее был 9Б класс, а в последующие годы более сильным стал 9А класс, общий уровень по математике повысился. Достижения 9-х классов по литературе были наивысшими в 2005-2006 уч.году, в 2007-2008 уч.году они несколько понизились. Обращает на себя внимание «провал» по литературе в 2003-2004 уч.году 9Б класса.

Достижения 11А класса по математике во все годы оставались примерно одинаковыми, а по литературе с каждым годом повышались.

Представляется интересным сопоставить учебные достижения учащихся этих классов с результатами диагностики развития личности. На диаграмме рис.25 показано изменение среднего для каждого класса образовательного потенциала (процента выполнения теста на развитие мышления).

Рис. 25.Образовательный потенциал классов по годам

Из диаграммы следует, что уровень развития мышления учащихся (образовательный потенциал) 3-х классов в эти годы был в целом достаточно высоким, за исключением 3В классов и 3Б в 2007-2008 уч.году. Для 3В класса этот факт хорошо объясняет относительно скромные достижения по обоим предметам по сравнению с другими классами. Причина различия в достижениях 3А и 3Б классов и их изменения по годам, очевидно, находится вне рассмотренной стороны развития личности учащихся.

Уровень развития мышления учащихся (образовательный потенциал) 9-х классов неуклонно повышался. Это хорошо объясняет тенденцию общего роста учебных достижений, более ярко выраженную у 9А класса.

Уровень развития мышления учащихся (образовательный потенциал) 11А класса также повышался. Это объясняет тенденцию заметного роста учебных достижений класса по литературе, но не увязывается с практически неизменным уровнем достижений этого класса по математике (рис.24).

Другим показателем уровня развития личности учащихся в предлагаемой нами модели оценки является структура мотивации к учению. Наиболее «значимые» с точки зрения развития личности причины могут быть объединены в группу «мотивация содержанием образования».

На диаграмме рис.26 показано изменение по годам доли (в процентах) в каждом классе учащихся, имеющих такую – свидетельствующую о высоком развитии их личности, мотивацию к учению.

Рис. 26.Доля (в %) учащихся с мотивацией «содержанием образования»

Данные этой диаграммы объясняют существенное снижение учебных достижений большинства классов, кроме 9А, по рассматриваемым предметам в 2005-2006 уч.году.

Приведенный пример наглядно демонстрирует возможности предложенной модели оценки учебных достижений и необходимость привлечения для этой оценки результатов психолого-педагогической диагностики.

Рассмотрим ранее упомянутый пример использования диагностики психологического климата в коллективе для выяснения проблем «сложного для воспитателя» класса.

В результате были получены отчеты по обследованию каждой из частей этого класса (в данном случае их три – по числу выделенных групп), один из которых был приведен ранее в табл.11, а два других приведены в табл.12,13.

Таблица 12. Диагностика психологического климата группы из 9Б

Группа из 9Б психологический климат 14.04.2003

рабочий настрой........................ 1,0

взаимоотношения........................ 0,8

отношения референтных групп............ 0,8

совместные действия.................... 1,0

отношение к другим.....................-0,5

комплементарность мнений...............-0,8

отношение к коллективу.................-0,3

в экстремальн.ситуации................. 0,3

патриотизм............................. 0,3

активность............................. 1,5

отношение к новичкам...................-1,3

динамичность связей....................-0,3

сплоченность...........................-0,3

Фактор 1 2 3 4 5 6 7 8 9 10 11 12 13 в целом

Ученик 1 3 3 3 3 0 -1 3 3 3 3 -3 0 0 = 1,5

Ученик 2 2 1 1 2 0 0 -1 -1 0 3 0 0 0 = 0,5

Ученик 3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 =-3,0

Ученик 4 2 2 2 2 1 1 0 2 1 3 1 2 2 = 1,6

Таблица 13. Диагностика психологического климата группы из других школ

Группа из др.школ психологический климат 14.04.2003

рабочий настрой....................... 1,2

взаимоотношения....................... 1,4

отношения референтных групп........... 1,8

совместные действия................... 2,0

отношение к другим.................... 1,4

комплементарность мнений.............. 2,0

отношение к коллективу................ 1,0

в экстремальн.ситуации................ 1,2

патриотизм............................ 0,8

активность............................ 1,6

отношение к новичкам.................. 1,6

динамичность связей................... 1,2

сплоченность.......................... 1,2

Фактор 1 2 3 4 5 6 7 8 9 10 11 12 13 в целом

Ученик 1 0 0 0 0 0 0 0 0 0 0 0 0 0 = 0,0

Ученик 2 1 2 1 2 3 2 2 3 1 2 3 2 1 = 1,9

Ученик 3 2 2 2 3 1 3 0 3 1 3 2 1 2 = 1,9

Ученик 4 0 0 3 2 0 2 0 -3 -1 0 0 0 0 = 0,2

Ученик 5 3 3 3 3 3 3 3 3 3 3 3 3 3 = 3,0

Напомним, что, как и все другие «содержательные» отчеты по обследованию классов (групп), каждый отчет состоит из двух частей. В первой части приводятся средние результаты класса (в данном случае – группы учащихся класса) по отдельным факторам оценки психологического климата в классе. Во второй части каждого отчета содержится информация об оценке каждым анонимным участником группы (их имена заменены номерами) каждого из 13 факторов оценки.

Если сравнивать средние оценки психологического климата в целом у этих групп, то получим для пришедших из 9А 1 балл, из 9Б 0,1 балла, из других школ 1,4 балла. Согласно методике оценкой этого климата для учеников 10А является:

• практически нейтральный – для пришедших из 9Б класса;

• довольно благоприятный – для пришедших из 9А класса;

• очень благоприятный – для пришедших из других школ.

Очень по разному оценивают эти группы учащихся 10А класса различные факторы (аспекты) психологического климата. Это видно по первым частям отчетов в табл.11,12,13. В группе пришедших из 9А класса (табл.11) превалируют положительные оценки факторов с достаточно высоким значением показателя 1..1,5. В группе пришедших из 9Б класса (табл.12) превалируют оценки факторов менее 0,5, много отрицательных оценок, есть даже очень отрицательная оценка –1,3 для «отношения к новичкам». Для группы пришедших из других школ (табл.13) характерна положительная оценка психологического климата в классе и его отдельных аспектов Средняя оценка этой группы 2,0 для «совместных действий» в классе – самая высокая в этом обследовании, что соответствует согласно методике формулировке «очень благоприятный климат».

Наглядное представление об отношении рассматриваемых групп учащихся к психологическому климату в классе дают диаграммы рис.27. На этих диаграммах значения показателей оценки каждого из аспектов климата определяют размер соответствующего сектора на диаграмме. Эти значения могут быть от –2 (очень неблагоприятный климат) в центре каждой диаграммы до +2 (очень благоприятный климат) на внешней границе каждой диаграммы. Форма и размер ограниченной яркой линией фигуры иллюстрируют все аспекты оценки психологического климата группой одновременно.

Сопоставим полученные оценки. Попробуем на основе такого сопоставления сделать выводы об особенностях в этом «сборном» классе и понять проблемы каждой из групп.

Рис. 27. Результаты оценки психологического климата группами

Наилучшая оценка психологического климата у группы пришедших из других школ. Лишь патриотизм в классе они оценивают чуть ниже остальных аспектов климата, но и здесь их оценка достаточно высока и соответствует формулировке «благоприятный климат».

Самая низкая оценка психологического климата у пришедших из 9Б класса. В большинстве секторов значения показателей отрицательны, что соответствует формулировке «неблагоприятный климат». Этой группе сильно импонирует только активность коллектива в своем классе.

Наконец, группа пришедших из 9А класса в целом положительно оценивает различные аспекты психологического климата в классе. Лишь по немногим секторам диаграммы значения показателей меньше 1,0. Обращает на себя внимание низкая оценка «сплоченности» класса, более отрицательная, чем у группы пришедших из 9Б класса.

Все три группы едины, пожалуй, лишь в положительной оценке таких аспектов психологического климата, как «активность» и «рабочий настрой» класса.

Сравним данные обследования с мнением учителей и воспитателей школы о коллективах тех классов, откуда пришли учащиеся в 10А класс. Бывший 9А класс отличался очень сплоченным коллективом, активностью, целенаправленным стремлением к учебе. Ученики бывшего 9Б класса, обладая высоким уровнем развития мышления, в то же время не имели в своем коллективе явного лидера в стремлении к учебе, были в целом довольно пассивны. Это мнение достаточно хорошо согласуется со сделанными по результатам обследования выводами, учитывая, что оценка психологического климата учащимися производилась в сравнении с прошлым годом.

Таким образом, результаты обследования по этой методике и способы их представления позволяют выявить существенные для руководителей школы, воспитателя или куратора класса особенности психологической комфортности обучения в школе.

Весьма интересны, несмотря на «нетрадиционное» использование усредненных результатов сугубо индивидуальной психологической диагностики, данные о мотивации к учению, полученные в одной из петербургских школ.

Степень мотивации к обучению, ее причина и «уровень» причины отражают уровень развития личности учащегося. Следовательно, изменение соответствующих численных показателей отражает изменения, происходящие в личности учащегося в процессе образования, и позволяет судить о результативности образовательного процесса.

Для получения обобщенных показателей путем ранжирования и сравнительной оценки результатов каждую причину мотивации отнесем к одной групп по убыванию степени развития личности:

• мотивация содержанием образования;

• мотивация процессом обучения;

• мотивация узкосоциальными мотивами престижа и благополучия;

• понимание неизбежности обучения;

• мотивы избегания, характерные для вынужденного учения.

Наглядное представление о структуре мотивации к учению в школе дает диаграмма рис.28, построенная по результатам диагностики учащихся одной из петербургских школ в конце 2002 года. На этой диаграмме доля учащихся указанной слева параллели, отметивших в качестве приоритетного мотив из указанной справа группы, показана в виде «столбиков» с высотой, пропорциональной этой доле (в процентах).

Рис.28. Структура мотивации к учению по параллелям

Диаграмма показывает наличие заметных закономерностей. На каждом следующем этапе школьного обучения в мотивации к учению происходят изменения.

Они наиболее наглядно проявляются в величине доли учащихся, у которых мотивация к учению относится к группам обучения по необходимости: «учатся все, нельзя не учиться», «для будущей профессии»; и из интереса к содержанию образования: «хочу больше знать», «нравится узнавать новое», «люблю мыслить».

В параллели 2-х классов значительна доля учащихся с мотивацией содержанием или процессом образования. В подобной мотивации большая заслуга школы и учителя, заинтересовавших ребенка процессом учебы. Лишь одна девочка из этой параллели выбрала мотивацию престижем (хочу завоевать авторитет среди товарищей, хочу быть первым учеником). Стоит отметить, что это самая «слабая» ученица класса.

Результаты обследования свидетельствуют, что по мере обучения в школе и особенно – в начальной, эта доля заметно уменьшается. Уже с третьего класса ученики отмечают в качестве основного мотива желание «подготовиться к будущей профессии». Скорее всего, такая мотивация обусловлена воспитанием в семье и может считаться в этом возрасте эквивалентной мотивации – «заставляют родители».

Значительная часть учеников старших классов указывают, что учится, «чтобы подготовиться к будущей профессии». Лишь единицы признаются в мотивации к учебе процессом или содержанием образования. Если вспомнить, что большинство из них имеет весьма приблизительное представление о будущей профессии, а многие еще не раз изменят свой выбор, следует признать такую мотивацию довольно слабой. Она в большей степени сформирована семьей и средствами массовой информации, а не школой.

С каждым годом обучения происходит уменьшение доли учащихся с мотивацией содержанием образования, характерной для наиболее развитой личности, и возрастает доля учащихся «по необходимости». Можно предположить, что интерес к образованию, появляющийся при заметном изменении условий обучения с изменением ступени школы, затем неизбежно угасает. Остается только выяснить – по чьей вине? При появлении новых предметов и учителей в 5-6 классах такая мотивация чуть возрастает, но затем снова идет на спад и незначительно увеличивается к окончанию школы.

С каждым классом уменьшается доля учащихся, избегающих учения. Очевидно, педагоги и родители в силах объяснить необходимость учебы.

Вполне объяснимо возрастными изменениями характера подростков практическое исчезновение в средней школе мотивации престижем.

Представляется небезынтересным проследить сохранение или изменение отмеченных особенностей в динамике по годам. Диаграммы, подобные приведенной на рис.28, построенные по итогам нескольких обследований в той же школе показаны на рис.29.

Следует отметить, что коллектив специалистов, непосредственно проводивших обследование в классах, каждый раз менялся. Это не могло не отразиться на качестве результатов. Тем более интересно выявить сохраняющиеся тенденции в развитии структуры мотивации школьников к учению.

В первую очередь это относится к мотивации содержанием образования и связи этой группы причин мотивации с группой мотивации необходимостью учебы. Несмотря на различную по годам величину долей учащихся с причинами из этих групп, отмеченные в 2002-03 уч.году тенденции их изменения от класса к классу в целом, как видно по диаграммам рис.29, сохраняются.

Рис.29.Динамика структуры мотивации к учению по параллелям

С переходом на следующую ступень школьного обучения в структуре мотивации к обучению происходят уже отмеченные выше изменения. Наиболее наглядно это проявляется в соотношении долей учащихся, у которых мотивы к обучению относятся к группам обучения «по необходимости» и из интереса к содержанию образования. Если в первом обследовании повышение интереса к содержанию или процессу образования в 5-6-х классах, связанное, очевидно, с появлением в программе новых предметов, было достаточно выраженным, то в последующих обследованиях выраженность его от года к году меняется. Пока неясно – является ли это тенденцией?

Примечательно, что с годами появляется заметная доля учащихся ступеней основной и средней школы, избегающих учебы, учащихся «из-под палки». Очевидно, что администрации с классными воспитателями (кураторами) необходимо учесть эту особенность при проведении воспитательной работы с учащимися.

Так же заметна тенденция роста проявления мотивации престижем. Подобная мотивация и, особенно, её проявление являются важным показателем развития зрелой свободной личности. Ранее в основной школе подобная мотивация в этой школе не проявлялась.

Таким образом, можно констатировать явное выявление особенностей мотивации к учению как показателя развития личности учащихся.

Итак, предложенная модель: набор показателей, комплекс апробированных в отечественной школе диагностических методик и предлагаемые методы получения и агрегирования результатов, позволяет произвести достаточно полную и разностороннюю оценку составляющих качества образовательного процесса в школе и его результатов. Эта оценка во многих случаях совпадает с мнением школьных воспитателей и учителей, а зачастую выявляет новые для них закономерности. Такая оценка может служить информационной основой для принятия педагогических, воспитательных или административных решений в школе.