Вопросы для размышления

Почему, с Вашей точки зрения, введены «агрегированные» показатели при оценке качества образовательной деятельности школ?

Какие ещё, по Вашему мнению, показатели качества образовательной деятельности школ целесообразно ввести в оценку? Почему?

В чём, по Вашему мнению, достоинства и недостатки «лучевых» диаграмм при представлении результатов многофакторной оценки? Какие способы представления результатов могли бы предложить Вы?

Можно ли, с Вашей точки зрения, использовать понятие «качество образовательной деятельности школ округа (типа)» при оценке его по той же методике, что и для отдельных школ?

4.2. Оценка качества образования ученика

На региональном уровне обеспечивается комплексная оценка качества образования школ, а также групп школ, сформированных по различным признакам. Применяя аналогичную систему в отдельной школе, мы получим комплексную оценку качества образования учеников, а также групп учеников (например, по классам, параллелям). Существенно, что при не слишком широком распространении системы резко снижается, по сравнению с региональной системой, объем результатов и, следовательно, возможность формирования базы для преобразования рейтинговых оценок в ТО. Поэтому в школьной системе целесообразно ограничиться рейтинговыми оценками в «персентилях». Подобные оценки получаются непосредственно по итогам обработки результатов тестирования и легко агрегируются (объединяются). А отметки учителей при получении оценки ШО также переводятся в рейтинговый вид (в классе, параллели, группе классов разных школ).

Рассмотрим агрегированную оценку учеников одной из школ Санкт-Петербурга, наглядно иллюстрируемую диаграммами рис.19. По каждому лучу диаграмм отложен «рейтинг ученика» в параллели из двух классов по результатам тестовой оценки учебных достижений по математике, природоведению, русскому языку, чтению, английскому языку (он изучается в этой школе со 2-го класса), по результатам диагностики образовательного потенциала (уровня развития мышления), эмоционального состояния (величина, обратная тревожности), ранжированной мотивации. В части лучей предметов показан дополнительно для наглядности уровень образовательного потенциала.

«Ученик 4», чьи результаты отображает первая диаграмма на рис.19, обладая «средним» образовательным потенциалом в параллели, показал по русскому языку и чтению результаты на том же уровне по сравнению с другими учениками 4-х классов, по математике и английскому языку – на гораздо более низком уровне, по природоведению – на более высоком. Одной из причин в целом не слишком успешного обучения «ученика 4» является мотивация, близкая к избеганию. Такое обучение проходит на фоне тревожного по сравнению с соучениками эмоционального состояния. Учитывая, что общий уровень тревожности в школах Санкт-Петербурга невысок, это состояние требует особого внимания.

По мнению классного воспитателя мальчик «импульсивный, не умеет сосредоточиться, отвлекается на всё и всех».

На основании такой общей оценки можно сделать вывод о серьезных проблемах в обучении этого ученика. После конкретизации этих проблем с помощью описанных выше отчетов с детализацией результатов психолого-педагогического обследования по отдельным факторам, синдромам и разделам можно наметить пути решения этих проблем.

Рис. 19. Интегральная оценка качества образования ученика

Рассмотрим оценку другого, гораздо более успешно обучающегося «ученика 6» этого же класса, иллюстрируемую второй диаграммой на том же рис. 19. Этот ученик, в отличие от предыдущего, обладает более высоким образовательным потенциалом. Он показал по математике, природоведению и русскому языку результаты выше своего потенциала и одни из наиболее высоких в параллели. По чтению и английскому языку его результаты гораздо ниже его потенциала, но являются «средними» в параллели. Мотивация к обучению у него обусловлена содержанием или процессом образования, что свидетельствует о достаточно высоком развитии личности. Обучение проходит на фоне хорошего по сравнению с соучениками эмоционального состояния.

По мнению классного воспитателя мальчик «целеустремленный, ответственный, самостоятельный».

Общая оценка процесса обучения этого ученика – положительная. Учителям чтения и английского языка следует обратить внимание на недостаточную реализацию его образовательного потенциала, возможно, вызванную общими для этих предметов причинами. Уточнение причин производится с помощью анализа итогов выполнения тестов по предметам.

Рассмотрим еще оценку довольно «слабо» успевающей «ученицы 9», иллюстрируемую третьей диаграммой на рис. 19.

Эта «ученица 9», как и «ученик 4», обладает образовательным потенциалом ниже среднего, но, в отличие от него, характеризуется несколько более «значимой» мотивацией – как и большая часть 4-го класса она хочет «подготовиться к будущей профессии». Но недостаток образовательного потенциала приводит к тому, что по природоведению, чтению и английскому языку ее успехи гораздо ниже ее потенциала, по математике – примерно соответствуют ему, и лишь по русскому языку гораздо выше средних в параллели и ее потенциала. Как и для «ученика 4», ее эмоциональное состояние является довольно тревожным: и по сравнению с соучениками, и по нормам методики оценки. Учитывая, что общий уровень тревожности в школах Санкт-Петербурга невысок, ее состояние тоже требует особого внимания.

По мнению классного воспитателя девочка «очень эмоциональна, отличается слабым развитием, но благодаря помощи домашних научилась делать домашние задания, работать на уроках». Этот отзыв заставляет критически оценить результат определения уровня развития данной девочки по используемой методике.

Общая оценка процесса обучения этой ученицы пока не слишком положительна. Учителям следует обратить внимание на возможную недостаточную реализацию его образовательного потенциала, но, скорее всего, девочка учится по всем предметам в «свою силу», а успехи по русскому языку являются следствием большой работы дома.

Пример наглядного представления оценки индивидуальных показатели всех учеников класса (параллели) приведен на рис.20.

Рис. 20.Интегральная оценка качества образования учеников класса

Здесь изображены диаграммы большой группы учеников одного класса, подобные диаграммам рис.19. Рассматриваемые совместно, показатели качества обучения всех учеников класса позволяют более ясно обозначить сильные и слабые стороны каждого из учеников в конкретный момент.

Даже беглый взгляд на эту группу диаграмм позволяет сразу выделить учеников:

• с высоким образовательным потенциалом и соответствующей ему обученностью по предметам (учащиеся под номерами 7,9,10);

• с относительно высоким образовательным потенциалом и обученностью по предметам гораздо ниже возможностей – (учащиеся под номерами 1,5);

• с относительно низким для класса образовательным потенциалом и обученностью по предметам гораздо выше этого потенциала (учащиеся под номерами 2,6)

и другие варианты соотношения показателей качества образования учеников на момент обследования. Каждое сочетание значений этих показателей сугубо индивидуально, как и причины появления той или иной оценки конкретного показателя.

Интересно, как влияет на отмеченное соотношение уровень мотивации? Как отражается отмеченное соотношение на психологической комфортности учения? Выяснение причин и поиск путей устранения дисбаланса различных показателей качества образования – дело учителей, воспитателей, руководителей школы.

Очевидно, что любой из показателей, отображенных на этих диаграммах, может быть при необходимости «раскрыт» с выделением отдельных его составляющих. Приведем в качестве примера на рис.21 диаграммы, иллюстрирующие структуру мотивации к учению нескольких учащихся петербургской школы, построенные по отчету об обследовании, форма которого дана в табл.9. В соответствии с методом диагностики и формой отчета у каждого из трех учащихся может быть проанализирована и выявлена своя, характерная для него структура мотивации.

На диаграммах рис.21 яркой линией показана доля в процентах количества предпочтений для каждой из 12 причин мотивации из 66 пар причин, предлагавшихся для сравнения. Максимальное значение для одной причины – 17%. Для каждого учащегося выделялась одна – главная, причина мотивации. Все «главные» причины мотивации всех учащихся класса анализировались и определялась доля в классе выбравших каждую из «главных» причин в процентах. Эти доли показаны на диаграммах рис.21 серыми квадратами. Естественно, что не все причины мотивации оказались «главными» для кого-либо из учащихся и попали в число этих причин.

Рис. 21.Структура мотивации к учению

Для ученицы 1 «главная» причина «хочу больше знать» совпадает с одной из наиболее характерных для класса в целом. Отметим, что и другие значимые для развитой личности причины: «люблю мыслить», «нравится учиться» по какому-либо предмету, тоже важны для неё. Совершенно неинтересны ей такие причины как: «заставляют родители», «сейчас учатся все». Не «главной», но весьма значимой, является причина из группы «престижа» «хочу быть первым учеником».

Совершенно другая структура мотивации у ученицы 11. Она явно относится к той многочисленной группе класса, для которой характерна «главная» причина – «заставляют родители». Не случайно и появление другой почти столь же значимой причины «чтобы подготовиться к профессии». Связана с упомянутыми двумя и третья значимая для неё причина – «хочу избежать неприятностей». Обращает на себя внимание заметная значимость для девочки причин из групп «престижа» и заинтересованности процессом учёбы.

Интересна структура мотивации ученика 7. Этот школьник выбрал в качестве «главной» для себя причину «чтобы подготовиться к профессии». Такой выбор представляется не случайным, так как почти столь же значимой для него является причина «сейчас учатся все» из группы «принуждения». В то же время трактовка выбора этих причин существенно меняется при учете высокой значимости для ученика 7 таких причин как: «хочу больше знать», «нравится узнавать новое». Совершенно не интересуют мальчика причины из группы «престижа».

Таим образом, анализ структуры мотивации учащегося позволяет понять причины, побуждающие его учиться и использовать их в повышении качества его образования.

Как видно по диаграммам рис.19,20, использование удобной для агрегирования (объединения и сопоставления) показателей «рейтинговой» формы их представления может приводить к очень заметному изменению значения показателя в зависимости не только от изменения самого показателя (например – обученности по математике), но и от изменения весьма узкой в рамках одной школы базы оценки – совокупности значений аналогичных показателей всех учащихся класса или параллели.

Рейтинг ученика может заметно изменяться в зависимости как от уровня его результата, так и от результатов других учеников класса или параллели, определяющих базу оценки рейтинга. Гораздо более стабильны показатели, отражающие среднее значение нескольких однородных показателей, например – средний рейтинг ученика в параллели по итогам «четвертного» предметного тестирования. Этот показатель отражает «место» ученика в классе или параллели, его изменение в динамике (лонгитьюда) характеризует процесс обучения в классе (школе): повышение, снижение или сохранение позиции среди других.

На рис.22 приведены диаграммы, отображающие динамику изменения средних рейтингов (в персентилях) по всем предметам по четвертям за два учебных года учащихся 4А и 4Б класса.

Рис. 22. Динамика учебных достижений учащихся 4-х классов по четвертям

На основе анализа этих диаграмм можно выделить следующие возможные типы изменения среднего рейтинга ученика по предметам в параллели, как показателя результатов образовательного процесса:

• стабильный– например, высокий ученики 3 и 14 4А класса, 12 4Б класса в 2002/03 уч.году, 13 4А класса и 16 4Б класса в 2001/02 уч.году; средний ученики 10 4А и 4Б классов; низкий ученик 12 4А класса в 2002/03 уч.году;

• стабильно возрастающий – например, ученики 4 4А класса и 1 4Б класса в 2002/03 уч.году;

• стабильно убывающий – например, ученики 17 4А класса в 2001/02 уч.году ученик 13 4А класса в 2002/03 уч.году;

• нестабильный – например, ученики 5 4А класса и 16 4Б класса в 2002/03 уч.году (высокий) и ученики 9 и 16 4А класса (низкий);

• с «временными провалами» – например, ученик 1 4А класса в 2002/03 уч.году;

• с «временными улучшениями» – например, ученик 19 4А класса в 2002/03 уч.году.

Сопоставим оценку результатов обучения отдельных учеников 4А класса по диаграмме рис.22 с оценкой, данной их воспитателем.

Оценка воспитателем ученика 3 как «старательного, заинтересованного в хороших отметках, сильно мотивированного к учебе» и ученика 14 как «старательного, учащегося в основном на хорошо» в целом соответствует результатам диаграммы рис.22.

В то же время один из наиболее высоких стабильный результат ученика 14 удивил воспитателя, хотя она и согласилась с его справедливостью. Отметим, что по объективной оценке образовательного потенциала ученик 14 гораздо «слабее» ученика 3. Это до некоторой степени объясняет мнение воспитателя, не ожидавшего от него столь высоких результатов.

Интересно мнение воспитателя об ученике 10 4А класса, в целом стабильно успевающем на «среднем» для 4-х классов уровне. В 2001/02 уч.году результаты этого ученика по тестовой оценке обученности с каждой четвертью немного улучшались, а в 2002/03 уч.году они так же стабильно понемногу ухудшаются. Интересно, что по тестовой оценке уровня развития мышления (образовательного потенциала) этот ученик самый «слабый» в классе по всем трем разделам теста. По словам воспитателя «в прошлом году мальчик пришел в класс и старался закрепить свои позиции в коллективе, а в этом году, закрепив их, перестал стараться».

Стабильно низкие результаты ученицы 12 4А класса в 2002/03 уч.году объясняются воспитателем тем, что «девочка учится без желания, хотя ей и помогают – взяли гувернантку». Объективные данные о ее образовательном потенциале отсутствуют, но это мнение подтверждается тем, что ее эмоциональное состояние отличается заметной высокой тревожностью, а мотивация к обучению – «учусь, чтобы подготовиться к будущей профессии», позволяет в случае с ученицей начальной школы говорить о принуждении к учебе.

Ученик 4 4А класса, чьи результаты в течение обоих учебных годов отличает стабильный рост от четверти к четверти, уже был упомянут в связи с анализом его результатов во 2-й четверти 2002/03 уч.года (рис.19), наименее успешной для него в этом учебном году (рис.22). По мнению воспитателя «мальчик неузнаваемо изменился к концу года, учится с желанием, старается». С учетом других результатов становится ясным, что отмеченная при анализе соответствующей диаграммы рис.19 тревожность была вызвана относительно низкими для него результатами обучения. С улучшением этих результатов в последующих четвертях к концу года скорее всего изменились и уровень тревожности, и трактовка причины мотивации – «учусь потому, что учатся все, незнайкой быть нельзя».

Интересно, что объяснения повторению характера изменения среднего рейтинга этого ученика от года к году у воспитателя класса не нашлось. Так же не смог воспитатель объяснить причины длительного стабильного снижения рейтинга, например – для упомянутых выше ученика 13 и ученика 17 4А класса (рис.22).

И в целом стабильные длительные процессы повышения или снижения уровня обученности отдельных учеников редко находят свое обоснование у воспитателя. Такая закономерность противоречит мнению о том, что воспитатель «хорошо знает каждого» ученика. Ярким примером выявления с помощью среднего рейтинга скрытых от учителя особенностей качества образования ученика является случай с ученицей 13 4Б класса (рис.22). Эта ученица длительное время обучалась индивидуально, а затем была переведена на обучение в 4Б классе, где, по мнению учителей, воспитателей и администрации, успешно учится. Однако по диаграмме для 4Б класса на рис.22 видно, что с каждой четвертью эта ученица теряет свои, и так невысокие, позиции в классе. Девочка отстает от одноклассников, ей трудно учиться вместе с ними.

Впрочем, в ряде случаев спадам или подъемам рейтинга ученика у воспитателя находится логичное обоснование. Например, ученица 19 4А класса испытывала большой душевный подъем после того, как во время туристической поездки во время зимних каникул сумела проявить себя и завоевать уважение класса и воспитателя. Это объясняет «всплеск» ее рейтинга в 3 четверти 2002/03 уч.года. В последующем ее рейтинг снизился и снова стал соответствовать ее образовательному потенциалу. Ученик 1 4А класса учится под пристальным вниманием и контролем родителей на уровне выше своего образовательного потенциала. В самой продолжительной четверти достаточно сложного для детей 4-го класса у него произошел спад, по мнению воспитателя – из-за утомления. Затем процесс его обучения вновь вернулся к привычному уровню.