Вопросы для размышления

Можно ли, по Вашему мнению, оценить учебные достижения школы по результатам Единого государственного экзамена? Почему?

Школа производит оценку учебных достижений. Учителя сами составляют тесты, проводят тестирование, проверяют результаты. Каковы, по Вашему мнению, преимущества и недостатки такой оценки?

Нужно ли, по Вашему мнению, пользоваться внешней оценкой (аудитом)? Почему?

Какие проблемы, по Вашему мнению, могут возникнуть при использовании готовых вариантов тестов из опубликованных сборников?

Каковы, по Вашему мнению, недостатки «закрытых» тестов? Какие способы обработки результатов их применения Вы знаете?

Требуется ли, по Вашему мнению, структурировать имеющийся в школе массив тестовых заданий? Каковы результаты такой работы, окупают ли они затраты сил и времени?

Можно ли, по Вашему мнению, реализовать постоянную тестовую оценку учебных достижений без применения современных компьютерных информационных технологий? Почему?

2.3. Диагностика развития личности школьников

Для оценки развития личности учащихся в школе выберем такие свойства личности как мотивация к обучению и уровень развития мышления.

Массовое проведение обследования школьников, и особенно – психолого-педагогического, предъявляет высокие требования к используемым при этом методикам: тестам, анкетам и опросникам. С одной стороны – результаты их применения должны быть достаточно валидны, то есть давать адекватные действительности ответы на поставленные вопросы. С другой стороны – эти диагностические материалы должны быть «технологичными», то есть удовлетворять условиям массового обследования: не требовать высокой квалификации проводящего обследование, допускать групповое обследование, иметь простой алгоритм обработки и т.п. Наконец, используемые материалы и методики должны быть понятны и привычны для педагогической общественности, чтобы она могла адекватно воспринимать и использовать результаты обследования.

С помощью петербургских школьных психологов С.М. Шурухта и И.Н. Димура в 1999 году были подобраны методики, позволяющие решить перечисленные выше задачи психолого-педагогического обследования и, в основном, удовлетворяющие этим требованиям.

Результатом каждого этапа и условием следующего этапа образовательного процесса является мотивация к обучению. Она характеризует уровень развития личности учащегося, существенно влияет на его поведение в образовательном процессе. Известно большое число методик, с разной глубиной и в различных аспектах раскрывающих мотивацию к обучению у учащихся.

Для оценки личностного развития учеников, их заинтересованности в происходящем на уроках (прежде всего – как результата деятельности школы) в систему оценки качества образования может быть введена методика оценки мотивации [36]. Учащимся предлагается проранжировать ряд причин мотивации к обучению в школе:

• хочу больше знать;

• нравится узнавать новое;

• люблю мыслить, думать, соображать;

• нравится учиться (по какому-то предмету);

• на уроках (по какому-либо предмету) интересно;

• хочу завоевать авторитет среди товарищей по учебе;

• хочу быть первым учеником;

• хочу получать хорошие оценки;

• чтобы подготовиться к будущей профессии;

• в наше время учатся все, незнайкой быть нельзя;

• хочу избежать плохих отметок и неприятностей;

• заставляют родители,

в порядке убывания их значимости для него.

Здесь определяется не «степень», а «причина» мотивации. Для представления этих качественных оценок в количественном виде можно ранжировать по «уровню» причины мотивации (значимость в порядке их перечисления) или их группы – мотивация: содержанием образования, процессом образования, престижем, необходимостью и, наконец, избегание образования, поставив каждой из перечисленных групп в соответствие оценку по пятибальной шкале: 5,4,3,2,1, соответственно.

Степень мотивации к обучению, ее причина и «уровень» причины отражают уровень развития личности учащегося. Следовательно, изменение соответствующих численных показателей и их соотношения отражает изменения, происходящие в личности учащегося в процессе образования, и позволяет судить о результатах образовательного процесса в этой части.

Другой важной характеристикой развития личности учащегося, которая может быть определена как результат этапа образовательного процесса (и условие следующего этапа), являются согласно Г.П. Щедровицкому [42] способности к деятельности и «психические функции», формирующиеся у учащегося не только в «системе производства» в школе, но и в «клубе», дома, в других местах. Эта характеристика непосредственно связана с оценкой уровня развития мышления. Для учащихся разного возраста приходится использовать разные методики оценки развития мышления, хотя это и затрудняет анализ развития учеников в динамике.

Для учеников начальной школы при массовом аттестационном обследовании была выбрана методика [8], применявшаяся в 1992-1999 годах в третьих классах ряда общеобразовательных школ Кировского района Санкт-Петербурга для оценки уровня развития вербального компонента мышления, степени сформированности навыков самостоятельной умственной работы учащихся. Тест состоит из трех групп по 10 заданий в каждой с направленностью: аналогии, исключение лишнего, общая осведомленность, а результат определяется как число (или процент) правильных ответов на вопросы теста в целом и по отдельным частям.

По результатам применения этой методики петербургскими школьными психологами были предложены такие критерии оценки результатов тестирования (за правильный ответ засчитывался балл):

• более 26 баллов – выше верхней границы возрастной нормы, образовательный потенциал учащегося полностью реализован при среднем балле успеваемости 5;

• 21-26 баллов – возрастная норма – нормальный для 3-го класса уровень развития вербального компонента логического мышления, а образовательный потенциал учащегося полностью реализован при среднем балле успеваемости 4;

• 17-20 баллов – нижняя граница возрастной нормы, при этом реализация образовательного потенциала учащегося достаточна, если его средний балл по основным предметам 3;

• менее 17 баллов– неуспешное выполнение теста, ожидается неуспеваемость по основным предметам и необходимость дополнительного анализа причин этого.

В старших классах (основной и средней школы) в ходе аттестационного обследования применялась методика «Краткий отборочный тест» (КОТ) [7]. Структура теста соответствует структуре общих способностей и предусматривает диагностику критических точек интеллекта: способность к обобщению и анализу материала, гибкость или инертность мышления, пространственное воображение и т.п.

Тест проводится «на время» (норматив - 15 минут) и имеет единственный интегральный результат - число (или процент от общего числа – 50) правильных ответов на вопросы – при обработке результатов фиксируется только общая сумма ответов, совпадающих с ключом. Надежность теста КОТ рассчитана по формуле Кьюдера-Ричардсона и составляет 0,86.

В течение нескольких лет школьные психологи Санкт-Петербурга проводили исследования в 10-11 классах различных школ Санкт-Петербурга. Проводились замеры интегрального показателя у учащихся различных типов школ (объем выборки более 5 тысяч человек) и полученные ими показатели могут считаться средними, соответствующими уровню развития учащихся школ различного уровня. Как и для теста начальной школы, по результатам этой апробации можно определить критерии оценки результатов тестирования.

Для 9-х классов:

• более 18 баллов– выше верхней границы возрастной нормы (средний балл – 5);

• 16-18 баллов– возрастная норма (средний балл – 4);

• 13-15 баллов– нижняя граница возрастной нормы (средний балл – 3);

• менее 13 баллов– неуспешное выполнение (неуспеваемость по основным предметам),

для 10-х классов:

• более 20 баллов– выше верхней границы возрастной нормы;

• 17-20 баллов– возрастная норма;

• 14-16 баллов– нижняя граница возрастной нормы;

• менее 14 баллов– неуспешное выполнение теста,

для 11-х классов:

• более 21 балла– выше верхней границы возрастной нормы;

• 18-21 баллов– возрастная норма;

• 15-17 баллов– нижняя граница возрастной нормы;

• менее 15 баллов– неуспешное выполнение теста,

Использование методик для другого – более широкого контингента учащихся, для других возрастных категорий, а также некоторая их модернизация могли привести к существенному изменению методов и норм оценки результатов. Рассмотрим для примера оценку уровня развития мышления в младших классах одной из школ. Для уточнения возрастных границ применимости методики были обследованы 2..5 классы школы с полной четырехлетней начальной школой, то есть с возрастом до 6 класса школы с трехлетней начальной ступенью.

Результаты обследования отображены на диаграмме рис. 4, показывающей в виде «столбиков» соответствующей высоты (равной доле обследованных в процентах) распределение обследованных учеников по величине результата выполнения соответствующих тестов. Степень соответствия уровня развития норме свидетельствует об образовательном потенциале учащегося.

Рис. 4. Статистические результаты оценки развития мышления

Как видно из диаграммы рис.4, в третьих классах в соответствии с указанными нормами для Санкт-Петербурга из 35 обследованных учеников 12% могут учиться на отлично, 32% – на хорошо, 28% – на удовлетворительно, а 27% – иметь серьезные проблемы в обучении. Средний уровень учеников, если о таком можно говорить, в целом соответствует обучению на «удовлетворительно». Это неудивительно для конкретной обследуемой школы, не отказывающейся принимать «проблемных» детей.

Применение той же методики в других классах показывает увеличение с возрастом (классом) среднего уровня развития от 18 для 2 класса до 23 для 4 и 5 классов, смещение «центра тяжести» распределения, то есть результатов большинства учащихся, с увеличением возраста в сторону повышения. С точки зрения статистики наличие одного явно выраженного максимума на распределениях для 2…4 классов и монотонность убывания распределений при удалении от максимума свидетельствует об адекватности методики для этой возрастной категории.

Детальный анализ результатов позволяет заметить возраст учащихся, при котором методика перестает адекватно фиксировать развитие большинства учащихся. Распределение для 5-го класса качественно отличается от предыдущих. Появление на распределении двух максимумов может свидетельствовать о некорректности применения этой методики за пределами начальной школы. Если говорить об отдельных разделах теста, то у пятиклассников (6-ой класс при 3-х летней начальной школе) отмечается неадекватная реакция на задания по аналогии.

Также для уточнения норм и возрастных особенностей применения в 5…11 классах той же школы производилась оценка уровня развития мышления (образовательного потенциала) с помощью упомянутого выше теста КОТ.

Результат обследования иллюстрирует диаграмма рис.5, построенная аналогично описанной выше диаграмме рис.4.

Рис.5. Статистические результаты оценки развития мышления

Как показал анализ результатов старших классов, образовательный потенциал учеников этой школы по отношению к вышеуказанным нормам весьма высок: результат выше верхней границы нормы показали 54% девятиклассников, 72% десятиклассников и 84% одиннадцатиклассников.

Учитывая, что ни результаты тестирования по предметам, ни отметки учителей не показывают массовой высокой успеваемости, следует признать необходимость уточнения (переопределения) норм этого теста или его доработки для дальнейшего применения. Если говорить о возрастной динамике результатов, то она показывает адекватность методики целям исследования в этом возрастном диапазоне. Все распределения диаграммы рис.5 имеют явно выраженный максимум и монотонно убывают при удалении от него. С увеличением возраста учеников (класса) среднее значение результата монотонно растет.

Перспектива построения системы психолого-педагогической диагностики для отдельных школ заставила обратить внимание на тот факт, что проведение регулярных повторных диагностических обследований на одних и тех же тестах приведет к «привыканию» к тесту и появлению завышенных (по сравнению с однократным обследованием) результатов. При использовании школьной системы оценки качества для начальной школы каждый ученик обследуется по одной и той же методике не более трех раз с интервалом в год и необходимости обновления набора заданий в тесте нет. В 5–11-х классах процедура повторяется ежегодно в течение 7 лет, и задача ежегодного обновления тестов становится необходимой.

Во избежание «привыкания» обследуемых к одним и тем же заданиям в наборе заданий для тестов описанных выше методик было произведено дополнение числа однотипных заданий таким образом, чтобы количество вопросов и заданий в каждой группе однотипных превышало потребное для формирования теста число. При этом каждый раз при обследовании в тесты попадают различные задания, и такие тесты можно предлагать одному и тому же ученику несколько раз за время обучения в школе, так как всякий раз отобранный по случайному признаку набор заданий будет для ученика новым.

В целом результаты апробации описанных методик оценки уровня развития мышления учащихся 2-4-х и 5-11-х классов при обследовании школ Санкт-Петербурга подтвердили, что они позволяют оценить развитие учащихся на протяжении части учебного года и их можно использовать при оценке качества школьного образования.

На основе обследования представительной выборки школьников Санкт-Петербурга для них сформирована норма оценки в виде «усредненного» распределения учащихся по уровню развития мышления. Эти результаты достаточно удобны и в виде «натуральных» показателей (полных, «огрубленных» до попадания в интервалы 0..10, 11..15, 16..20 и т.д., как было показано выше), и в форме рейтинговой оценки. С учетом единства методики рейтинг можно строить на совокупности результатов диагностики всех учащихся того же возраста (учащихся того же класса) за все годы проведения диагностики.