Вопросы для размышления

Можно ли, по Вашему мнению, реализовать мониторинг в школе без использования компьютерных технологий? Почему?

Нужно ли, по Вашему мнению, хранить все результаты мониторинга в школе и почему?

Нужно ли, по Вашему мнению, оценивать текущий уровень учебных достижений учащихся и зачем?

На основании каких данных, по Вашему мнению, можно оценить ход и динамику обучения школьника?

Какими знаниями и опытом должны по Вашему мнению обладать специалисты, проводящие мониторинг в школе?

3.3. Система оценки качества образования в школе

Первоочередной задачей при создании школьной системы является организация структурированного банка тестовых заданий по основным предметам, включающего в себя базу данных с заданиями и программную оболочку, позволяющую в автоматизированном режиме формировать тесты из заданий на выбранные темы.

Так, в описываемой нами системе на начало её разработки (лето 2001 года) в банке заданий содержались в крайне ограниченном числе задания для итогового контроля за ступени школьного образования. Объём библиотеки по предметам и классам в настоящее время характеризует табл.1.

Таблица 1. Объём автоматизированной библиотеки тестовых заданий

предмет	класс											всего
	1	2	3	4	5	6	7	8	9	10	11
английский яз.			271	276	330	198	171	179	109	163	79	1776
биология						140	204	151	119	46	189	849
география						233	216	335	269	262	163	1478
история				28	383	127	364	639	74	485	744	2844
литература					174	154	207	195	292	207	206	1435
математика	40	121	267	5	207	188	223	236	248	132	267	2928
немецкий яз.			61	15	366	159	11	94	393	47	66	1212
обществознание											283	283
природоведение	48	272	278	409	87							1094
русский яз	99	125	241	169	217	174	127	89	38		1386	2665
физика							207	246	186	133	220	992
французский яз.					27	30		203	189	36	27	512
химия								166	202	265	82	715
чтение	40	109	205	265								619

За прошедшие годы объем банка заданий вырос с 1,5 тыс. до 18 тыс. заданий. Существенным является то, что банк заданий теперь четко структурирован. Каждое из заданий относится к одной из тем, «древовидная» структура которых обеспечивает возможность контроля результатов различных этапов обучения: от нескольких недель до ступени школы. «Тема» при этом – это не тематический раздел содержания предмета, а совокупность, по определению А.О. Татура, контролируемых элементов содержания результатов этапа образования.

Большинство заданий в описываемой библиотеке соответствуют базовому уровню, они ориентированы, в основном, на проверку знаний и умений. Все задания хранятся в электронном виде в файлах объемом до 17 Мбайт формата Reach Text Format (.rtf) и занимают вместе до 100 Мбайт. Количество заданий и общий объем файлов практически не ограничены. Пополнение и корректировка банка заданий может производиться в MsWord95 и выше.

Перечень тем для тестов по предметам задается учителями школы в соответствии с учебными программами. Тесты формируются с помощью программной оболочки базы заданий автоматически по заданным перечню тем и числу заданий и распечатываются после небольшой технической проверки и корректировки. Задания предлагаются учащимся в бумажном виде, ответы – либо на самих заданиях, либо на отдельных бланках.

На начальном этапе использования системы в 2001/02 учебном году в гимназии «Альма Матер» по окончании каждой четверти проводилось тестовое обследование уровня учебных достижений учащихся 1-11-х классов по 2-8-и предметам – всего по 12 предметам за год было проведено 349 обследований классов. В следующем учебном году по 13 предметам за год было проведено 433 обследования классов. С тех пор такая работа в этой школе стала постоянной.

Число заданий в тетради менялось от 5..15 во время первых обследований до 10..50 в настоящее время в зависимости от требований учителя, числа тем и количества заданий по этим темам. Варианты тестовых тетрадей по предмету (2..25 на класс) формируются в электронном виде в течение 3–5 мин. В течение 10–15 мин. эти тетради корректируются (с точки зрения наилучшего размещения на страницах) и печатаются.

Для первых обследований формировались и печатались все тестовые тетради для каждогоученика.Каждыйученик получалоригинальнуютестовую тетрадь, но задания в тетрадях частично повторялись. Эта работа оказалась чересчур трудоёмкой, поэтому было решено формировать по 2–5 вариантов тетрадей сне повторяющимисявопросами. Отпечатанные тестовые тетради тиражировались в требуемом числе экземпляров на множительной технике. Программа формирования тестов максимально упрощена. Считается, что все используемые задания одного уровня: базового, повышенного или исследовательского, равноценны. От учителя требуется лишьметодически грамотновыбрать перечень тем (контролируемых элементов содержания образования) для тестирования.

Первоначально планировалось формировать «тестовые тетради» по заданной тематике с учетом сложности заданий и времени тестирования. Однако, как показала практика, определение сложности заданий и требуемого для их выполнения времени весьма неоднозначно и невозможно без достаточно массовой апробации. Поэтому сложность заданий при формировании тестовых заданий не учитывается, а время тестирования (от 15 до 40 мин) определяется учителем непосредственно перед обследованием в зависимости от числа заданий в тесте и их сложности.

По мере накопления в библиотеке заданий по каждой из тем тестирования появится возможность включать в тесты только те задания, которые решает около половины обследуемых. «Слишком простые» задания, правильно выполняемые почти всеми, а также «слишком сложные», на которые почти никто не дает правильный ответ, в тесты включаться не будут и распределение обследуемых по результатам тестирования станет ближе к оптимальному.

Количество заданий в тесте, его трудоемкость и, соответственно, время тестирования могут быть весьма различны. Наиболее трудоемки и продолжительны тесты по математическим дисциплинам, физике, быстро выполняются тесты по гуманитарным предметам, иностранным языкам. Проведение теста по предмету за достаточно большой этап обучения чаще всего занимает лишь часть урока, а анализ его результатов в совокупности с другими данными позволяет получить большую, разностороннюю и детальную информацию о каждом ученике и классе в целом. При проведении тестирования по выбранным учителем темам на весь цикл – от подачи заявки до получения отчетов, включая время проведения теста, требуется не более 2 часов.

По окончании тестирования (обычно оно проводится по итогам четверти) задания и бланки передаются в «группу тестирования», где результаты вводятся в базу данных.

Проверка результатов производится автоматически и заканчивается формированием отчетов:

• «технического» – по классу, с итогами в виде процента выполнения теста, рейтинга результата в «параллели» (персентиля «середины» группы, в которую «попал» ученик), и «четвертной» отметки учителя по всем предметам для всех учеников (табл.2) (для обеспечения анонимности имена и фамилии здесь и ниже заменены на условные обозначения);

• «содержательного» – по каждому предмету, с указанием процента выполнения теста по классу в целом и каждого ученика по каждой из тем и по предмету в целом (табл.3).

Как видно из табл.2, где вместе с «техническим» результатом выполнения теста по предмету (в виде процента правильно выполненных заданий) указан рейтинг ученика в параллели (в персентилях) и отметка учителя за контролируемый этап обучения. Последняя далеко не всегда адекватна уровню учебных достижений по результатам тестирования. Учитывая, что содержание заданий в данном случае достаточно полно соответствовало пройденному материалу, можно говорить о некоторой неадекватности оценки учителем учебных достижений учеников.

Таблица 2. «Технические» результаты выполнения тестов по предметам

класс 5А математика история литература природовед. русск.яз.

%,рейтинг,отм.15.10.2002 16.10.2002 24.10.2002 21.10.2002 8.10.2002

Ученик 1 86 74 4 50 67 4 62 22 4 44 16 4 70 58 4

Ученик 2 86 74 4 33 28 4 88 69 5 90 97 4 80 78 5

Ученик 3 100 95 5 67 92 5 62 22 5 56 39 5 100 94 5

Ученик 4 71 45 3 33 28 4 75 44 4 80 84 5 40 17 3

Ученик 5 71 45 4 50 67 5 62 22 4 67 53 5 80 78 4

Ученик 6 86 74 4 33 28 4 38 8 4 70 63 5 60 47 4

Ученик 7 86 74 4 33 28 5 100 92 4 80 84 4 80 78 4

Ученик 8 71 45 4 33 28 4 88 69 4 70 63 5 80 78 4

Ученик 9 57 21 4 33 28 3 88 69 4 56 39 5 70 58 4

Ученик 10 43 5 4 25 3 3 50 29 4 40 17 3

Ученик 11 71 45 4 33 28 4 100 92 4 80 84 5 50 36 3

Ученик 12 43 5 3 50 67 3 88 69 4 56 39 5 50 36 3

Ученик 13 86 74 5 50 67 4 75 44 5 44 16 5 30 3 4

Ученик 14 71 45 3 50 67 3 75 44 4 40 3 4 40 17 3

Ученик 15 57 21 4 17 3 4 62 22 5 44 16 5

Ученик 16 57 21 4 33 28 4 88 69 4 67 53 5 70 58 4

Ученик 17 57 21 4 67 92 4 80 84 4 40 17 3

Ученик 18 86 74 5 67 92 4 75 44 4 44 16 5 100 94 4

Ученик 19 100 95 4 50 67 4 100 92 4 78 71 5 50 36 4

среднее знач. 73 43 75 63 63

средний разбр. 17 14 21 16 21

В настоящее время имеется возможность получения подобной таблицы с выбором до 8-и показателей из перечня: процент выполнения теста, взвешенный процент выполнения теста с учетом различной сложности заданий, рейтинг среди всех, кто когда-либо выполнял отдельные задания из теста, отметка учителя за проверяемый интервал обучения, рейтинги результата по первым 3-м показателям среди учащихся в группе выбранных классов и школ, разница в рейтингах по результатам тестирования и отметке учителя.

Среднее значение всех однотипных результатов не говорит о высоком или низком уровне учебных достижений, а лишь показывает адекватность используемого набора заданий задаче дифференцированной оценки уровня учебных достижений. Наилучшими параметрами выполнения тестовых заданий по предметам с этой точки зрения будут среднее значение 50% и средний разброс 17%. Оцениваемое таким образом качество тестов по предметам непривычно для учителей, обычно стремящихся добиться более высокого процента выполнения заданий по предмету. И чаще всего это достигается путем уменьшения сложности заданий.

Превышение средним значением указанного оптимального значения указывает на необходимость увеличения трудности тестов – повышения уровня заданий, увеличения их числа и т.п. При получении более низких, чем оптимальное, средних значений действия должны быть обратными.

Слишком большой разброс результатов свидетельствует о большой дифференциации уровня учебных достижений учеников и, следовательно, сложности их совместного одновременного обучения по предмету. Малый разброс уровня результатов говорит о примерно одинаковом уровне учебных достижений по проверенным темам. Но, если при этом велик разброс уровня развития учеников, свидетельствует скорее о серьезном нарушении условий проведения тестирования. Если среднее значение результатов при этом велико, то ученикам, как показывает практика, оказывалась «помощь» при тестировании, а если мало, то им не объяснили порядок тестирования или содержание заданий не соответствует программе.

«Технические» результаты по предметам интересны сами по себе и, если они в целом корректны, многое говорят о ходе обучения в школе, классе, конкретного ученика, школ, учеников и классов в сравнении между собой.

Таблица 3. «Содержательные» результаты выполнения теста по предмету