Оценка уровня национальных достижений в образовании. Книга 1

КАК ДОЛЖНЫ СООБЩАТЬСЯ ДАННЫЕ ПО ОБРАЗОВАТЕЛЬНЫМ ДОСТИЖЕНИЯМ УЧАЩИХСЯ?

Хотя тактики отдают предпочтение суммарным статистикам, существующие свидетельства многомерности учебных достижений предполагают, что единственный показатель результатов выполнения теста, такой как итоговая оценка, может скрыть важную информацию. Альтернативным подходом является обеспечение дифференцированной информации, которая отражает сильные и слабые стороны в учебных планах в стране. Информация будет еще более ценной, если она выявляет различия между знаниями основных фактов, а также умениями их использовать на простейшем уровне и их углубленным пониманием на более высоком уровне.

Для описания достижений учащихся в национальной оценке использовалось множество процедур, которые отражали разнообразие данных, обеспеченных оценкой (см. пятую книгу серии). Выбор одной или нескольких процедур должен опираться на информационные потребности министерства образования и остальных ключевых заинтересованных лиц.

Информация на óровне задания

Данная информация немного более обширна, чем простое сообщение процента учащихся, правильно ответивших на отдельные задания. Данные национальной оценки могут показать, что большинство обучаемых, участвующих в ней, справляется плохо с заданиями по математике, касающимися использования показателей, или что фактически все учащиеся были в состоянии найти ассоциации между простыми словами и рисунками. В Гане, например, только 1% учащихся правильно ответили на вопрос о преломлении света в исследовании TIMSS (Гана, Министерство образования, молодежи и спорта, 2004). Этот вид информации, являющийся слишком фрагментарным для тактиков в образовании, вероятно, будет представлять интерес для персонала по разработке учебных планов, преподавателей и, возможно, авторов учебников.

Резóльтаты выполнения тестов по содержательным разделам óчебных планов

Задания могут быть сгруппированы в соответствии с юнитами учебных планов или разделами содержания, а тестовые оценки могут сообщаться в терминах результатов выполнения теста по каждой содержательной области. Задания по чтению, например, были классифицированы в соответствии со способностями выделять информацию из текста, делать выводы из него, интерпретировать и интегрировать информацию, а также проверять и оценивать текстовую информацию (Eivers and others, 2005). Рис. 4.1 показывает, как сообщаются результаты выполнения тестов по содержательным областям математики в Лесото.

Рис. 4.1

Средний процент оценоê правильных ответов по содержательным областям в математиêе, полóченных óчащимися Лесото

%

леãêость для óчащихся

содержательные области

Примечание: Под леãêостью понимается процент правильноãо выполнения заданий, называемый трóдностью заданий в êлассичесêой теории тестов.

Источниê: Лесото, Эêзаменационный совет Лесото и Центр развития национальноãо планирования, 2006.

КАК РЕЗУЛЬТАТЫ НАЦИОНАЛЬНОЙ ОЦЕНКИ БУДУТ ПЕРЕДАВАТЬСЯ И ИСПОЛЬЗОВАТЬСЯ?

Если предполагается, что результаты национальной оценки будут влиять на национальную образовательную политику, то они должны быть сообщены как можно скорее после завершения анализа данных. В прошлом методические отчеты, которые содержали значительный объем данных, как правило, были единственной формой отчетности. Однако некоторые группы пользователей (например, преподаватели в Чили, см. А.7 в приложении А) представляли данные отчеты с излишними углубленными методическими акцентами. В результате в настоящее время значительно возросла необходимость разработки других форм отчетов. Такие альтернативные варианты включа- ют краткие сообщения, которые сконцентрированы на основных результатах для привлекаемых тактиков, пресс-релизов, специальных докладов для радио и телевидения, а также отдельные доклады для школ, преподавателей, разработчиков учебных планов и преподавателей педагогических колледжей. В некоторых странах, например в Шри-Ланке, для каждой провинции готовятся отдельные отчеты. Отчет в Эфиопии был переведен на четыре основных языка. Информационные потребности ключевых лиц должны определить содержание дополнительных отчетов.

Министерство образования должно предусмотреть соответствующее бюджетное обеспечение на этапе планирования, подготовки и распространения отчетов. В сотрудничестве с Национальным комитетом управления следует разработать процедуры для сообщения результатов национальной оценки ключевым лицам. Соответствующие стратегии для обобщения результатов должны принимать во внимание тот факт, что пользователи (будь то администраторы или преподаватели) сильно различаются по своей способности понимать и применять статистическую информацию для принятия решений. Очевидно, нет смысла в подготовке докладов, если содержащаяся в них информация не представлена надлежащим образом. Таким образом, стратегии распространения результатов исследований требуются для того, чтобы соответствующая

информация достигала все ключевые заинтересованные стороны. Стратегия должна выявлять потенциальных пользователей (ключевые институты и отдельные лица) и их уровень методической экспертизы.

Результаты национальной оценки были использованы при определении точек отсчета для мониторинга уровней учебных достижений (в Лесото), реформирования учебных планов, предоставления исходных данных о количестве и качестве учебных материалов в школах (во Вьетнаме), определения корреляций учебных достижений и диагностики тех аспектов учебных планов, которые не освоены учащимися. В Уругвае, например, результаты национальной оценки использовались для помощи в подготовке пособий для преподавателей и определения содержания учебных планов и поведенческих областей, которые напрямую помогли большому количеству сильно различающихся по подготовке учителей в реализации учебных программ (cм. А.3 в приложении А).

В пятой книге серии имеется обширный материал по написанию отчета и использованию результатов национальной оценки.

Ответственность за распространение и использование результатов национальной оценки лежит на исполнительном агентстве, министерстве образования, комитете, организаторах переподготовки преподавателей, ответственных за учебные планы и отдельных преподавателях.

КАКОВА СТОИМОСТЬ КОМПОНЕНТОВ НАЦИОНАЛЬНОЙ ОЦЕНКИ?

Стоимость национальной оценки существенно меняется. Она зависит от страны, в которой проводится оценивание, от уровня зарплаты персонала и стоимости услуг. Внутри страны стоимость будет также варьироваться в зависимости от всех или некоторых из нижеследующих факторов (Ilon, 1996).

Исполнительное агентство. Стоимость будет меняться в зависимости от того, есть ли у агентства возможность предоставления необходимых услуг и экспертизы или оно нужда-

ется в модернизации либо найме консультантов, полностью или частично занятых в течение рабочего дня. Стоимость предоставления услуг и оборудования, включая компьютеры и программное обеспечение, также должна быть принята во внимание.

Отбор содержания инструментария и его конструирование. Состав работ по отбору содержания и формы оценивания должен быть рассмотрен в контексте их стоимости, так же как и другие факторы, такие как валидизация результатов оценки и проведение тестирования. Задания с множественным выбором более дорогие по стоимости их конструирования, чем открытые задания, но оценка результатов их выполнения обычно требует меньших затрат. Стоимость перевода тестов, анкет и пособий, а также обучения авторов заданий также должна учитываться.

Число участвующих школ и обучаемых. Оценка, основанная на генеральной совокупности учащихся, очевидно, будет более дорогой, чем в случае, когда привлекаются лишь выборочные совокупности учеников. Затраты увеличиваются в тех случа- ях, когда требуются надежные данные для компонентов государственнойсистемы(например,штатаилипровинции).Планированиеоценкиповозрастномууровню,вероятно,является более дорогим, чем планирование оценки по классам, потому что учащиеся разного возраста могут быть распределены по разным классам, что требует применения дополнительного оценочного материала и сессий тестирования.

Предъявление тестов. Сбор данных, как правило, оказывается наиболее дорогим компонентом национальной оценки. Он включает получение предварительной информации от школ до процедуры оценки; проектирование, тиражирование, упаковку и рассылку тестовых материалов и анкет и установление системы по предъявлению инструментария. Факторы, которые влияют на полную стоимость, включа- ют: число участвующих школ и учащихся; перевозку учащихся; трудности в получении доступа к школам; заключение договоров по привлечению лиц для учета числа учащихся; сбор и возвращение выполненных тестов и анкет.

Оценка, управление данными и ввод данных. Затраты изменяются в соответствии с числом участвующих школ, числом учащихся, учителей и родителей, числом открытых заданий; способом оценки, которая может проводиться вруч- ную или автоматизированно, числом исследований внутрирейтерной надежности (см. Крокер Линда. Введение в классическую и современную теорию тестов / Линда Крокер, Джеймс Алгина. М.: Логос, 2010. – Примеч. ред.) и каче- ством процедур предъявления тестов и оценивания их результатов.

Анализ. Стоимость анализа будет зависеть от вида используемых процедур оценки и доступности технологии для шкалирования результатов тестирования и их анализа. Хотя компьютерная оценка, как обычно считают, более дешевая, чем ручная, это сокращение стоимости, возможно, не будет иметь место в стране, где технологические затраты высоки, а стоимость рабочей силы низка.

Сообщение результатов. При калькуляции работ по подготовке отчетов необходимо принимать во внимание тот факт, что для тактиков, преподавателей и широкой общественности будут необходимы различные версии отчетов. На стоимость также влияет выбор стратегии по характеру и степени распространения отчетов по оцениванию.

Последующие действия. При составлении бюджета, вероятно, придется учитывать обеспечение внутренней системы повышения квалификации штатного педагогического состава, которая основана на результатах национальной оценки, инструктаж специалистов по учебным планам и вторичный анализ данных. Вероятно, потребуется финансовое обеспечение для вложений в ключевые области профессиональной деятельности по оценке (например, статистический анализ). Бюджетные ассигнования должны быть выделены на повышение заработной платы участников работ в течение всего срока действия программы оценивания (обычно 2–3 года), с учетом инфляции, так же как неожиданных событий (условные).

Некоторые программы национальной оценки не достигли своей основной цели, потому что бюджет был недостаточ-