Разработка тестов и анкет для национальной оценки учебных достижений. Книга 2
.pdfСОДЕРЖАНИЕ |
|
11 |
|
||
10.1. Пример кодирования ответов |
|
|
без выделения ................................................................. |
164 |
|
10.2. Пример рассмотрения каждого варианта ответа в |
||
отдельности при вводе данных .................................... |
164 |
|
12.1. Инструкции руководства |
|
|
по применению теста .................................................... |
177 |
|
12.2. Информация для преподавателей |
|
|
и руководителей ............................................................. |
178 |
|
12.3. Предъявление тренировочных заданий ........... |
180 |
|
13.1. Список обязанностей администратора: |
|
|
пример из Филиппин ..................................................... |
188 |
|
РИСУНКИ |
|
|
1.1. Организационная структура национальной |
|
|
оценки ................................................................................ |
24 |
|
1.2. Этапы национальной оценки .................................. |
25 |
|
4.1. Пример круговой связи заданий............................. |
97 |
|
4.2. Модель для вертикально связующих заданий ...... |
98 |
|
ТАБЛИЦЫ |
|
|
1.1. Этапы разработки тестов и анкет.......................... |
26 |
|
2.1. Проект теста по основам математики для средних |
||
классов начальной школы ............................................... |
33 |
|
2.2. Спецификация теста по математике в исследова- |
||
нии TIMSS, 3-й и 4-й классы ........................................... |
34 |
|
2.3. Проект содержания теста по математике в Папуа – |
||
Новой Гвинеи .................................................................... |
35 |
|
2.4. Преимущества и ограничения форм тестовых |
|
|
заданий ............................................................................... |
44 |
|
2.5. Формы тестовых заданий по математике в Па- |
|
|
пуа – Новой Гвинеи ........................................................ |
45 |
|
4.1. Связующие задания в двух юнитах по чтению .... |
99 |
|
4.2. Часть крупноформатной таблицы для отслежива- |
||
ния заданий по формам ................................................. |
100 |
|
5.1. Пример результатов анализа задания с множе- |
|
|
ственным выбором ......................................................... |
115 |
|
5.2. Пример результатов анализа открытого дифферен- |
||
цированного задания ..................................................... |
117 |
|
8.1. Компоненты процесса разработки анкет ........... |
140 |
|
8.2. Функции чтения в международном |
|
|
исследовании .................................................................. |
147 |
|
ПРЕДИСЛОВИЕ
Качество любого оценочного процесса в образовании зависит от качества используемого инструментария. Как правило, если инструментарий разработан плохо, оценка превращается в пустую трату времени и денег.
«Разработка тестов и анкет для национальной оценки учебных достижений» является второй из пяти книг в серии «Национальная оценка учебных достижений». В ней описана технология разработки надежного инструментария для национального оценивания. При этом особое внимание уделено развивающимся странам.
В первой книге серии освещаются ключевые цели и особенности системы национальной оценки. Она, в основном, адресована тактикам и руководящим лицам, принимающим решения в сфере образования. В остальных книгах детально рассматриваются частные вопросы – проектирование, применение, анализ и сообщение информации в системе национальной оценки. Они предназначены, главным образом, для команд по национальному оцениванию.
Книга, которую вы держите в руках, посвящена разработке и дизайну двух видов инструментария для сбора данных: тестам учебных достижений и анкетам. Первая часть охватывает разработку структуры оценивания и проекта теста, написание
14 ПРЕДИСЛОВИЕ
заданий, проведение предварительного и окончательного тестирования. Во второй части описаны основные этапы конструирования анкет по сбору контекстной информации. Анкеты необходимы для сбора информации об учащихся и их родителях, преподавателях или директорах школ по переменным, которые могли бы помочь объяснить различия в результатах выполнения теста учащимися. В третьей части рассматривается, как спроектировать руководство для администраторов тестирования и гарантировать, что учащиеся выполняют тест
âстандартизированных условиях.
Âтретьей книге серии основное внимание уделяется проблемам, связанным с проведением крупномасштабных программ оценивания, включая логистику, формирование выборки, чистку данных и управление. В четвертой книге рассматривается, как получать данные по заданиям и тестовые оценки, а также связь полученных результатов с другими образовательными факторами. Наконец, пятая книга охватывает вопросы написания отчетов, которые основаны на результатах национального оценивания, и их использования для повышения качества образовательной политики.
После прочтения настоящей книги станет ясно, что разработка оценочного инструментария – это сложная и затратная по времени задача, для решения которой требуются знания, умения и ресурсы. В то же время, как показывает опыт, польза от грамотно спроектированного инструментария может быть существенной с точки зрения качества информации об уровне учебных достижений учащихся, о школьных и внешкольных факторах, которые на них влияют. Высококачественный инструментарий повысит кредит доверия к решениям в образовательной политике. Он также может увеличить вероятность того, что тактики будут использовать результаты национальной оценки при разработке планов и программ, направленных на повышение качества образования. Если тесты и анкеты приведут к достижению этих результатов, то время и усилия, затраченные на их разработку, будут более чем оправданы.
Маргарит Кларк, главный специалист по образованию,
Международный банк реконструкции и развития
ОБ АВТОРАХ И РЕДАКТОРАХ
АВТОРЫ
Пру Андерсен – старший научный сотрудник в Австралийском совете по исследованиям в области образования. Она разработала оценочные материалы по чтению для программ системы тестирования учащихся начальных и средних классов школы. Участвовала в программах мониторинга образования в Австралии, Бруней-Даруссаламе, Папуа – Новой Гвинее и на Филиппинах. В настоящее время является менеджером проекта программы «Международная оценка школ». Сфера профессиональных интересов: сопоставление данных оценивания с государственными результатами учебных планов, измерения социальных результатов обучения в школе.
Джордж Морган – консультант по образованию. Работал старшим научным сотрудником в отделе по измерениям и руководителем группы разработки тестов по математике и естественным наукам в Австралийском совете исследований в образовании в течение тридцати лет. Разрабатывал учебные планы по математике и естественным наукам и оценочные материалы для всех уровней образования. Работал в программах тестирования на крупномасштабной шкале. Участвовал в проектах по оценке
16 |
|
ОБ АВТОРАХ И РЕДАКТОРАХ |
|
||
|
в Камбодже, Восточном Тиморе, Лаосской Народно-Демокра- тической Республике, Папуа – Новой Гвинее и Самоа.
РЕДАКТОРЫ СЕРИИ
Винсент Грини – консультант по образованию. Был ведущим специалистом в области образования Международного банка реконструкции и развития, работал в странах Африки, Азии и Ближнего Востока. Бывший преподаватель, научный сотрудник Центра исследований в образовании в колледже Святого Патрика в Дублине; приглашен по программе Фулбрайта, профессор Западно-Мичиганского университета в Каламазу. Член читального зала славы Международной ассоциации по чтению. Сфера профессиональных интересов: оценка, педагогическое образование, чтение, пропаганда социальной сплоченности посредством реформирования учебников.
Томас Келлаган – директор Центра исследований в образовании в колледже Святого Патрика в Дублине, член Международной академии образования. Работал в университете города Ибадан в Нигерии и в Королевском университете в Белфасте. Сфера профессиональных интересов: оценка и экзамены, недостатки в образовании, проблема связи образования и домашней обстановки. Занимал пост президента Международной ассоциации по оценке образования с 1997 по 2001 год. Уча- ствовал в проектах по оценке в Африке, Азии, Латинской Америке и на Ближнем Востоке.
БЛАГОДАРНОСТИ
Команда редакторов во главе с Винсентом Грини (консультант, центр «Развитие человеческого потенциала», группа по образованию, Международный банк реконструкции и развития) и Томасом Келлаганом (Центр исследований в образовании, колледж Святого Патрика, Дублин), подготовили серию под названием «Национальная оценка учебных достижений», в том числе данную книгу.
В работе над книгой также принимали участие Сильвия Акана (Уганда, Совет по национальным экзаменам), Пру Андерсен (Австралийский совет по исследованиям в образовании), Фернандо Картрайт (Канадский совет по обучению), Жан Дюмей (Группа статистиков, Канада), Крис Фримен (Австралийский совет по исследованиям в образовании), Хью Гоф (Группа статистиков, Канада), Сара Хауи (Университет Претории), Джордж Морган (Австралийский совет по исследованиям в образовании), Т. Скотт Мюррей (Институт статистики, ЮНЕСКО), Джерри Шил (Центр исследований в образовании, Колледж Святого Патрика, Дублин).
Общее руководство осуществляли Руфь Кагиа, директор образовательных программ, и Робин Хорн, руководитель центра «Развитие человеческого потенциала». Инициатором про-
18 БЛАГОДАРНОСТИ
екта был Роберт Праути, он же руководил им до августа 2007 года. На более поздних стадиях руководство осуществляла Маргарит Кларк (подготовка к публикации).
Мы выражаем благодарность за большой вклад в работу группе экспертов: Олу Битону (Бостонский колледж), Ирвину Киршу (Служба тестирования в образовании) и Бенуа Миллоту (Международный банк реконструкции и развития). Также были учтены замечания Хелен Абадзи, Регины Бендокат, Маргарит Кларк, Робина Хорна, Элизабет Кинг, Морина Льюиса, Гарри Патриноса, Карлоса Рохаса, Джи-Пэн Тан, Эдуардо Велеса и Раисы Веналайен.
Мы получали ценные советы от Карли Чиверса, Дэвида Хардинга, Эйдан Малкин, Александры Савицка, Тхи Чана, Хилари Уолш и Ганса Уоджемайкера.
Особую благодарность мы выражаем учреждениям, санкционировавшим выпуск серии: Австралийскому совету по исследованиям в образовании; Центру исследований в области образования, Дублин; Международной ассоциации по эвалюации образовательных достижений; Массачусетскому департаменту образования; Национальному центру статистики в сфере образования США; Организации экономического сотрудничества и развития; Департаменту образования Папуа – Новой Гвинеи.
Редакторские правки, оформление книги и печать были согласованы с Мэри Фиски и Паолой Скалабрин – сотрудниками издательства Международного банка реконструкции и развития.
Также серьезную поддержку оказали Ирландский образовательный доверительный фонд, Банк партнерских программ Нидерландов и Австралийский совет по исследованиям в образовании.
СПИСОК СОКРАЩЕНИЙ
ÌÁÐÐ |
Международный банк реконструкции и развития |
|
(Всемирный банк) |
ÎÎÍ |
Организация Объединенных Наций |
ÎÝÑÐ |
Организация экономического сотрудничества и |
|
развития |
ЮНЕСКО |
Организация Объединенных Наций по вопросам |
|
образования, науки и культуры |
ÑÒÒ |
Сlassical Test Theory: классическая теория тестов |
IRT |
Item Response Theory: современная теория тестов |
PIRLS |
Progress in International Reading Literacy Study: |
|
Международное исследование прогресса в гра- |
|
мотности чтения |
PISA |
Program for International Student Assessment: Ïðî- |
|
грамма международного оценивания учащихся |
TIMSS |
Trends in Mathematics and Science Study: Между- |
|
народное исследование тенденций в математи- |
|
ческом и естественнонаучном образовании |
