Разработка тестов и анкет для национальной оценки учебных достижений. Книга 2

ГЛАВА4

ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ

Для разработки тестов национальной оценки результатов обучения, как правило, используется технология, которая была выработана в ходе проектирования тестов, предназначенных для оценки и анализа учебных достижений отдельных учащихся. Поскольку последние необходимы для дифференциации учащихся по результатам тестирования, им выдается по существу один и тот же тест. Цель национальной оценки совершенно иная. Национальная оценка не направлена на дифференциацию учащихся. Ее задача – показать, в какой степени учащиеся в целом в образовательной системе (или в четко определенной ее части) приобрели знания и умения, предписанные учебным планом. Для ее выполнения необходимо обеспечить адекватное отражение в тестах учебного плана. Поэтому они должны намного больше охватывать разделы плана, чем тесты, разработанные для оценки отдельных учащихся. Потребность в широком охвате учебного плана становится еще очевидней в тех случаях, когда оценивание предназначе- но для идентификации тех его областей, в которых учащиеся показывают высокие или, наоборот, низкие результаты.

Учитывая все вышесказанное, в тесты многих национальных и международных систем оценки включается намно-

го больше заданий, чем в тесты для оценивания отдельных уча- щихся. Однако чтобы избежать чрезмерной нагрузки, каждый ученик выполняет только часть заданий. Следовательно, в буклете должны быть приведены несколько альтернативных комплектов заданий для их возможной ротации. Точное число заданий в разных системах национальной оценки изменяется.

Данный подход, хотя и необходимый по ряду причин, привносит в процесс предъявления теста много трудностей. Во-первых, довольно сложным становится дизайн теста, потому что нужно обеспечить «наложение» заданий и соответствие между их подвыборками. Во-вторых, необходимо гарантировать правильную выдачу буклетов учащимся и соответствие инструкций для всех буклетов. Наконец, объединение данных, полученных по множеству наборов заданий, требует относительно сложных статистических процедур. По этим причинам многие развивающиеся страны не используют большое число тестовых буклетов.

Большинство комментариев на следующих страницах, так же как и в главе 5, применимы к двум ситуациям, в одной из которых команда по национальной оценке использует множество тестовых буклетов, а в другой – для измерения учебных достижений в предметной области предназначается единственный тестовый буклет. Оба подхода требуют корректного проведения предварительного тестирования.

Предварительное, или пилотное, тестирование является существенным этапом процесса разработки теста. Учащиеся, которые выполняют предварительный тест, должны обладать теми же характеристиками, что и те, которые будут выполнять окончательный тест. Желательно, чтобы в предварительном тестировании участвовали разные по размеру школы из разных районов города с учащимися из семей с варьирующимся социально-экономическим фоном. Идеальный вариант, когда предварительное тестирование проводится в то же самое время, на которое запланировано окончательное тестирование, но годом ранее. Например, предварительный тест для учеников 5-го класса проводится в октябре 2005 года, а окончательный – в октябре 2006 года. Однако на практике этот сценарий

может оказаться невыполнимым, и предварительный тест может быть выдан испытуемым, которые проучились на несколько месяцев больше или меньше, чем целевая генеральная совокупность учащихся. Например, учащиеся 6-го класса могут быть предварительно протестированы в начале учебного года, чтобы обеспечить данные для теста, который будут использовать для оценивания учащихся 5-го класса в конце учебного года.

Учащиеся, которые участвуют в предварительном тестировании, не должны иметь доступа к окончательному варианту теста. Если окончательный тест нужно предъявлять статисти- чески отобранной случайной выборке, то она должна быть построена до того, как будут определены школы для предварительного тестирования.

Считается полезным использовать в предварительном тестировании в два или три раза больше заданий, чем в оконча- тельном. Длина каждой предтестовой формы должна быть подобна той, какая будет в окончательном тесте. Полезно использовать маркировку форм теста в алфавитном порядке согласно году обучения, например, пять форм для 3-го класса тогда были бы обозначены символами 3A, 3B, 3C, 3D и 3E, а для 8-го – 8A, 8B, 8C, 8D и 8E.

Для каждого класса требуется несколько предтестовых форм. Идеально, если формы для каждого года обучения будут случайным образом распределены в каждом классе. Если используются три формы в 5-м классе (5A, 5B и 5C), то каждая школа должны получить «смесь» из заданий всех трех форм. Если эта процедура невозможна, то важно гарантировать, что каждая форма распределена по всем составляющим выборки для предварительного тестирования. Например, форма 5A не должна быть выдана только городским учащимся, форма 5B – только сельским учащимся на севере района и форма 5C – сельским учащимся в южной его части. Формы должны быть настолько эквивалентными, насколько это возможно с точки зрения соответствия проекту теста.

Существенно обеспечить такую связь предтестовых форм, чтобы задания могли быть объединены для сравнения. Связь

означает, что несколько одних и тех же заданий появляются в различных формах теста. Некоторые предтестовые формы неизбежно будут более трудными, чем другие. С помощью связи общая трудность заданий может быть определена независимо от формы, в которой эти задания встреча- ются. Горизонтальная связь требуется в тех случаях, когда тестируются учащиеся одного года обучения, вертикальная – когда в тестировании принимают участие учащиеся разных лет обу- чения.

Минимум 200 испытуемых должны попытаться выполнить каждое предтестовое задание для каждого года обучения. Если три предтестовые формы будут разработаны для 5-го класса, то предварительный тест должны выполнять, по крайней мере, 600 учащихся. От этих 200 испытуемых для каждого предтестового задания требуется получить, самое малое, 150 ответов. Неизбежно, что во время предварительного тестирования произойдет некоторая потеря данных. В лучшем случае школа может выйти из программы предварительного тестирования в последнюю минуту или предъявить тест меньшему числу уча- щихся, чем предполагалось. Также маловероятно, что каждый учащийся попытается выполнить каждое задание в предварительном тесте.

Поскольку предварительное тестирование должно проводиться в тех же самых условиях, что и окончательное, промежуток времени для выполнения теста должен быть одинаков. Число заданий, которые учащиеся могут выполнить в отпущенное для тестирования время, возможно, не будет известно. Если это действительно так, то сформируйте пример предтестовой формы и испытайте ее в нескольких классах перед тем, как собирать предварительный тест, чтобы гарантировать «реалистичность» числа заданий в каждой предтестовой форме. В национальном оцениваии не применяются тесты на скорость. У большинства учащихся должно быть достаточно времени для выполнения большей части заданий теста.

Желательно завершить предварительное тестирование за две–три недели.

Предварительное тестирование обеспечивает возможность оценить пригодность и качество заданий, а также точно настроить многие аспекты предъявления теста. Администраторы должны предоставить следующую информацию.

Было ли у учащихся достаточно тренировочных вопросов по применению теста, были ли инструкции и объяснения достаточно ясны?

Имел ли тест подходящую или чрезмерную длину, и приблизительно сколько учащихся закончили тест раньше, чем за 10минутдоокончаниявремени,отведенногонатестирование?

Были ли испытуемые поглощены выполнением теста?

Было ли достаточно сопроводительных материалов, таких как карандаши и ластики?

Действительно ли условия в школе были подходящими для проведения тестирования?

Понимали ли преподаватели и испытуемые цель тестирования?

ДИЗАЙН ПРЕДТЕСТОВОЙ ФОРМЫ

Анализ данных предварительного тестирования дает основания для отбора заданий в окончательный тест. В большинстве случа- ев в национальной оценке готовят разные формы связанных тестовых буклетов для каждого года обучения. Этот подход помогает шире охватить учебный план по сравнению с единственным тестом и в то же время позволяет гарантировать, что учащимся не предъявлены необоснованно длинные тесты. Дизайн теста и связь данных по формам должны гарантировать, что данные тестирования могут быть представлены в единой шкале. К разработке дизайна предварительного теста необходимо привлечь аналитика, статистика и ведущих специалистов по компьютерному дизайну. Это позволит гарантировать, что при проектировании теста были отражены требования к данным.

Связанные формы имеют общие задания. Обычно требуется от 8 до 10 общих заданий. Есть несколько способов для построения дизайна связанных форм.

Первый способ – единственный единый набор общих заданий для связи, когда одни и те же 8–10 заданий повторяются в каждой форме. Необходимо отметить, что если связующие задания ведут себя плохо (имеют плохие статистические характеристики) при анализе, то связь между формами будет слабой, что негативно повлияет на качество общего анализа результатов тестирования.

Второй способ – круговая связь. Различные наборы заданий используются для связи между парами форм. Например, форма 3A может быть связана с формой 3B с помощью набора из X заданий, форма 3B – с формой 3C с помощью набора из Y заданий, а форма 3C, в свою очередь, связана с формой 3A набором из Z заданий.

Каждая форма также содержит уникальные задания, которые не появляются ни в одной из других форм (рис. 4.1).

Третий способ – линейная связь, которая следует круговой модели связи, но исключает использование для связи набора заданий Z. Таким образом, форма 3A будет связана с формой 3B, а 3B – с 3C, но между формами 3A и 3C не будет никакой связи.

Если неясно, как будут работать задания, лучше использовать круговую связь и большее число заданий для связи, чем это необходимо в окончательном варианте форм. При круговой связи даже в том случае, если один набор связующих заданий окажется неудачным, связи между формами будут сохранены.

Связи могут быть и горизонтальными (для одинаковых классов), и вертикальными (для различных классов, например, связи между результатами тестирования 3-х и 5-х классов). Если конечные формы теста не собираются связывать вертикально, тогда связь при предварительном тестировании должна иметь явно выраженный акцент на горизонтальном способе. Минимальная вертикальная связь может использоваться для сравнения данных предварительного тестирования между различными годами обучения. С точки зрения технологии для связи результатов по разным годам обучения необходимо только 8 или 10 общих заданий. Оценочные процедуры для установ-

Рис. 4.1

Пример êрóãовой связи заданий

Источниê: разработêи авторов.

ления хорошей вертикальной связи между заданиями являются более трудными, чем процедуры для обеспечения хорошей горизонтальной связи. Поскольку в предварительном тестировании качество связующих заданий обычно неизвестно, то желательно иметь, по крайней мере, 16 заданий для установления вертикальной связи, распространенной по каждой из тестовых форм.

Если конечные формы теста должны быть связаны вертикально, то важно иметь большее число запасных заданий для установления вертикальной связи в тестировании по сравнению с тем числом, которое потребуется для окончательного тестирования, чтобы для окончательных форм теста могли быть выбраны лучшие задания. Альтернативная модель предварительного тестирования при вертикальной связи оконча- тельных форм теста показана на рис. 4.2. Модель основана на случайном распределении форм A, B и C в пределах каждого класса.

В этом довольно сложном примере каждая из форм 3A, 5A, 7A и 10A вертикально связана линейным способом с помощью 8–10 заданий. Задания связаны подобным способом и в формах B и C. Есть в целом 8–10 заданий для горизонтальных связей между формами A и B для 3-го и 7-го классов и в целом 8–10 заданий для горизонтальных связей между формами B и C для 5-го и 10-го классов. Это число заданий для горизонтальных связей является вполне приемлемым. Если тестовые формы не собираются распределять в случайном порядке внутри каждо-

Рис. 4.2

Модель для вертиêально связóющих заданий

Источниê: разработêи авторов.

го класса или если авторы не уверены в качестве заданий для горизонтальных связей, то должно быть включено больше связующих заданий в тесты для каждого класса.

Связующие задания должны быть помещены в начале или в середине тестовых форм, но не в конце, чтобы избежать ситуаций, когда испытуемые вовсе не приступят к ответу на них. Их необходимо приводить в одном порядке в каждом тестовом буклете и на однаковых местах так, чтобы любые различия в результатах не могли быть приписаны порядку или месту расположения заданий. Небольшие различия в местоположении неизбежны. Важно избегать значительных отличий.

Задания, имеющие небольшие изменения в их формулировках, должны иметь разные метки.

Автор заданий должен создать крупноформатную таблицу со списком всех заданий; заголовки таблицы должны отражать, какие задания появляются, в какой форме и в каком порядке. Табл. 4.2 показывает часть такой типовой крупноформатной таблицы, которая охватывает три юнита («Собаки», «Ellie» и «Удар») теста по чтению для 5-го класса.

ТАБЛИЦА 4.2

Часть êрóпноформатной таблицы для отслеживания заданий по формам

Источниê: разработêи авторов.

Задания для трех юнитов показаны слева. Числа в колонках отражают порядок появления каждого из этих заданий в конкретной предтестовой форме. Первые два задания в юните «Собаки» являются общими для всех четырех форм.

ВЫЧИТКА И ТИРАЖИРОВАНИЕ ПРЕДВАРИТЕЛЬНОГО ТЕСТА

Каждое задание предтеста должно появиться в том же виде, в каком оно будет включено в окончательный тест. Это также касается и материалов стимула, графиков и иллюстраций. Идеально, когда и связующие задания приводятся в том же порядке, но на практике это не всегда возможно.