Norm-referenced test vs. Criterion-referenced test

Нормо-ориентированный тест определяет уровень обученности и/или языковой компетенции учащегося относительно других учащихся. Нормой считается показатель владения иноязычной речью, определяемый тем или иным способом. Нормы могут быть соотнесены с такими факторами, как возраст учащихся, продолжительность предшествующего обучения. Традиционные экзамены и контрольные работы были ориентированы в основном на нормы, в последнее же десятилетие все большее предпочтение отдается тестам, ориентированным на определенные критерии (criterion-referenced tests). Критериально-ориентированный тест определяет уровень обученности учащихся относительно определенного критерия. Этот критерий устанавливается без учета различий, которые могут существовать между учащимися.

  Противопоставление нормо-ориентированных тестов критериально-ориентированным является до некоторой степени искусственным, так как большинство тестов ориентируется и на нормы, и на определенные критерии.

6.3. Testing techniques — Приемы контроля

Testing techniques

Приемы контроля — это конкретные действия учителя, направленные на контроль сформированности речевых навыков и умений, на определение уровня обученности. Приемы контроля реализуются в разнообразных видах и формах контроля, включая лингводидактическое тестирование (см. Test, с. 189). Testing в сочетании testing techniques соответствует термину «контроль» в широком толковании (см. Testing, 1, с. 188).

  Наряду с термином testing techniques используется термин test method (Bachman 1990).

  Между приемами контроля и приемами обучения (см. Techniques, с. 124) существует неразрывная связь и взаимное влияние как проявление единства обучения и контроля. Фактически большинство приемов обучения могут быть использованы как приемы контроля, иными словами, большинство приемов контроля повторяют приемы обучения. Ряд тестов (в широком понимании термина — объективные и субъективные тесты), в которых реализуются приемы контроля, и тренировочные упражнения, в которых реализуются приемы обучения, совпадают, но, в отличие от упражнений, тесты:

• направлены на проверку уровня сформированности речевых умений;

• менее разнообразны;

• могут быть использованы в более свободной последовательности;

• исключают подсказки, пояснения, ориентировочную основу;

• предполагают жесткую регламентацию по времени;

• выполняются чаще индивидуально и реже в парном или групповом режиме.

 

  При тестировании отмечается повышенная мотивированность обучаемых, нацеленных на успешное выполнение задания.

  Что касается объективных тестов, то их составление требует соблюдения строгих технологических правил, в отличие от технологии составления тренировочных и традиционных контрольных упражнений.

  См.: Davies 1990, р. 17; Alderson et al. 1995, pp. 41-42; Брейгина 1991; Симкин 1996; Товма 1996.

Cloze procedure

Методика восстановления (дополнения). Учащимся (испытуемым) предъявляется связный текст, в котором преднамеренно пропущены отдельные слова. Испытуемые должны вставить слова, подходящие по смыслу, восстанавливая таким образом деформированный текст. В данном случае имеет место прогнозирование лингвистических элементов на уровне слова с опорой на неполноценный контекст.

  При «препарировании» текста в нескольких предложениях в начале текста пробелы не делаются, чтобы испытуемые могли ознакомиться с темой. Не рекомендуется использовать узкоспециальные тексты и тексты, содержащие большое количество фактов. Пропуск слов может быть фиксированным и нефиксированным. При фиксированном пропуске слов (fixed-ratio method или standard cloze procedure) из текста удаляется каждое энное слово (где п колеблется от 5 до 10). Нефиксированный пропуск слов (variable-ratio method) осуществляется в зависимости не от порядкового номера слова, а от избранного критерия: например, удаляются некоторые знаменательные слова (только существительные, прилагательные и т. п.) или служебные слова. Выбор той или иной разновидности методики дополнения зависит от конкретной цели.

Методика восстановления служит:

• для определения читабельности (степени сложности) текста при отборе материала для чтения (readability test: Nuttall 1982, p. 29);

• для создания клоуз-тестов, проверяющих уровень понимания текста и оценивающих владение языком (см. ниже, Cloze test);

• для разработки тренировочных (подготовительных) упражнений на заполнение пропусков (см. Gap-filling, с. 136);

• для анализа ошибок и определения эффективности обучения (Oiler 1992, р. 348).

  Впервые методика восстановления была использована для измерения читабельности текста (Weir 1990, р. 46; Heaton 1994, р. 131), но впоследствии стала широко применяться как средство контроля в виде клоуз-тестов.

  При проверке заданий, основанных на методике дополнения, и их оценке в качестве правильного ответа зачитывается каждое точно восстановленное слово (exact word method) или любое слово, удовлетворяющее данному контексту (acceptable word method, contextually appropriate method). Во втором случае не исключается субъективная оценка со стороны тестирующего.

Cloze test

Клоуз-тест — тест восстановления или дополнения, один из приемов прагматического тестирования, основанный на методике восстановления (см. выше, Cloze procedure). Превращению целенаправленно деформированного текста в тест должна предшествовать трудоемкая работа по его экспериментальной

 

проверке и стандартизации. При помощи клоуз-теста достаточно точно и объективно устанавливаются степень сформированности рецептивных лек-сико-грамматических навыков чтения и уровень понимания прочитанного. Клоуз-тест применяется также для оценки общего уровня владения языком.

  В основе клоуз-теста лежит связный текст, а его восстановление требует взаимодействия различных навыков и умений — рецептивных и продуктивных. Испытуемый должен обработать смысловую информацию микроконтекста пропуска, проанализировать грамматическую схему этого микроконтекста, извлечь из долговременной памяти вербальные элементы, подходящие по смыслу и удовлетворяющие требованиям словосочетаемости (Ейгер, Рапопорт 1992). Как прием прагматического тестирования этот тест является интегральным, в отличие от дискретного теста множественнного выбора (см. ниже, Multiple-choice test). Клоуз-тест следит за процессом чтения, то есть контролирует понимание текста при чтении. Тест множественного выбора, напротив, соотносится с продуктом деятельности — чтения, а именно оценивает умение читающего интерпретировать извлеченную из текста информацию.

  Некоторые авторы считают клоуз-тестами только тексты с фиксированным пропуском слов, то есть с пропуском каждого энного слова независимо от его функции в предложении (Alderson et al. 1995). Другие же понимают под клоуз-тестом не только тексты с фиксированным пропуском слов, но и с пропуском конкретных грамматических, лексических единиц или элементов дискурса, подлежащих тестированию (Carter 1991, р. 161).

См.: Hughes 1993; Красюк 1986; Коккота 1989; Поляков 1994.

C-test

Си-тест является разновидностью клоуз-теста (см. Cloze test, с. 198). Особенность си-теста заключается в том, что при его подготовке из текста удаляется вторая часть каждого второго слова вместо изъятия языковых единиц в целостном виде через больший интервал. Представленная первая часть каждого второго слова служит подсказкой для тестируемых при заполнении пропусков подходящими по смыслу словами. При проверке заданий в виде си-теста правильным считается каждое точно восстановленное слово (exact-word method).

  Достоинствами си-теста считаются его экономичность и репрезентативность. В небольшом по объему тексте содержится большое количество пропусков. Проверка теста занимает мало времени и является объективной в силу однозначности ответов. Отличаясь надежностью, си-тест уступает другим приемам тестирования по такому критерию, как внешняя валидность (см. Face validity, с. 205), поскольку искаженный вид предъявляемого текста с большим количеством пропусков озадачивает и отталкивает испытуемых (Weir 1990, р. 46; Коккота 1989).

Multiple-choice test

Тест множественного выбора. Психологической основой работы испытуемых с тестами множественного выбора является узнавание, сравнение и выбор, а отличительный внешний конструктивный признак этого теста — ряд выборочных ответов (options / alternatives), следующих за основой тестового задания, в которой преднамеренно пропущена одна языковая единица. Зада-

 

ча испытуемого — выбрать один правильный ответ из нескольких вариантов. В отличие от клоуз-тестов тесты множественного выбора являются дискретными и направлены на проверку владения языковым материалом и оценку сформированности, в основном, рецептивных навыков и умений (см. Cloze test, с. 198).

  Очевидные преимущества тестов множественного выбора: надежность измерения, экономичность и быстрота. К недостаткам этих тестов можно отнести ограниченную сферу их применения, трудность составления методически грамотного теста и большую вероятность догадки при выборе правильного ответа. Самая значительная трудность при профессиональной подготовке теста множественного выбора заключается в поиске и выборе неправильных, отвлекающих ответов — abstractors (Goodrich 1977).

  Тест множественного выбора должен отвечать следующим основным требованиям (Heaton 1994, р. 30):

• задания должны быть краткими, точными, предпочтительно представленными в контексте;

• каждое задание должно иметь только один правильный ответ;

• в каждом задании проверяется только один элемент, например элемент грамматики или лексики;

• каждая альтернатива должна быть в грамматически правильной форме;

• оптимальное число альтернатив — 5 (многие авторы рекомендуют 4 альтернативы для грамматических единиц и 5 — для лексических).