Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Лекции по тестированию.doc
Скачиваний:
15
Добавлен:
14.11.2019
Размер:
273.41 Кб
Скачать

Лекция №1

Тестирование в процессе обучения иностранному языку

Начало педагогических измерений относят к 1863 году, когда появились первые педагогические тесты. Они были составлены в Англии. Их автором был директор школы Фишер. Он создал «scale book» - «градуированную книгу», где были даны вопросы и ответы для выбора. Книга эта содержала вопросы по правописанию, арифметике, чтению, грамматике и навигации.

Однако началом систематических измерений в педагогике считается 1894 год. Их провёл американский учёный доктор Раис, который составил первый педагогический тест. Тест должен был измерить эффективность более или менее длительного обучения навыкам письма.

Основателем педагогических измерений принято считать Р.Торндайка, под руководством которого был опубликован первый стандартизированный тест.

Первое исследование, посвященное проблеме тестирования в области иностранного языка, было проведено Беном Вудом в Америке в 1925 году, когда были составлены первые тесты по иностранному языку. Тесты проходили апробацию в течение 4-х лет в Колумбийском университете на предмет использования их в качестве тестов успешности по иностранному языку. Первые тесты состояли из 3-х частей.

Первая часть – тест на словарь – состоял из 100 иностранных слов, каждое из которых сопровождалось пятью английскими словами. Учащийся должен был выбрать слово, которое соответствовало по значению иностранному слову. Слова были выбраны из 2000 наиболее употребительных слов.

Вторая часть – тест на понимание прочитанного – состоял из 60 предложений на французском и испанском языках. Каждое предложение сопровождалось 5 альтернативными концовками, только одна из которых соответствовала смыслу предложения, и учащиеся показывали понимание предложения выбором единственно правильной концовки.

Третья часть – грамматический тест, состоял из 60-65 коротких английских предложений, каждое из которых сопровождалось незаконченным переводом на французский язык. Учащиеся должны были показать своё знание грамматики, закончив это предложение.

Каждый тест состоял из 220-225 элементов. На каждую часть отводилось 30 минут.

Слова «тест», «тестирование» в речи преподавателей теперь можно слышать довольно часто. Их употребляют, когда говорят о контрольных мероприятиях; ими пользуются, когда описывают психологический или педагогический эксперимент; тестами называют различные виды контрольных упражнений, которые, зачастую, при ближайшем рассмотрении ничего общего с ними не имеют.

Налицо терминологическая путаница, вызываемая несколькими причинами. Во-первых, для большинства преподавателей тесты – пока ещё новое, глубоко не изученное педагогическое явление. Во-вторых, исторически тесты появились в психологических исследованиях, и традиционное понятие

«тест» иногда ассоциируется с психологической анкетой. В-третьих, полисемия английского слова «test» (испытание, проверка, эксперимент) также вносит свою лепту в имеющуюся путаницу. Сами английские методологи под тестом понимают и экзамен, и зачёт, и любую другую учебную проверку. Отечественные же методисты называют тестом только такое задание, где правильность ответа определяется по заранее подготовленному ключу и задание составляется так, что требует однозначного ответа.

В специальной литературе по тестированию существует множество формулировок теста. Мы обсудим лишь те из них, которые показались интересными с методической точки зрения.

И.А.Раппопорт, Р. Сельг и И.Соттер предлагают следующее определение теста: «Тест - это самым тщательным образом подготовленная в соответствии с определёнными разработанными правилами, прошедшая предварительную экспериментальную проверку и специальную процедуру для её улучшения, имеющая достаточные характеристики своей эффективности совокупность вопросов и заданий, предъявляемых испытуемому с целью квалиметрического выявления социальных, психологических и психофизических характеристик его личности, отличающаяся формализацией ответов испытуемых, выделением в нух части, несущей наибольшую информационную нагрузку, что ускоряет, облегчает и объективизирует их последующий анализ, обработку и интерпретацию». Это определение хотя и отражает последовательность этапов тестирования (планирование, составление, апробация), но имеет психологическую направленность.

Дефиницию педагогического теста даёт Т. А. Ильина: «Тест - это одна из наиболее доступных форм применения математических методов в оценке такого сложного педагогического явления как процесс освоения знаний и формирования умений и навыков».

Интересно определение сущности учебного теста у Е.М. Стака: «Тест -это вид академического (учебного) локатора, который посылает полезные сигналы назад в обучающее устройство, позволяя преподавателю перестроить свою работу так, чтобы преодолеть недостатки и затруднения в работе».

И.А Цатурова даёт следующее определение: «Тест - это централизованный, формализованный письменный контроль, который даёт возможность определить основные параметры качественного и количественного состояния обученности на каждом этапе обучения».

ЭЛ Штульман определяет педагогический тест как контрольное задание (задания), выполняемые в равных для всех обучающихся условиях, длительность и характер которых строго соотнесены с объективными факторами, т.к. общая цель обучения и конкретно данного теста, возрастные особенности учащихся, характер изучаемого материала и результаты выполнения, которые поддаются количественной оценке, являются показателем определения итогов учебного процесса к моменту проведения данного теста».

Для решения проблемы качественного определения понятия «тест»,

представляется необходимым выделить частное направление в тестировании -лингводидактическое тестирование (language testing), которое находится на стыке двух важных областей – с одной стороны является областью методологии преподавания иностранного языка, а, с другой стороны, относится к педагогическому (предметному) тестированию как части общей тестологии.

Автор книги «Лингводидактическое тестирование» В.А. Коккота вводит термин «лингводидактический тест», который определяется как «подготовленный в соответствии с определёнными требованиями комплекс заданий, прошедший предварительную апробацию с целью определения его показателей качества и позволяющий выявить у тестируемых степень их языковой (лингвистической) и/или речевой (коммуникативной) компетенции, результаты которого поддаются определённой оценке по заранее установленным критериям».

Временная последовательность этапов разработки теста может быть

представлена следующей схемой:

1 стадия - разработка предтеста:

Хороший тест не может не меняться из года в год, т.к. изменения внешних факторов приводят к тому, что он морально устаревает, кроме того, меняется контингент испытуемых.

Тест – это точный инструмент измерения контролируемого процесса. По сравнению с другими видами контроля тесты обладают более высокими собственно контролирующими характеристиками и возможностями:

  1. тесты удобны в проведении и экономичны (за короткое время позволяют контролировать знания большого числа испытуемых);

  2. результат теста может быть легко подсчитан и оценен;

  3. тесты устанавливают уровень сформированности знаний, умений и навыков и выявляют языковые трудности;

  4. тесты могут использоваться для осуществления начальной, текущей и конечной диагностики;

  5. тестам как средству контроля присуща большая степень объективности.

Однако, есть и определённые ограничения тестов как средства контроля. Чаще всего они регистрируют результаты, а не процесс, ведущий к ним. Кроме того, существует большая вероятность догадки в процессе выполнения заданий. И, наконец, они не тестируют умения организовать свои мысли.

Несмотря на упомянутые недостатки, тестирование обладает исключительной систематизирующей способностью, необходимой для формирования системы обучения ИЯ на основе коммуникативного подхода. Оно призвано способствовать формированию необходимых универсальных стандартов овладения и владения иностранным языком, внедрению критериев и показателей оценки фактического уровня, а также соответствия модификации содержания и методики обучения иностранным языкам на современном этапе.

Помимо упомянутых характеристик, тесты могут выполнять и обучающие функции (в формулировку ряда тестов, заданий или таблиц вводится информация, напоминающая учащимся основные понятия пройденного курса).

Итак, характерной особенностью теста, в отличие от других видов контроля мы будем считать его объективность, надёжность, обеспечиваемую тщательной подготовкой тестовых материалов и анализом результатов тестирования, чёткую направленность на контролируемый аспект, удобство и компактность формы, экономичность во времени.

Объектом тестирования в лингводидактических тестах является коммуникативная компетенция - знания, навыки и умения тестируемых в их речевых действиях, т. е. лингводидактические тесты имеют вербальный характер (задания и ответ - вербальны).

Виды лингводидактических тестов

Классификацию языковых тестов по целям их применения предложила И.Ю.Павловская.

Это следующие категории тестов:

  1. Placement testsвступительные (распределительные или тесты размещения) тесты, позволяющие распределить студентов в однородные группы при наборе. Например, Oxford Placement Test (ОРТ);

  1. Selecting Tests отборочные тесты, позволяющие задать нижний порог при зачислении в отдельную группу или на определённый курс.

Например, TOEFL, по результатам которого иностранные студенты допускаются к обучению в университетах США;

  1. Progress Tests – промежуточные тесты, фиксирующие успешность прохождения учебного материала при продвижении по программе;

4)Achievement Testsвыпускные тесты, регистрирующие успешность прохождения курса в конце обучения;

5) Proficiency Tests тесты на владение языком, не связанные с какой-либо конкретной программой;

6) Diagnostic Tests диагностические тесты, проводимые в начале обучения по программе и имеющие целью, определить слабые места учащихся и скорректировать курс.

Рассмотрим более подробно содержание каждой из перечисленных категорий.

1) Целью тестов общего умения является определение уровня языковой подготовки для экстралингвистических целей. На основе результатов этого теста можно, например, определить, сможет ли иностранец поступить в учебное заведение данной страны, учиться в нём, поскольку преподавание в данном учебном заведении ведется на языке этой страны; или насколько соответствует уровень владения языком испытуемого условиям работы за границей. Эти тесты составляются независимо от программы, в отличие от тестов успешности, которые также проверяют уровень владения ИЯ, но на основе определённого курса обучения.

В качестве примера, сошлёмся на Мичиганский тест «Examination for the Certificate of Proficiency in English». Тест состоит из 150 заданий. Из них:

а) 60 заданий – на проверку грамматики разговорного языка;

б) 30 заданий – на лексические замены;

в) 30 заданий – на лексический выбор;

г) 30 заданий – по чтению.

На выполнение теста отводится 90 минут.

Навыки грамматики проверяются в ситуации, представляющей собой микродиалог, в котором учащийся должен восстановить опущенную часть, выбрав слово из предложенных альтернатив. Проверяются навыки владения глагольными формами, артиклями, предлогами, порядком слов.

Навыки владения лексикой проверяются в контексте. Во второй части задания из четырёх предложенных слов нужно выбрать одно наиболее близкое по значению к подчёркнутому слову в предложении.

Например, His tutor was a girl-

  1. assistant,

  2. mother,

  3. friend,

d) teacher.

В третьей части испытуемый должен выбрать слово из числа предложенных и вставить его на место прочерка в предложение. Например, He doesn't like me. I can feel his__________

а) assumption,

в) hostility,

с) hospitality,

d) dismay.

Для проверки навыков понимания чтения предлагается небольшой законченный по смыслу отрывок, за которым следует, пять вопросов. Ответ на каждый вопрос испытуемый даёт на основе четырёх предложенных альтернатив.

Структура данного вида тестов может быть различной. Такие тесты могут включать в себя:

> письменное сочинение;

  • проверку понимания речи на слух;

  • проверку знания или навыков употребления лексического и грамматического материала;

  • проверку навыков чтения и понимания прочитанного.

В зависимости от конкретных целей эта категория тестов может называться:

– селективные, на основе которых производится отбор абитуриентов;

– распределительные – для распределения студентов по группам;

– планирующие, проводимые с целью определения дальнейшей учебной программы для определённой группы обучающихся.

2) Тесты успешности (достижений) являются наиболее распространённой разновидностью тестов, составляемых в связи с конкретной учебной программой для проверки успехов, достигнутых учащимися за определённый период обучения. Составитель должен заранее определить, какой должна быть степень сформированности конкретных навыков и умений и лингвистический аспект, подлежащий проверке.

3) Диагностические тесты предназначены специально для учителя. Они помогают определить наиболее слабо усвоенные разделы программы. Отбор материала, подлежащего тестированию, приобретает особо важное значение. Диагностические тесты по структуре построения делятся на простые (однородные) и комбинированные.

Простые тесты состоят из заданий одного типа множественного выбора или заданий на преобразование утверждений (например, утвердительную фразу в отрицательную: John was ill yesterday. - John wasn 't ill yesterday.) или из одного типа других известных видов тестовых заданий.

Комбинированные тесты могут состоять из заданий различных видов. По периодичности применения можно выделить следующие виды тестов:

  • повседневные, т.е. проводимые на каждом занятии по мере изучения определённой темы или раздела программы;

  • периодические, применяемые на определённом этапе учебного процесса и совпадающие обычно с моментом завершения работы над определённым разделом или темой;

- глобальные, подводящие итог более длительному периоду обучения.

По следующему параметру - проверяемым аспектам языка или навыкам и умениям речи - тесты могут быть одноаспектными (фонетическими, грамматическими, лексическими или тестами на аудирование или письмо) и смешанными.

По форме выполнения тесты делятся на: 1) письменные, 2) устные, 3) смешанные. Наиболее широкое применение получили письменные тесты в силу их простоты и скорости выполнения. Задания смешанного типа могут быть следующих видов:

а) задания даются в письменной форме, а ответы - в устной;

б) задания (ситуации, вопросы, диалоги, рассказы) даются в устной форме, а ответы - в письменной в соответствии с характером тестовых заданий;

в) задание - проблемная ситуация - предъявляется в виде картинки или изображения на экране с сопровождающей словесной инструкцией, а ответ может быть дан в устной или письменной форме. 6

Устные тесты, проводимые полностью в устной форме, с записью на магнитофон являются в отдельных случаях единственно приемлемым способом контроля, проверяющим навыки владения устной речью в условиях, приближенных к естественным.

По условиям и месту проведения выделяют тесты аудиторные и лабораторные. Наиболее распространёнными в силу их экономичности стали аудиторные тесты. Но, если целью тестового контроля является проверка навыков владения устной речью, - применяются лабораторные тесты.

По технике организации и проведения тесты подразделяются на компьютерные и бумажные. Применение компьютерных тестов осуществляется в двух видах программ: программ-репетиторов и программ-экзаменаторов, в зависимости от целей обучения и контроля.

По способу составления и количественной обработке данных, тесты делятся на стандартизированные и нестандартизированные. Стандартизированные тесты носят глобальных характер и в практике отечественного тестирования пока не разработаны. Нестандартизированные тесты могут быть составлены одним или несколькими преподавателями данного учебного заведения и применяться в зависимости от конкретных задач в течение учебного года. Они в свою очередь подразделяются на: субъективные (традиционные устные вопросы и сочинения) и объективные (неформальные).

Основные технологические приёмы методики языкового тестирования

Для языкового тестирования чрезвычайно важным является правильный выбор технологических приёмов тестирования, поскольку именно от их адекватного использования в определённой степени зависит получение наиболее объективных результатов по тесту, а соответственно и выявление максимально точных внутритестовых параметров.

Существуют следующие технологические приёмы языкового тестирования, которые иногда называют техникой выполнения тестов.

1) Multiple choice - множественный выбор. Это наиболее популярный приём в тестировании, т.к. полученные с его помощью результаты легко поддаются статистической обработке. Суть этого приёма заключается в том, что испытуемый должен выбрать подходящий вариант из числа 3-5 предложенных правильных в языковом отношении конструкций, среди которых лишь одна является правильным ответом на поставленный вопрос.

Причём ответ на вопрос в тестах на рецептивные виды РД (чтение,

понимание на слух), может представлять собой как парафраз услышанного,

так и фактический ответ на вопрос, заданный диктором или автором

письменного текста. Простейшей разновидностью этого приёма являются

вопросы, требующие ответа да/нет.

Методика множественного выбора имеет ряд едостатков:

-1) Применяемая обычно методика представления нескольких неправильных

вариантов ответов и одного правильного не соответствует типичной для

реальной коммуникации стратегии. В общении исходят либо из наиболее

7

подходящего для данной ситуации выбора или из наличных вариантов для поддержания общения.

- 2) Угадывание правильного ответа, как по случайным, так и по формальным или другим, не относящимся к владению языком признакам.

-3) Недостаточная активность мыслительных процессов из-за наличия готовых ответов и из-за общей ориентации на результат теста.

- 4) Возможность непроизвольного запоминания неправильных ответов.

-5) Тестовая ситуация в задании недостаточно полна, информативна и коммуникативна из-за сложности контекста в языковых тестах. -6) Неправильные варианты ответов могут содержать избыточную или отвлекающую информацию, препятствующую определению правильного ответа. Составителю следует соблюдать т.н. « семантическое равновесие» среди вариантов ответов тестового задания.

2) True-False Technique - «да/нет», «верно/неверно», «истинно/ложно» - когда испытуемому предлагается выбрать правильные и неправильные варианты для ответа. Один балл присуждается за правильный ответ.

3) Matching Technique - установление соответствия. Суть этого приёма в нахождении парного соответствия, когда испытуемый должен правильно сочетать часть стимулирующего задания с тем, что представлено для выбора, т.е. найти парные соответствия. Приём направлен на проверку в основном лексических знаний и используется в промежуточных тестах. Предлагается попарно соединить синонимы, антонимы, слова и определения к ним и т. д.

  1. Recall Technique (Cloze or Filling the Gaps) - метод подстановки, дополнения или заполнения пробелов (языковые единицы вставляются в пропуски в тексте). Этим приёмом можно тестировать все языковые навыки, кроме говорения.

  2. Sorting Out - ранжирование. Испытуемому предоставляется выстроить услышанную/прочитанную информацию в определённом порядке или найти в ней логические связи. Такой вид задания тестирует не только языковые навыки, но и элементы логического анализа, что входит в коммуникативную компетенцию говорящего.

  3. Essay Technique - свободное конструирование ответа, когда обучающийся должен сам составить и написать ответ на заданный вопрос.

1) Correcting - найти ошибки в письменном тексте.

Все эти технологии отличаются друг от друга надёжностью, пригодностью, временем для выполнения, лёгкостью подсчёта результатов, возможностью догадки. Так, например, приёмы множественного выбора и да/нет ответа требуют меньше времени для выполнения, чем методы Cloze and Essay. 8

Они же допускают возможность догадки, что исключается при методе заполнения пробелов и методе свободного формирования ответов. Подсчёт результатов легче провести при первых четырёх методах, когда ответы могут быть записаны на специальном бланке, который проверяется по шаблону или на компьютере. При других приёмах подсчёт результатов затруднён, т.к. учащиеся сами составляют ответы, и записать их на специальном бланке трудно.

Т.к. тестирование является одной из форм контроля, то логично предположить, что оно будет выполнять те же функции и иметь те же виды и формы.

Виды контроля/тестирования.

L Входное (отправное, вводное, начальное, предварительное);

  1. Текущее;

  2. Тематическое;

  3. Рубежное (периодическое, а если на модульной основе, то суммарное);

  4. Итоговое;

6. Заключительное (выпускное), обычно комбинируется с другими формами контроля.

7. Отсроченное (когда проводится педагогический эксперимент).

Формы контроля/тестирования: фронтальное, групповое,

индивидуальное.

Функции контроля/тестирования

Принципы контроля/тестирования

Диагностическая

Научности

Контролирующая

Эффективности

Обучающая

Иерархической организации

Воспитывающая

Объективности

Мотивирующая

Систематичности

Развивающая

Справедливости

В учебном процессе тестовая методика не единственная форма контроля. Её функвдя состоит в дополнении к традиционным формам контроля, в частичной их замене там, где это необходимо, чтобы сэкономить время и интенсифицировать процесс опроса на объективной основе.

Параметры языкового теста

Не зависимо от того, к какому типу относится тест, он характеризуется определёнными внутренними параметрами, которые вычисляются статистическим путём. Главными параметрами теста являются: validity (валидность, пригодность), reliability (надёжность), discrimination index (различительная способность), facility value (трудность).

Валидность - это комплексная характеристика теста, отображающая обоснованность, значимость его результатов, адекватность тестов целям измерения.

Наиболее краткое и ёмкое определение валидности дал Кюретон: «Пригодность теста - это оценка состояния между простым подсчётом

9

баллов за тест и «идеальным», принятым за эталон». Т.е. эта характеристика теста показывает, что измеряет тест и насколько хорошо он это делает.

Понятие пригодности непосредственно связана с проблемой правильного выбора материалов для тестирования, т.к. именно оно показывает, до какой степени материал тестирует именно тот аспект, который он призван тестировать.

Чтобы быть пригодным, тест должен измерять то, что имеет своей целью измерить. Пригодность - не общее свойство теста, а специфическое, характеризующее его пригодность для определённой цели. Если тест на проверку грамматической конструкции измеряет знания или навыки употребляемой грамматической конструкции и больше ничего, то он является пригодным для измерения грамматики. Этот тест не является пригодным для измерения знаний слов или понимания прочитанного, потому что он не проверяет словарь или понимание прочитанного.

Пригодность зависит от лингвистического содержания текста, от его цели и от ситуации ит метода, используемого длят тестированиясодержания.

Существуют следующие виды валидности:

1. Сопоставительная валидностъ. Применяется, чтобы выяснить, насколько хорошо измеряет данный тест то, что хочет тестолог, по сравнению с другим тестом или оценкой. Это осуществляется путём сопоставления результатов данного теста с результатами другого теста или оценками преподавателя, которые были получены до или сразу после проведения данного теста.

  1. Прогностическая валидностъ. Предсказывает на основе результатов теста успешность будущей учебной деятельности.

  2. Конструктная валидностъ. Показывает, насколько объекты тестирования, характер заданий учитывают психолингвистичеекую модель усвоения рассматриваемого языкового материала или данную модель коммуникативной компетенции. Тест, часть теста, техника тестирования обладают конетрукгаой валидностью, если можно доказать, что они измеряют именно ту способность/умение, которую подразумевают определить.

  3. Внешняя валидностъ. Приведём пример: Если тест предназначен для оценки произношения, а во время тестирования от тестируемого не требуется говорить, то такой тест не обладает внепгаей валидностью, даже если он имеет конструктную и сопоставительную валидность.

Reliability (надёжность) - характерное качество тестов, отражающее точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования.

Надёжным является тест, который даёт постоянные результаты оценки при повторных предъявлениях.

Надёжность вычисляется сопоставлением цифровых данных, отражающих результаты ряда тестов, выполненных одним и тем же учащимся. Т.е., если группа сдаёт один и тот же тест два раза с небольшим промежутком времени, в течение которого занятия языком не ведутся, результаты должны очень мало отличаться друг от друга. В противном случае - тест не надёжен.

10

По словам И.А. Раппопорт, тест может быть надёжным не будучи валидным, однако он не может быть валидным, не будучи надёжным. Иными словами, надёжность теста - необходимое условие его валидности. И это понятно, поскольку тест, результаты которого постоянно меняются, вообще ничего не тестирует.

Показателем надёжности служит величина коэффициента надёжности, который показывает, насколько устойчивы показатели теста при повторном применении того же теста или его параллельного варианта.

Существуют следующие методы оценивания надёжности:

  1. Параллельное тестирование в двух группах.

  2. Ретестовая надёжность (повторное тестирование).

3. Расщепление теста. Тест расщепляют на две части по чётным и нечётным номерам заданий: чем выше корреляция между двумя частями, тем выше надёжность.

Discrimination index - различительная способность - показывает, насколько эффективно тестовое задание различает учащихся, овладевших и не овладевших учебным материалом.

Facility value - трудность теста равна доле испытуемых, правильно ответивших на это задание. FV - показывает, насколько прост или сложен каждый вопрос теста, т.е. насколько адекватно задание теста в данной языковой аудитории. Идеальный коэффициент трудности равен 50%, т.е. половина испытуемых в данной языковой группе даёт правильный ответ.

Статистический анализ тестов

Для определения надёжности теста следует пользоваться способом вычисления коэффициента половинной надёжности (КПН). Для вычисления половинной надёжности теста следует определить коэффициент корреляции между двумя половинами теста - чётной и нечётной.

Для этого следует: а) разделить тест пополам - нечётные в одну группу, чётные - в другую; занести результаты в таблицы; б) сосчитать баллы в обеих группах; в) присвоить каждому экзаменуемому два ранга: один - в нечётном тесте, другой - в четном; г) коэффициент корреляции между двумя половинами теста - четной и нечётной - вычисляется по формуле:

где р - коэффициент корреляции; d - разница между рангами;

N - количество экзаменуемых.

Данный коэффициент говорит о том, какова будет надёжность теста в том случае, если он будет в два раза короче. Для того чтобы определить надёжность всего теста, нужно использовать корреляционную формулу Спирмена-Брауна:

КПН = 2 rhh / (1 + rhh )

rhh - корреляция между двумя половинами теста. Но одной математической оценки результатов тестирования явно недостаточно. При анализе проблемы объективной оценки результатов

11

испытуемых необходимо рассмотреть две стороны проблемы измерений знаний, умений и навыков: 1) математическую обработку результатов; 2) лингвистический анализ типичных ошибок испытуемых, которые в совокупности друг с другом способствовали бы созданию базы для возникновения целостной системы проверки и оценки знаний, умений и навыков испытуемых.

Рекомендации по составлению теста

Чтобы тест достигнутых результатов оказался эффективным, т.е. чтобы по данным его выполнения можно было судить об успеваемости учащихся, преподавателю необходимо обратить внимание на следующие моменты;

1. Составитель теста обязан иметь чёткое представление о том, какой материал необходимо тестировать. От удачно или неудачно решённой проблемы «что тестировать» зависит такое необходимое качество теста, как relevance (уместность), которая подразумевает соблюдение связи между тем, что тест предлагает студенту выполнить и тем, что студенту преподавалось во время обучения. Ещё Р.Ладо давал совет преподавателям: «То, что студент изучал, составляет содержание того, что мы должны тестировать».

2. Составителю теста необходимо учитывать то, что теория тестирования языка исходит из положения: оценка владения отдельными языковыми аспектами слуэюит в определённой степени оценкой владения навыками. Необходимо тестировать отдельные элементы языка раздельно в зависимости то целей и условий тестирования.

  1. Тест следует составлять таким образом, чтобы за короткое время можно было протестировать то, что изучалось в течение недели, месяца, года или даже за несколько лет.

  2. Тест должен включать в основном и по возможности такие материалы, которые бы отражали расхождения между родным языком и иностранным. Р.Ладо считает, что тестировать необходимо только языковые трудности, т.к. «знание трудностей - есть знание языка».

  3. При составлении теста нужно учитывать основные статистические параметры, которые сводятся к следующим: коэффициент пригодности -validity, коэффициент надёжности - reliability, коэффициент сложности вопроса - facility value и дискриминантный коэффициент - discrimination index.

  4. Составитель теста долоюен помнить о тех требованиях программы и методики, в соответствии с которыми построен учебник по которому занимаются студенты.

  5. Экономичность теста. Это - требование практичности теста. Если тест измеряет то, что мы хотим измерить в возможно более короткое время, то он является экономичным и практичным.

  6. Возможность проведения теста. Надо исходить из наличия достаточного количества экземпляров тестов, магнитофонов, ответных листов и т.д.

  7. Лёгкость подсчёта результатов.

12

Лекция №2

Тест как методический приём контроля сформированности знаний, навыков, умений учащихся и как средство обучения иностранному языку.

Тестирование - это современный, прогрессивный метод оценки языковых знаний, который должен быть активно использован в практике преподавания и организации учебного процесса.

Тестовая методика представляется эффективным средством интенсификации и рационализации как процесса обучения в целом, так и иностранному языку в частности, если тест составлен на основе методических рекомендаций. Именно в этом случае он служит основой для получения системы объективных показателей знаний, умений и навыков обучающихся необходимых для решения таких важнейших задач осуществления управления процессом обучения и контроля, как:

а) установление уровня сформированности способностей, знаний, умений и навыков;

б) выявление языковых трудностей;

в) осуществление начальной, текущей и конечной диагностики уровней усвоения и развития, т.е. учета успеваемости учащихся;

г) определение пути дальнейшей работы с обучающимися и т.д. Проблема учёта успеваемости школьников и студентов в процессе обучения,

а также контроля и оценки их знаний, умений и навыков может быть решена использованием тестовой методики контроля, что объясняется следующими особенностями тестов:

а) относительно более высокой степенью объективности при фиксации результатов, т.е. независимостью оценки от мнения лиц, проводивших тест;

б) возможностью количественно охарактеризовать объём усвоенных знаний;

в) удобством для работы с современными техническими средствами оперативной обратной связи, обеспечивающими как отсроченную, так и оперативную связь - от перфокарт до обучающих комплексов на базе компьютерных классов;

г) наличием особых критериев эффективности - коэффициентов сложности и надёжности, получаемых статистическими методами;

д) возможностью совершенствования тестов на основе результатов экспериментальной проверки;

е) лёгкостью проведения и подсчёта результатов тестирования;

ж) экономией во времени, затрачиваемого на выполнение теста и его проверку;

з) удобством для массовой проверки.

Базой тестовой методики контроля в настоящее время является математико-статистический аппарат, без применения которого тесты не могут быть действенным и надёжным средством измерения уровня знаний, умений и навыков. Использование математико-статастических методов при тестировании делает возможным:

а) определение баллов и рангов;

13

б) нахождение средних величин, стандартных отклонений;

в) определение степени надёжности полученных данных;

г) определение и повышение (в случае необходимости) действенности и надежности самих тестов.

С помощью технологических приёмов тестовой методики, речь о которых шла в лекции №1, можно проверить уровень всех составляющих РД.

Сегодня наша цель - определить, что есть тестовое задание, какова их форма и структура, требования к тестовым заданиям, принципы формирования заданий и ответов, соотношение форм заданий в тесте, оптимальное время тестирования и т.д.

Педагогический тест - это система параллельных (фасетных) заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовки испытуемых.

Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий.

Тестовое задание - это варьирующая по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в истинное высказывание; подстановка неправильного ответа приводит к образованию ложного высказывания. Последнее свидетельствует о незнании учащимся данного учебного материала.

Тестовое задание - это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям:

1. известной трудности;

2. дифференцирующей способности (достаточной вариации тестовых баллов);

3. положительной корреляции баллов задания с баллами по всему тесту, а также другим математико-статистическим требованиям.

Тестовое задание включает в себя:

а) констатирующую часть, описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо действий;

б) процедурную часть, содержащую предложения обучаемому выполнить какие-либо конкретные действия - выбрать правильный элемент из предложенного набора, установить соответствия или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть это такой вид информации, после получения которой от тестируемого требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

в) элементы самого выбора (соответствия, перестановки). Формы тестовых заданий (по В.С.Аванесову):

  • с выбором ответа;

  • открытой формы;

14

  • на установление соответствия;

  • на установление правильной последовательности.

Формы тестовых заданий (по Голландскому институту CITO):

  • задания открытого типа;

  • вопросы множественного выбора;

  • устный экзамен;

  • задания на технику исполнения.

Принципы конструирования тестовых заданий:

  1. Общие требования (для всех форм тестовых заданий)

  2. Специальные требования (к различным формам тестовых заданий). Общие требования для всех четырех форм тестовых заданий:

1. Цель (для слабого/сильного студента, диагностики, самостоятельной работы студентов).

  1. Стандартная инструкция.

  2. Конкретность формулировки задания (не должно быть разночтений).

  3. Лапидарность (точность и краткость формулировки).

  4. Формулировка тестовых заданий в утвердительной форме.

  5. Не допускается двойное отрицание.

  6. Не допускается определение понятия через перечисление элементов, не входящих в него.

  7. Желательно допускать не более одного сложноподчинённого предложения в формулировке.

  8. Соблюдение требования локальной независимости, т.е. для испытуемых одного уровня знаний вероятность правильного ответа на одно задание не зависит от вероятности правильного ответа на другое задание.

  1. Для каждого тестового задания разрабатывается правило начисления баллов.

  2. Процедурная часть должна быть максимально краткой (не превышать 5-10 слов).

  1. Оптимальное число вариантов ответов - 4-8.

  1. Отбор элементов ответа по определённому принципу (принцип однородности).

  2. С целью нивелирования заимствования ответа у соседа надо формулировать тестовые задания в двух-трёх синонимичных по смыслу вариантах, которые выбираются случайным образом.

Кроме того, существуют специальные требования к тестовым заданиям различной формы:

I. Тестовые задания с выбором правильного ответа (закрытая форма):

- равная правдоподобность и привлекательность элементов тестового задания;

  • все альтернативы, желательно, должны быть равны по длине (стремиться к минимуму);

  • в элементах выбора должно быть равное количество объектов, желательно один;

- исключаются вербальные ассоциации, способствующие выбору правильного ответа;

15

- не должно быть противоречий между основной частью и ответами (элементами выбора);

  • исключить повторение слова в ответах;

  • все элементы должны быть верными утверждениями, только один из них является верным ответом на данное задание, а остальные - верными на другие задания в других тестах;

  • простая синтаксическая конструкция с одним сложноподчинённым предложением (5-7 слов в формулировке тестового задания);

  • исключаются тестовые задания, содержащие оценочные суждения и мнения разработчика;

  • при формулировке дистракторов не рекомендуется использовать такие слова, как «все», «ни одного», «никогда», «не один из перечисленных», «всё перечисленное», «всегда» и т.п., способствующие угадыванию (дистракторы -неверные, отвлекающие ответы).

2. Открытая форма тестовых заданий:

  • дополняющее слово или словосочетание ставится в конце и должно быть единственным;

  • дополнять надо наиболее важное;

  • желательно, чтобы дополнение было в именительном падеже;

  • все прочерки для дополнения должны быть одинаковой длины;

  • следует дать образец выполнения тестового задания.

3* Тестовое задание на установление соответствия:

- содержание задания желательно выразить в виде двух множеств с соответствующими названиями;

  • элементы задающего столбца располагаются слева, а элементы выбора -справа;

  • правый столбец должен содержать на 1-3 элемента больше, чем левый, чтобы при последней подстановке у учащихся был выбор, а не автоматически подставляемый остаток;

  • формирование элементов по принципу «основных» и «запасных» игроков;

  • все элементы выбора являются истинными высказываниями;

  • в инструкции к заданию необходимо сообщить, сколько раз используется каждый элемент правого столбца (один или более).

4. Тестовое задание на установление последовательности:

- элементы формируются по алфавиту. Если алфавитный список является верным ответом, то элементы располагаются случайным образом.

Характеристики тестов.

В настоящее время тестологии выдвигают до 300 оснований для типологии тестов.

По характеру: вербальные и невербальные.

По классификации: ориентированные на норму (лёгкость - трудность заданий) и ориентированные на критерий (слабый - сильный студент).

16

По степени однородности задач: гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

По степени трудности: одноуровневые (с весовым коэффициентом - 1) и многоуровневые (с весовым коэффициентом от 0 до N). Нулевой коэффициент даётся т.н. «разминочным» заданиям, которые не учитываются при суммировании в контроле и ставятся в начале теста единым блоком. Они используются с целью адаптации обучаемых, снятия напряжения, чтобы придать им уверенность в своих силах.

Если в тесте нет достаточного числа лёгких и трудных заданий, то возникает вопрос о его сбалансированности по трудности, суть которого можно свести к тому, что обычно основой теста служат задания средней трудности, присутствует незначительное число лёгких и трудных заданий; в тесте должно быть 1-2 задания, которые не может сделать никто, 1-2 задания, которые должны выполнить все.

По целям использования:

  • тесты, проводимые в начале обучения;

  • тесты на выявление прогресса в обучении;

  • тесты на выявление трудностей в процессе обучения;

  • тесты достижений в конце обучения.

Оценка тестовых заданий может быть полгапомическая и дихотомическая (за задание предусматривается 1 балл). Для подсчёта общего числа набранных баллов при дихотомичности и одноуровневости баллы просто суммируются, а при политомичности и многоуровневости баллы за каждое задание умножаются на свой весовой коэффициент и затем суммируются.

Длина теста - это число тестовых заданий. В классической теории тестов применяется следующее утверждение: при прочих равных условиях надёжность теста зависит от числа заданий (чем длиннее тест, тем он надёжнее). Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание испытуемых. Оптимальная длина теста, как показывает практика, - 30-60 заданий. Соотношение длины теста к банку заданий = 1:10.

Оптимальное время тестирования: до наступления утомления. Оно колеблется от 20 до 100 мин. в одной возрастной группе и от 10 сек. до 5 мин. на выполнение одного тестового задания. Среднее ориентировочное время: мин. -12-15 минут, среднее - 40 минут, максимальное - 60-70 минут.

Соотношение форм заданий в тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усреднённый расклад может быть таким: в тесте длиной 60 заданий рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 тестовых заданий на соотношение и последовательность, остальные 30 заданий целесообразно давать в закрытой форме (15 - с выбором одного и 15 - с выбором нескольких из множества).

Методические рекомендации по составлению тестов.

1. Определите цели и функции составляемого теста, т.е. предназначен ли он для текущего, периодического или итогового контроля.

17

2. Проанализируйте объекты тестирования и определите навыки и умения, которые подлежат контролю.

3. Проанализируйте учебный материал и определите характер теста (языковой, речевой, комбинированный и др.).

  1. Отберите языковой и речевой материал, который будет использован в тестовых заданиях.

  2. Проанализируйте ошибки учащихся в употреблении данного материала и отберите наиболее типичные случаи для использования в качестве альтернатив.

  3. Определите вид и объём теста. Имейте в виду, что объём теста зависит от класса, этапа и самого материала. Итоговый тест в средней школе может выполняться 10-30 минут. Предусматривается равное количество заданий (например, 20, 50,100 и т.д.) для удобства подсчёта баллов.

7. Составьте тестовые задания. Помните, что каждое тестовое задание содержит информационную часть, представляющую собой предложение, микротекст и т.д., которую учащиеся должны проработать, и операционную часть, включающую вопрос или задание.

При этом необходимо учитывать следующие основные требования, предъявляемые к тестовым заданиям:

а) соответствие формы и характера заданий теста целям и объектам тестирования, а также пройденному языковому материалу для обеспечения максимально возможной валидности теста;

б) доступность по форме и содержанию, а также посильность заданий для данного контингента тестируемых;

в) соблюдение принципа одной трудности;

г) учёт оптимальной средней длины предложений (7 +/- 2 слова без пропуска) в основе тестового задания.

  1. Составьте альтернативы. При их отборе необходимо, чтобы все отвлекающие и правильный ответ содержали одну и ту же часть речи. Воспользуйтесь следующей типологией альтернатив по порядку их эффективности: 1) контекстуальная отвлекающая, 2) антоним правильного ответа, 3) неправильный синоним (в данном контексте), 4) аффиксальная отвлекающая (к правильному ответу прибавлен или отнят от него префикс или суффикс), 5) фонетико-графическая отвлекающая, интерферирующая с родным языком, 6) графическая отвлекающая (одна-две буквы прибавлены к правильному ответу или отняты от него), 7) синтактико-семантическая отвлекающая, 8) случайное слово.

  1. Проследите за тем, чтобы тестовые задания были расположены таким образом, чтобы первые 20% заданий являлись самыми лёгкими, последующие 70% - средней трудности и заключительные 10% - усложнёнными.

10. Ещё раз просмотрите составленный вами тест и при необходимости внесите коррективы.

18