Методология и методика иссл / Правила создания педагогичсеких тестов

Основы тестирования

Современное понимание тестов и тестирования можно представить в виде трех уровней.

Первый – «бытовой» уровень. Здесь тест понимается как набор вопросов с вариантами ответов, который стоит в одном ряду с кроссвордами, головоломками и служит в большей степени для развлечения и удовлетворения познавательных интересов. Педагоги с таким пониманием тестирования считают тестирование очень ненадежным, ограниченным, а создание тестов простейшим делом.

Второй уровень понимания тестирования можно назвать «словарным». В этом понимании выделяются основные составляющие понятия тестирования. При этом не учитываются особенности процедуры создания, использования и анализа, специфичные для той или иной сферы применения. Для этого понимания характерны разночтения и противоречия в понятиях и определениях. Современное состояние развития тестологии находится именно на этом уровне: многие понятия до конца не определены, многие авторы трактуют по-разному одни и те же понятия и, в свою очередь, одно явление может иметь несколько названий. Это вполне естественный этап развития молодого научно-практического феномена, когда понятийный аппарат находится в стадии становления, а часть терминов и понятий иноязычны и в разных переводах приобретают отличающиеся значения.

Третий уровень понимания может быть назван научным. Он наиболее точен, учитывает особенности тестов и отражает требования к тестам, которые появляются в процессе развития и научного обоснования тестирования. К этому уровню, вероятно, и следует стремиться.

B.C. Аванесов отмечает: «Понятие "педагогический тест" нужно рассматривать в двух существенных смыслах:

– как метод педагогического измерения;

– как результат применения теста как метода измерения, состоящего из ограниченного множества заданий».

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

Преподаватель может, используя правила тестологии, составить тест для текущей проверки результатов учебы. Однако тестирование выполняет свою основную функцию только при использовании надежных и валидных стандартизированных тестов. Эффективный диагностический тест – это стандартизированная методика, тщательно научно-методически разработанная и проверенная.

Тестирование сегодня рассматривается как современная парадигма объективного оценивания учебных достижений.

В своей работе мы исходили из того, что тест – это инструмент, состоящий из статистически выверенной системы заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для оценки качеств и свойств личности, изменение которых возможно в результате систематического обучения.

А тестовое задание – одна из составляющих структуры дидактического теста, включающий в себя краткую инструкцию для обследуемого, тестовую задачу, эталон ответа (или описание четкого алгоритма выполняемых обследуемым действий). В наиболее распространенных тестах закрытого типа в структуру тестового задания входят варианты ответа (как правильные, эталонные, так и отвлекающие, «дистракторы»).

Стандартизация измерительных инструментов для решения задач объективного оценивания учебных достижений проходит при проведении теста на большой репрезентативной выборке лиц определенного типа, для работы с которыми он предназначен. Эта группа лиц служит для установления нормы, то есть обычного среднего уровня выполнения теста.

В нашей работе мы смогли только составить тестовые задания, а его апробацию оставили на следующий учебный год.

Надежность теста по существу означает «согласованность» оценок у обследуемых лиц при их повторном тестировании тем же самым тестом или его эквивалентной формой. Исследование валидности должно давать ответ на вопрос, действительно ли данный тест измеряет то, для измерения чего он предназначен. Для этого требуются независимые внешние критерии того, что тест должен измерять.

После практической апробации пакета тестовых заданий можно будет судить о его надёжности и валидности.

Выделяют тесты:

• Входного, текущего и итогового контроля.

• Нормативные (позволяют по результатам подсчета набранных баллов (выполненных заданий) сравнивать различные группы друг с другом и проводить аналогию внутри каждой группы) и критериально-ориентированные тесты – определяют, насколько каждый испытуемый владеет знаниями и навыками, необходимыми для выполнения каких-либо учебных или профессиональных задач.

Мы планируем использовать разработанные тесты для итогового контроля.

При подготовке тестовых заданий мы учитывали требования к составлению тестовых заданий:

• Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового задания

• Формулировка тестового задания должна быть выражена в повествовательной форме (вопрос исключается)

• В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.)

• В заданиях закрытого типа не должно быть заведомо ложных ответов, ответов, содержащих подсказку, а также явно выделяющихся, обособленных ответов

• Недопустимы ответы типа: все выше перечисленное верно, все указанные ответы неверны и т.д

• Лучше «длинный» вопрос и «короткие» ответы, чем наоборот

• Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний

• В тексте технического задания не должно быть непреднамеренных подсказок и сленга

• В тексте технического задания не должно отражаться субъективного мнения или понимания

• Нельзя использовать сокращения и аббревиатуры, за исключением стандартизованных

• Смысл тестовой ситуации должен быть достаточно точным и однозначным, задание сформулировано ясным, четким языком

• Основные термины технического задания должны быть явно и ясно определены, определяемый признак должен быть существенным, необходимым и достаточным

• Все утверждения, указанные в техническом задании, должны быть истинными (а не ложными)

В нашей работе мы применяли четыре типа тестовых заданий: открытый, закрытый, на соответствие и на упорядочивание.

Требования к тестовым заданиями открытого типа:

• Каждое задание должно быть нацелено только на одно дополнение, место для которого обозначается точками

• Пропускаем ключевой элемент, знание которого является наиболее существенным

• Пропуски лучше ставить как можно ближе к концу задания

Требования к тестовым заданиям закрытого типа с выбором ответов:

• Все ответы к одному заданию должны быть приблизительно одной длины

• Повторяющиеся слова в ответах вводятся в основной текст задания

• Ни один из дистракторов не должен быть частично правильным заключением, превращающимся при определенных дополнительных условиях в правильный ответ.

• Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания

Требование к заданиям на упорядочение:

• Должно состоять из однородных элементов некоторой группы и четкой формулировки упорядочения этих элементов

Варианты заданий на восстановление соответствия:

• необходимо найти или приравнять части, элементы, понятия соответствующим конструкциям, фигурам, утверждениям;

• необходимо восстановить соответствие между элементами двух списков;

• на месте для ответа отметить цифры ряда 1, соответствующие ряду 2 и т.п.

Варианты заданий на установление соответствия:

• Соответствие устанавливается по критерию 1:1 или 1:М

• В первой группе должно быть не менее 2-х элементов

• Количество элементов второй группы должно превышать количество в первой, но не более, чем в 2 раза и должно быть не более 8

• Вторая группа должна содержать дистракторы

При составлении нашего теста мы пользовались следующими правилами для упорядочивания заданий в тесте:

• Составьте базу данных, характеризующих задания: время на выполнение, уровень сложности, другие экспертные оценки.

• Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

• Ученик быстрее приспособится к тесту, если задания каждого типа будут располагаться вместе.

• Задания лучше располагать в порядке возрастания трудности.

• Для исключения монотонности чередуйте задания с разным типом представления данных.

• Рассчитывайте время одного теста так, чтобы он занимал не более 45-60 мин. на выполнение.

Подготовка тестовых заданий возможна только при чётком выделении дидактических единиц курса и определении трудности заданий. А это возможно только при чётком выделении таких мыслительных операций как – сравнение, обобщение (абстракции), классификации, творческого применения.

Это хорошо видно в предложенной классификации Г.А.Епанчинцевой по определению интеллектуального индекса трудности задания.

• тестовые задания, выполняемые в процессе мыслительных операций сравнения можно обозначить через низкий интеллектуальный индекс;

• задания, представленные через мыслительные операции анализа, синтеза, обобщения (абстракции) оцениваются через средний интеллектуальный индекс;

• задания, предполагающие их решение посредством мыслительной операции классификации, оцениваются через высокий интеллектуальный индекс;

• творческие задания также подлежат оценке через высший интеллектуальный индекс.

Существуют следующие формы мышления (суждения): 1 - знание знакомства (опознание), 2 - знание копии (воспроизведение), 3 - знания умения (применения). Положив их в основу можно выделить три уровня дидактических задач. В наших тестах выше второго уровня мы не поднимались.

Основные категории учебных целей (по Блуму).

1. ЗНАНИЕ. Эта категория означает запоминание и воспроизведение изученного материала. Речь может идти о различных видах содержания – от конкретных фактов до целостных теорий. Общая черта этой категории – припоминание соответствующих сведений.

СТУДЕНТ:

– знает употребляемые термины;

– конкретные факты;

– методы и процедуры;

– основные понятия;

– правила и принципы и др.

2. ПОНИМАНИЕ. Показателями способности понимать значение изучаемого материала могут служить преобразование (трансляция) материала из одной формы выражения в другую, перевод его с одного «языка» на другой (например, из словесной формы в математическую). В качестве показателя понимания может также выступать интерпретация студентом (объяснение, краткое изложение) или же предположение о дальнейшем ходе явлений, событий (предсказание последствий, результатов). Такие учебные результаты превосходят простое запоминание.

СТУДЕНТ:

– понимает факты, правила и приемы;

– интерпретирует словесный материал;

– интерпретирует схемы, графики, диаграммы;

– преобразует словесный материал в математическое выражение;

– предположительно описывает будущие последствия, вытекающие из имеющихся данных и др.

3. ПРИМЕНЕНИЕ. Эта категория обозначает умение использовать изученный материал в конкретных условиях и новых ситуациях. Сюда входит применение правил, методов, понятий, законов, принципов, теорий. Соответствующие результаты обучения требуют более высокого уровня владения материалом, чем понимание.

СТУДЕНТ:

– использует понятия и принципы в новых ситуациях;

– применяет законы, теории в конкретных практических ситуациях;

– демонстрирует правильное применение метода или процедуры и др.

4. АНАЛИЗ. Эта категория обозначает умение разбирать материал на составляющие так, чтобы ясно выступала его структура. Сюда относится вычленение частей целого, выявление взаимосвязей между ними, осознание принципов организации целого. Учебные результаты характеризуются при этом более высоким интеллектуальным уровнем, чем понимание и применение, поскольку требуют осознания как содержания учебного материала, так и его внутреннего строения.

СТУДЕНТ:

– выделяет скрытые (неявные) предположения;

– видит ошибки и упущения в логике рассуждений;

– проводит различия между фактами и следствиями;

– оценивает значимость данных и др.

5. СИНТЕЗ. Эта категория обозначает умение комбинировать элементы, чтобы получить целое, обладающее новизной (или заданными свойствами). Таким новым продуктом может быть сообщение (выступление, доклад), план действий или совокупность обобщенных связей (схемы для упорядочивания имеющихся сведений). Соответствующие учебные результаты предполагают деятельность творческого характера с акцентом на создание новых схем и структур.

СТУДЕНТ:

– пишет небольшие творческие сочинения;

– предлагает план проведения эксперимента;

– использует знания из различных областей, чтобы составить план решения той или иной проблемы и др.

6. ОЦЕНКА. Эта категория обозначает умение оценивать значение того или иного материала (утверждений, художественных произведений, исследовательских данных). Суждения студента должны основываться на четких критериях. Критерии могут быть как внутренними (структурными, логическими), так и внешними (соответствие намеченной цели). Критерии могут определяться самим студентом или же задаваться ему извне (преподавателем). Данная категория предполагает достижение учебных результатов по всем предшествующим категориям плюс оценочные суждения на ясно очерченных категориях.

СТУДЕНТ:

– оценивает логику построения материала в виде письменного текста;

– оценивает соответствие выводов имеющимся данным;

– оценивает значимость того или иного продукта деятельности, исходя из внутренних критериев;

– оценивает значимость того или иного продукта деятельности, исходя из внешних критериев и др.

Составив свой пакет тестовых заданий, мы определили его интеллектуальный индекс (ИИ) в следующих долях:

• 25 % заданий решаются посредством сравнения и выявления соответствия объектов или операций (низкий ИИ);

• 25 % заданий решаются посредством мыслительной операции обобщения (средний ИИ);

• 25 % заданий на систематизацию и классификацию (высокий ИИ);

• 25 % заданий творческого характера (высший ИИ);

Перевод оценочной шкалы при нормальном распределении мы осуществляли по следующей схеме:

• отметка «5» («отлично») выставляется испытуемым за верные ответы, которые составляют 91 % от общего количества вопросов;

• отметка «4» («хорошо») соответствует работе, которая содержит от 71 % до 90 % правильных ответов;

• отметка «3» («удовлетворительно») соответственно от 70 % до 50 % правильных ответов;

• отметка «2» (неудовлетворительно») ставится за работу, содержащую менее 50 % правильных ответов.