1.5.2. Разработка тестового задания

Разработка тестового задания это сложная трудоемкая работа, требующая определенных знаний и навыков. Она требует от разработчика творческого поиска, фантазии и интуиции.

Алгоритм написания тестового задания, тем не менее, включает одинаковые действия. Для написания тестового задания необходимо:

1. определить инструкцию;

2. сформулировать вопрос;

3. сформулировать ответ;

4. найти переменную часть;

5. определить возможность применения фасета;

6. учитывать требование краткости;

7. прочитать вслух на предмет понятности с первого раза;

8. подобрать неправильный ответ;

9. определить систему оценки.

Определение инструкции зависит от выбранной разработчиком формы тестового задания, которые определяют и содержание инструкции, т.Е. То, что необходимо выполнить в данном тестовом задании.

Формулирование вопроса требует хорошего знания объекта, т.к. чаще всего приходится преобразовывать многословные, сложные и неточные вопросы в лаконичные, логичные высказывания имеющие место для применения в тестовом задании. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные для студентов символы, иностранные слова, затрудняющие восприятие смысла.

Формулирование ответа чаще всего предполагает его однозначность и бесспорность, чтобы превратить предложенное высказывание в правильное.

Следующим шагом является определение переменной части, т.е. определение включения в предложенный вопрос неправильных ответов. Количество неправильных ответов зависит от специфики выбранной формы тестового задания.

При разработке задания можно использовать принцип фасетности. Он позволяет создавать в одном задании сразу несколько вариантов, что помогает полностью исключить такую распространенную форму искажения результатов как списывание и дает возможность применять тестовые задания при контроле больших групп студентов и объективно сопоставлять результаты испытуемых. При этом должно выдерживать одно важное условие – все элементы из фасета должны принадлежать одной и той же укрупненной дидактической единице знаний.

Разработчику необходимо обеспечить краткость тестового задания, т.е. отредактировать и упростить тест. Краткость может быть обеспечена тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания. Должны быть исключены повторы, малопонятные, редко употребляемые, а также неизвестные для студентов символы, иностранные слова, затрудняющие восприятие смысла.

Очень важно, чтобы при чтении задание было понято с первого раза. Если возникают сложности при восприятии его на слух, нужно продолжить работу над редактированием формулировок инструкции и вопросов.

Неправильные ответы должны создавать впечатление достоверности, быть сформулированными в идентичной форме или в форме противоречия с правильными ответами.

Система оценки тестовых заданий очень важна для правильного оценивания знаний студентов, причем она различна и зависит от применяемой формы тестового задания.

1.5.3. Формы тестовых заданий [1]

Разработка всякого теста начинается с выбора подходящей формы и содержания задания.

Каждая форма проверяет опреде­ленные виды знаний и потому выбор зависит от учебного предмета, от цели применения тестов и способов обработки данных. Выбор формы заданий – процесс действительно творческий. Овладение формой является необходимым условием для создания полноценных тестов. Форма придает заданиям структурную целостность и определенность, внешнюю организованность.

Разнообразие форм тестовых заданий открывает возможности применения их не только для контроля знаний, но и для обучения.

ЗАДАНИЯ С ВЫБОРОМ ОДНОГО ПРАВИЛЬНОГО ОТВЕТА

Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. Это первая, по счету, форма. Логической основой этой формы является закон исключенного третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

Задания с выбором одного правильного ответа в тестовой практике распространены достаточно широко, что объясняется удобством этой формы, в первую очередь, для автоматизации кон­троля знаний

К недостаткам заданий с выбором относят возможность запоминания неправильных ответов. Однако это имеет место лишь в тех случаях, когда есть знания, или хотя бы туманные представления, а также, если неправильный ответ легко отличить от правильного. В хорошо сделанных заданиях неправильные ответы часто кажутся правдоподобнее, чем правильные. И это является затрудняющим элементом, предъявляющим повышенные требования к подготовленности испытуемых.

Нередко встречаются задания, где испытуемым предлагается выбрать номер (или букву) неправильного ответа. За­дания с такой инструкцией вряд ли можно рекомендовать к приме­нению в массовом порядке, потому что учебный процесс сосредоточен преимущественно в мире правильных знаний. Мир неправильных знаний и мир незнания гораздо шире; он не является обычно предметом изучения.

К основным элементам заданий с выбором одного правильного ответа относятся: инструкции для испытуемых, содержание заданий, форма, содержание и число ответов, а также выставляемые оценки.

Задания с выбором одного правильного ответа имеют стандартную инструкцию для испытуемых: «Отметьте номер правильного ответа» – если тестовый контроль проводится с помощью бланков, или: «Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа» – если контроль проводится с помощью ЭВМ.

Естественно, при данной стандартной инструкции для испытуемых; все остальные ответы в этом варианте заданий с выбором одного правильного ответа являются неправильными – вообще или неправильными частично.

Если задания представлены в одной форме, инструкция пишется один раз. В других случаях инструкция меняется при каждом изменении формы.

Содержание задания формулируется как можно точнее, яснее и короче. Хорошо, когда задание содержит не более одного придаточного предложения и в нем спрашивается о чем-нибудь одном.

Несколько труднее определиться с минимальным числом ответов. Самое меньшее количество ответов – это два, когда один верный, а другой – неверный. Вообще, количество ответов – не самый главный критерий эффективности задания. Гораздо важнее их качество. Поэтому существует общее правило: если какой то не­правильный ответ испытуемые не выбирают, т.е. большинство видит, что это заведомо неправильный ответ, то его следует удалить из задания.

В учебном процессе находят применение задания с самым различным числом ответов, в итоговом контроле – обычно не менее четырех. Исключения представляют содержание таких заданий, к которым имеется всего три осмысленных ответа.

Между тем, в содержании всех учебных дисциплин имеется много таких элементов знаний, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать, ни при каких обстоятельствах. Для проверки именно таких знаний и предлагается использовать задания в тестовой форме с двумя ответами, но на новой формально-логической основе: вместо вопроса используется предложение в утвердитель­ной форме, а вместо однообразия в ответной части включать содержательные ответы. Особенно хорошо такие задания использовать на начальном этапе усвоения знаний, непосредственно в учебном процессе, при самостоятельной работе

Задания с выбором одного правильного ответа удобно разделить на следующие виды: задания с двумя, тремя, четырьмя, пятью и с большим числом ответов Наибольшее число принципов подбора ответов сформулировано именно для этих видов.

Оценка. В общем случае применения тестов за правильный ответ в каждом задании принято давать один балл, за неправильный ответ – ноль. Суммирование всех баллов, полученных испытуемым, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого». Есть и другие схемы оценивания.

ЗАДАНИЯ С ВЫБОРОМ ОДНОГО, НАИБОЛЕЕ ПРАВИЛЬНОГО

ОТВЕТА

Хотя задания с выбором одного правильного ответа не одобряют многие педагоги, в этом деле активнее других проявляют себя преподаватели математики. Первая причина отрицательного отношения вполне обоснованна: если задание сформулировано неудачно, то испытуемые вместо решения нередко просто подбирают подходящий ответ. Очевидно, такое «тестирование» противоречит цели математического образования, впрочем, как и любого другого.

Вторая причина – это необходимость как-то оценить ту часть работы, которая выполнена правильно, несмотря на общий неправильный ответ. Что позволит точнее оценить тех, кто выполняет правильно хотя бы некоторую часть требуемых преобразований; в отличие от тех, кто не делает ничего. Метод последовательной оценки каждого правильно выполненного этапа решений на Западе называется grading.

Третья причина – чисто психологическая. В числе дистракторов ко многим заданиям в тестовой форме часто встречаются ответы частично правильные. Например, при использовании принципа кумуляции ответов. А потому при апеллировании возникает вопрос справедливой оценки. Нельзя же оценивать одинаково, нулём, ответ неправильный и частично правильный; равно как ответы менее правильные и более правильные.

Отсюда возникает необходимость поиска градуированных вариантов оценивания. Для преодоления отмеченных затруднений можно попробовать применение другого варианта заданий, на этот раз с выбором одного наиболее правильного ответа.

Соответственно пишется и инструкция: «Отметьте номер наиболее правильного ответа»! Естественно предполагается, что все остальные ответы к заданиям правильные, но в различной мере. Хотя такие задания создавать нелегко, можно усмотреть некоторые основания для введения их в практику.

Оценка в этом задании такая: правильный ответ – два балла, частично правильный – один балл и в случае отсутствия какого-либо ответа – ноль баллов.

ЗАДАНИЯ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

Это очень интересные и перспективные задания. По содержанию они труднее, чем задания с выбором одного ответа.

В этих заданиях используется фактически только один принцип композиции – это принцип однородности ответов. Такие задания связаны с идеей проверки так называемых классификационных знаний, проверки знаний принадлежности отдельных видов или объектов к тому или иному роду, классу, виду, группе.

Рассматриваемые задания позволяют выявлять отношение респондентов к различным явлениям в процессе проверки знаний.

К основным элементам заданий с выбором нескольких правильных ответов относятся:

Инструкция для испытуемых. Она пишется так: «Отметьте номера всех правильных ответов».

Не рекомендуется отрицательная формулировка заданий, когда спрашивают о том, что не используется, не относится, не делается и т.д.

Ответы к заданиям обязательно относятся к одному роду или виду терминов. Общее число ответов желательно иметь в диапазоне от пяти до четырнадцати. При этом возникает вопрос оптимальной доли числа правильных ответов к общему числу ответов в задании. Можно предположить, что при прочих равных условиях вероятность случайного ошибочного выбора будет возрастать по мере увеличения, в одном задании, числа неправильных ответов. Но есть и другая сторона. По мере роста числа правильных ответов будет расти, вероятно, и число, скажем так, их не выбора, что тоже является ошибкой. Испытуемые должны быть готовы к тому, что в любом задании правильным может оказаться любое число ответов – от одного до всех предложенных. Следовательно, эти задания по форме и содержанию труднее, чем задания с выбором одного правильного ответа.

Оценка, выставляемая за правильное выполнение. Обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный – ноль. При этом под правильным ответом понимается точный выбор всех, без исключения, правильных ответов. В случае хотя бы одного ошибочного выбора, равно как и не выбора правильного ответа, дается ноль баллов. При незнании правильного ответа вероятность допустить хотя бы одну ошибку достаточно высока.