Тема 7. Конструирование теста

Конструирование теста начинается с составления или подбора тестовых заданий. В зависимости от оформления поля ответов тестовые задания бывают следующие.

Открытые, где ответ не задан ни тестируемому, ни обработчику теста. Пример данного теста — составление рисунков, схем.

Такие задания разделяются на следующие виды:

-открытые задания по формообразованию;

- открытые задания на интерпретацию;

- открытые задания на ассоциацию. Полузакрытые, где ответ известен только обработчику. Они разделяются на следующие виды:

- со свободным ответом;

-ассоциативные задания;

- задания на дополнение;

- задания на подстановку;

-задания на построение;

-задания на изменение структуры.

Закрытые, где ответ задан как тестируемому, так и обработчику. Эти гесты имеют такие задания, как;

-задания на интерпретацию;

- альтернативные задания, задания с выбором ответа;

- выбор на основе ассоциаций;

- выбор на основе дополнения, на основе подстановки, на основе расширения;

- задания на установление связи, на перестановку, на репрезентацию.

Для практических целей достаточно разграничить свободную форму, предполагающую выбор ответа из нескольких предложенных.

Следует отметить, что тестирование осуществляется не только с помощью стандартизированных тестов, разработанных специалистами-тестологами. В учебной практике каждому педагогу приходится обращаться к тестам как методу педагогического контроля и разрабатывать их самостоятельно. Поэтому следует выделить основные подходы в технологии разработки тестов.

Проектирование дидактических тестов включает три стадии.

Стадия 1. Подготовительное планирование фиксирует внимание разработчика на трех последовательных моментах.

Во-первых, нужно определить цели исследования. Они могут быть направлены на объективную оценку объема знаний студентов, выявление структуры усвоения знаний у студентов или системы полного усвоения знаний, адекватность выбора профессии (например, абитуриентами педагогических колледжей и вузов), а могут быть более локальными. Например, необходимо провести отбор студентов с низкой успеваемостью для дополнительных занятий или предварительно установить уровень успеваемости разных учебных курсов. При разработке теста принимаются во внимание определенные критерии в зависимости от общепринятой таксико-мании целей:

1) знание фактов и взаимозависимости между ними;

2) решение теоретических и практических проблем;

3) самостоятельная оценка;

4) самостоятельное применение знаний в новой ситуации.

Цели позволяют преподавателю ответить на вопрос, что является главным при ответе испытуемого — умение мыслить или запоминать, и показывают, каковы значение теста и его дидактическая корректность.

Во-вторых, продумывается механизм проведения тестирования, как оно будет организовано ~ индивидуально, по подгруппам или со всеми студентам одновременно. Обычно тестирование проводится групповым методом, индивидуальные тесты даются только в тех случаях, когда нет возможности измерить уровень качества усвоения материала в условиях групповой проверки.

Также устанавливается, каким способом будет осуществляться тестирование — в виде компьютерной программы, методом безмашинного программирования, непосредственной записью ответов на вопрос разработчика.

Если тест дается в устной форме, то важно соблюдать следующую методику; текст заданий читается преподавателем внятно, четко, дважды повторяется каждый вопрос, указывается, какой вариант читает и из каких ответов надо выбрать правильный. После первого прочтения тест читается еще раз, но в более быстром темпе, затем дается время на размышление, определение правильных ответов, и готовые работы сдаются на проверку. После этого преподаватель снова зачитывает весь тест, но с указанием правильных ответов. Обычно такая методика используется при текущем контроле, так как данная процедура занимает довольно много учебного времени (до 20 минут).

Определяется, как будет проходить обработка теста — собственными силами разработчика или другим лицом, и на что следует опираться при обработке результатов теста — на правильные решения, на допущенные ошибки или на то и другое сразу.

Выписывается инструкция для пользователей, которая может быть дана отдельно преподавателям, проводящим тестирование, и отдельно студентам, в ней участвующим.

В-третьих, составляется спецификация теста.

Спецификация (от лат. sрес1еs — вид, разновидность, /асеге — делать) — перечисление подробностей, на которые надо обратить внимание.

В спецификации указывается название, для какого вида контроля используется тест. Прописываются общая цель и задачи, решаемые при применении теста. Определяется перечень разделов или тем учебной дисциплины, на основе которых даются задания, общее количество заданий, их виды и количественное соотношение внутри теста, указывается число заданий по конкретной задаче обучения. Предоставляется ключ к тесту, т.е. эталоны правильных ответов. Фиксируются критерии оценки знаний студентов, даются методы статистической обработки полученных результатов, примеры инструкций к заданиям. В спецификации теста могут быть указаны возможные ошибки, которые возникают у тестируемых в процессе решения тестовых заданий. Фактически в спецификации отражаются основные характеристики теста: содержание, форма, язык, трудность, валидность, надежность.

Стадия 2. Содержательный (куррикулярный) анализ. Анализу подвергаются учебные планы и учебники. Поскольку тесты «школьной успеваемости» направлены на соотносительную группу, то ориентация делается на наиболее значимые и глобальные цели, например, не столько на выявление знаний, сколько прежде всего на умение учащихся понимать, обдумывать, восстанавливать в памяти, т.е. применять полученные знания на практике. В этом виде анализа педагог ориентируется только на те цели, которые он выбрал для своего предмета.

Стадия 3. Конструирование заданий. При переходе к рассмотрению этой стадии работы в процедуре составления теста, следует уточнить, что педагогический (дидактический) тест представляет собой систему заданий возрастающей трудности и специфической формы, позволяющих объективно оценивать уровень и структуру знаний студентов. В связи с этим рассмотрим сначала особенности наиболее часто встречающихся видов тестовых заданий, затем остановимся на общих требованиях к содержанию при построении теста, а потом определим ряд организационных моментов, которые должен учесть преподаватель при компоновке теста.

II. Общие требования к содержанию тестовых заданий при компоновке теста.

1. По форме построения все тестовые задания:

- должны соблюдать однозначность и правильность решения, достигаемую за счет отсутствия двусмысленных формулировок;

- должны соблюдать одинаковые правила оценки ответов, т.е. все тестируемые поставлены в равные условия для решения теста;

- должны быть функционально валидными, т.е. соответствовать выявляемому уровню;

- должны быть содержательно валидными, т.е. включать только те задания, которые изучались и являются системообразующими;

располагать задания по степени возрастания трудности;

- должны соблюдать логическую форму высказывания, предполагающую отсутствие тяжеловесных конструкций, компактность формулировки тестового утверждения в форме истинного или ложного высказывания;

- должны быть краткими, позволяющими минимумом средств добиться ясности смысла содержания задания; тщательный подбор слов, символов, графиков и т.д.;

- должны иметь четкую, компактную, доступную пониманию инструкцию, которая на протяжении всего времени, отведенного на решение теста, должна быть перед глазами испытуемого;

- должны соблюдать правила построения ответов. Ответы в тесте могут предлагаться в разных вариантах: выборочные, формульные, числовые, текстовые, графические. Они должны следовать принципу «исключенного третьего», когда не допускаются формулировки типа «все ответы правильные», «правильного ответа нет» и т.д., включать правдоподобные ответы при требовании выбрать правильный ответ.

Требуемый ответ из числа предложенных к заданию кодируется в виде цифр или букв.

2. Содержание в тестовом задании должно отвечать следующим условиям:

- репрезентативности, т. е. как можно более полно отражать знание студентами учебной дисциплины;

- научной достоверности, т. е. отражать знание студентами современных концепций, теорий, технологий, взглядов на психолого-педагогические явления;

- соблюдению «предметной чистоты», т.е. чем меньше в тесте

заданий, включающих в себя междисциплинарные элементы, тем чище содержание дисциплины.

3. При конструировании теста учитывается степень трудности задания:

- задания должны быть разной трудности. В тесте есть одно-два задания, которые не может сделать никто, одно-два задания, которые должны выполнить все, 60—70 % составляют задания средней трудности;

- учитывается дифференцирующая способность задания, когда знающие студенты должны выполнить задание, не знающие — не в состоянии его выполнить;

- соблюдается локальная независимость заданий, т. е. выполнение заданий не зависит от результатов выполнения других форм работы;

- реализуется принцип информативности заданий, который предполагает, что каждое задание выполняет информационную функцию;

- должна быть коррелируемость задания с критерием. Во время компоновки тестовых заданий в единое целое их можно расположить: по степени возрастания трудности; по спирали — от самых легких по всем темам до самых трудных по всем темам; в специальном порядке в соответствии с теорией.

Степень сложности задания выводится по следующей формуле:

Количество тестируемых, правильно решивших задание

Количество тестируемых, выполняющих задание

При составлении теста должны соблюдаться следующие организационные требования.

1. Разработчик определяет, какой тип заданий лучше всего соответствует цели, содержанию и условиям тестирования. Разработчик решает также, можно ли ограничиться одним видом задания или следует представить несколько.

2. Разработчик осуществляет конструирование заданий в соответствии с определенным уровнем. Тесты первого уровня — тесты на опознание, классификацию, соответствие. Тестируемые выполняют действия при помощи состава компонентов теста, в которых, по сути, заложена некоторая подсказка. Тесты второго уровня направлены на выявление умения воспроизводить информацию по памяти для решения типовых задач. К этому уровню можно отнести задания на подстановку, конструктивные задания. Тесты третьего уровня имеют целью выявление сформированного умения преобразовывать действия в соответствии с ситуацией задачи, при этом задача является нетиповой, т.е. такой, в которой отсутствует буквальный, усвоенный алгоритм действия. Тесты третьего уровня носят эвристический характер. Четвертый уровень тестов направлен на определение исследовательских возможностей учащегося. Основу таких тестов составляют задания-проблемы, в которых алгоритм решения неизвестен и не может быть получен только с помощью преобразования известных методик, как это можно сделать в тестах третьего уровня. В этих тестах отсутствуют готовые эталоны ответов, о качестве их выполнения судит группа независимых и компетентных экспертов.

3. Разработчик определяет, какие дополнительные средства может использовать учащийся при ответе. Например, карты, словари, таблицы.

4. Разработчик фиксирует свое внимание на средствах обработки полученных данных-

5. Автор теста составляет на 50, а иногда и на 100 % заданий больше, чем того требует окончательная форма теста, так как только часть из разработанных заданий пройдет выборку.

6. Автор устанавливает фактическое время выполнения теста. При этом внимание обращается на то, что решение тестовых заданий (364с) требует определенного напряжения, а заниженный темп работы приводит к списыванию, подсказкам, «коллегиальному решению». Обычно время устанавливается от 15 до 30 минут, все зависит от объема материала.

7. Выбор формы задания зависит от цели создания теста; содержания учебной дисциплины в целом и конкретно отдельного раздела, темы; технологических умений разработчика теста.

8. Согласно классической теории тестов, основу которой составляют законы корреляции, главными критериями качества тестов считают надежность и валидность.

Валидность (от англ. - веский, обоснованный) указывает, что измеряет тест и насколько хорошо он это делает. Различают три вида валидности:

-по содержанию. Здесь тест направлен на выявление того, насколько тестируемый овладел конкретными знаниями, учебными умениями и навыками. Данный вид валидности закладывается уже при разработке заданий и фиксируется в спецификации теста. Чтобы обеспечить охват тестовыми заданиями всех необходимых областей учебного предмета, содержание фисиксируется заранее, а не после того, как составлен тест; (265) -по критерию. Этот вид отражает то, насколько по результатам теста можно судить о каком-либо аспекте в настоящем и будущем;

- конструктивная валидность, оценивающая пригодность теста для конкретных целей пользователя. Он получает конкретную информацию о функциях теста и соотносит их с целями использования теста.

9. Композиция тестовых заданий должна удовлетворять принципу соответствия формы содержанию и содержания форме. Важно помнить, что форма изначально задает правила, выдвигает ограничения при разработке тестовых заданий, заставляет разработчика формулировать задания так, чтобы они были поняты и у тестируемых не возникло ошибок при восприятии.

10. Количество заданий в тесте зависит от объема материала, детализированное™ предлагаемой проверки, а также от времени, предназначенного для проверки результатов.

11. Для конкретного предмета разрабатываются группы дидактических тестов, каждая из которых касается отдельного раздела, темы курса, и итоговый тест, направленный на комплексную проверку знаний студентов.

12. Тестирование предполагает системность.

Процедура разработки теста состоит из четырех этапов.

- На первом этапе развивается исходная концепция с формулировкой основных пунктов испытания или основных вопросов, носящих предварительный характер;

- на втором этапе производится отбор предварительных пунктов испытания с из последующей селекцией и приведением к окончательному виду, осуществляется одновременно оценка по качественным критериям надежности и валидности;

- на третьем этапе тест проверяется повторно на той же самой популяции;

- на четвертом - калибруется по отношению к возрасту, уровню образования и другим признакам популяции.

На всех этапах разработки теста необходимо учитывать:

а) диагностируемое свойство личности (размер, положение, индикатор) или только наблюдаемые его пpоявления (напpимеp, способности, уpовень знаний, темпеpамент, интеpесы, установки);

б) связанную с этим валидизацию метода , т.е. опpеделение того, насколько он измеpяет тpебуемое свойство;

в) величину выбоpки из популяции, на котоpой должна пpоводиться оценка метода;

г) стимулиpующий матеpиал (таблички, изобpажения, игpушки, фильмы);

д) влияние исследователя в пpоцессе инстpуктиpования, постановки задач, pазъяснений, ответов на вопpосы;

е) условия ситуации;

ж) такие фоpмы поведения испытуеого, котоpые свидетельствуют об измеpяемом свойстве;

з) шкалиpование pелевантных фоpм поведения;

и) сведение pезультатов по отдельным измеpяемым пунктам в общие значения (напpимеp, суммиpование ответов типа "Да");

к) фоpмулиpовку pезультатов в ноpмиpованной шкале оценок.