16 Проблемы конструирования тестов достижений

За внешней простотой тестов достижений, позволяющих оперативно тестировать довольно широкий круг знаний и навыков человека в различных областях, скрываются определенные технологические особенности. Прежде всего качество этих тестов зависит от качества отдельных заданий. Соблюдение определенных требований в связи с этим позволяет тестировать не только декларативный уровень поверхностных знаний, основанный лишь на ассоциативных связях "ключевых" слов, но и более глубокий уровень реально ценных операциональных знаний, позволяющий реально использовать полученные знания на практике. Неквалифицированные тестовые задания, апеллирующие, как правило, к ассоциативному мышлению, которое удовлетворяется поверхностным заучиванием связей между определенными ключевыми словами, не достигают уровня собственно концептуального, или операционального мышления, которое оперирует глубокими логическими связями между понятиями и правилами их применения к анализу реальных объектов, фактов и событий. Профессионально составленные тестовые задания также содержат поверхностные ассоциативные связи, но - в качестве провокационных мнимо правильных ответов-дистракторов.

Операциональные знания испытуемого.

За внешней простотой тестов достижений, позволяющих оперативно тестировать довольно широкий круг знаний и навыков человека в различных областях, скрываются определенные технологические особенности. Прежде всего качество этих тестов зависит от качества отдельных заданий. Соблюдение определенных требований в связи с этим позволяет тестировать не только декларативный уровень поверхностных знаний, основанный лишь на ассоциативных связях "ключевых" слов, но и более глубокий уровень реально ценных операциональных знаний, позволяющий реально использовать полученные знания на практике. Под операциональными знаниями понимаются знания, позволяющие их носителю определенным образом действовать -оперировать с объектами, применяя при этом определенные умения (например, знание, изложенное в форме алгоритма).

Психологика испытуемого.

Под психологикой испытуемого понимается совокупность представлений, правил оперирования ими и стратегий поведения, которые конкретный испытуемый склонен проявлять в психологическом эксперименте, в частности, в ходе психодиагностического обследования. Наличие выбора возможных ответов провоцирует у испытуемых желание угадать правильный ответ на основе интуиции. Умелые разработчики тестов, зная типовую психологику испытуемых, "ловят'' невеж, провоцируя выбор ложного ответа, обладающего внешней правдоподобностью. Психологику можно описать как совокупность рациональных и иррациональных (основанных на приметах) стратегий поведения.

Типичные мнимо разумные стратегии поиска испытуемым правильного ответа.

Психологику можно описать как совокупность рациональных и иррациональных (основанных на приметах) стратегий поведения. К числу типичных мнимо разумных стратегий поиска правильного ответа следует отнести: 1. Стратегия ассоциативного правдоподобия. 2. Выбор "золотой середины" (испытуемый ожидает,что автор задания дает ему возможность сделать два типа ошибок -"недооценка" и "переоценка" - и с меньшей вероятностью полагает, что правильный ответ может быть крайним). 3. Выбор более развернутого и аргументированного ответа, учитывающего частные случаи (для того, чтобы запутать испытуемого, следует маскировать правильный ответ под внешне простую формулировку, а ложный ответ - под более развернутую). 4. Выбор более наукообразного ответа из иностранных и малопонятных слов. 5. Выбор ответа, который напоминает что-то знакомое (невежи думают, что учителя хотя бы раз упоминали то, что звучит в формуле возможного правильного ответа). 6. Выбор ответа, который соответствует общим ожиданиям.

Правила отбора, формулировки и анализа заданий тестов достижений.

За внешней простотой тестов достижений, позволяющих оперативно тестировать довольно широкий круг знаний и навыков человека в различных областях, скрываются определенные технологические особенности. Прежде всего качество этих тестов зависит от качества отдельных заданий. Соблюдение определенных требований в связи с этим позволяет тестировать не только декларативный уровень поверхностных знаний, основанный лишь на ассоциативных связях "ключевых" слов, но и более глубокий уровень реально ценных операциональных знаний, позволяющий реально использовать полученные знания на практике. Неквалифицированные тестовые задания, апеллирующие, как правило, к ассоциативному мышлению, которое удовлетворяется поверхностным заучиванием связей между определенными ключевыми словами, не достигают уровня собственно концептуального, или операционального мышления, которое оперирует глубокими логическими связями между понятиями и правилами их применения к анализу реальных объектов, фактов и событий. Профессионально составленные тестовые задания также содержат поверхностные ассоциативные связи, но - в качестве провокационных мнимо правильных ответов-дистракторов.При составлении заданий теста достижений необходимо соблюдать следующие правила:

1) равила отбора: - набор заданий (вариант теста) должен быть представителен по отношению к тестируемой области (чтобы добиться такой тематической сбалансированности, следует составить план в виде таблиц, тогда можно будет увидеть, какие темы освещены менее других и какие логико-семантические типы заданий следует специально разработать и добавить для определенных тем);- тест не должен быть перегружен второстепенными терминами;

- ни одно из заданий теста не должно служить подсказкой для ответа на другое задание;- необходимо соблюдать разумный уровень трудности заданий (для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных ("середнячков"); самый эффективный метод выяснения трудности заданий - проведение пилотажного эксперимента);2) правила формулировки:- задания теста и ответы на них должны быть сформулированы четко, кратко и недвусмысленно.3) правила анализа (осн. цель — предоставить информ. о том, насколько адекватно функционируют составляющие тест задания (или пункты). Эта информ. может затем использоваться для повышения надежности и валидности теста путем редактирования или удаления слабых заданий. А. з. теста достижений может тж предоставлять диагностическую информ. о том, что знают и чего не знают экзаменуемые, и потому быть основой планирования обучения и пересмотра учеб. программ):- рациональный анализ (предполагает тщательное изучение каждого задания для определения того, является ли его содержание точным, соотв. спецификациям к тесту, свободным от культурных или др. предубеждений и отвечающим стандартным требованиям, к-рые предъявляются к составлению тестовых заданий; этот подход характерен для А. з. критериальных тестов достижений, но может применяться и к тестам, осн. на статистических нормах);- эмпирический анализ (состоит в вычислении одной или неск. статистических мер функционирования задания, включая индекс трудности задания, индекс различительной способности (валидности) задания и ряд мер функционирования дистракторов; индекс трудности (p) задания рассчитывается довольно просто — как доля тестируемых, давших правильный ответ на данное задание; оптимальный индекс трудности варьирует в зависимости от цели теста и типа задания; процедура определения индекса способности задания различать испытуемых на основе получения ими различных оценок по критериальной переменной зависит от характера критерия и типа теста; типичными внутренними критериями для теста достижений являются суммарные показатели по этому тесту, к-рые ранжируются и делятся на верхнюю (U) и нижнюю (L) группы).

Логико-семантическая классификация заданий.

Типы тестовых заданий по логической структуре могут быть:

1. Фактологический вопрос по модели "Что-кто-где-когда?" 2. Функциональный вопрос (целевой и причинный) по модели "Для чего-зачем-почему?". 3. Структурный вопрос по модели "Из чего?" (или из каких частей состоит?). 4. Концептуальный вопрос по модели "Определи понятие".

5. Концептуально-ассоциативный вопрос по модели "Заполни пропуск". 6. Концептуально-аналитический вопрос по модели "Проведи аналогию".

7. Задание по типу '"Продолжи ряд". 8. Концептуально-семантическое задание установления смысловой эквивалентности или близости. 9. Проблемно-операциональные задания "Реши задачу" (в условиях сообщаются такие данные, которые благодаря жестким и однозначным связям и законам в принципе позволяют восстановить неизвестное).

Тематическая репрезентативность.

Задания не должны быть случайными или неравномерно разбросанными по карте знаний в данной предметной области. Оригинальность задания должна достигаться за счет использования оригинальной логической структуры для хорошо известного и основополагающего вопроса, а не за счет избитой логической структуры для вопроса совершенно экзотического, частного и не имеющего фундаментального значения. Для того, чтобы добиться представительности набора заданий (варианта теста) по отношению к тестируемой области, следует воспользоваться простым приемом - составить план в виде таблиц. На пересечении строк и столбцов в клеточках данной таблицы надо проставить номера составленных заданий. Тогда можно будет увидеть, какие темы освещены менее других и какие логико-семантические типы заданий следует специально разработать и добавить для определенных тем. Кроме обеспечения тематической сбалансированности, в тесте достижений следует предусмотреть, чтобы ни одно из заданий теста не служило подсказкой для ответа на другое задание.

Трудность заданий.

Составитель заданий к тестам не должен забывать, что тестовые задания по своей трудности есть нечто противоположное "олимпиадным" заданиям. Если для олимпиад уместны трудные задания, позволяющие дифференцировать прежде всего лучших от самых лучших, то для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных ("середнячков").

Кроме того, следует учесть, что тесты даются с ограничением времени: на 20 заданий отводить целесообразно не более 10 минут. Лучший балл здесь показывает тот, кто уверенно и быстро применяет базовые знания, кто способен показать хороший умственный темп, высокую степень автоматизации основных навыков, "свернутость" понятий и умственных операций. Хороший ориентир в том, какой трудности должны быть тестовые задания, может быть сформулирован так: "Без ограничений времени отличник должен уметь ответить на все 100 процентов тестовых заданий, но при ограничении времени отличник со средним умственным темпом должен ответить только на 70-80 процентов тестовых заданий".

Самый эффективный метод выяснения трудности заданий - проведение пилотажного эксперимента. К этому эксперименту стоит, например, привлекать учеников из более старшего класса, для которых он может стать хорошим поводом повторить материал и выявить пробелы перед экзаменами. Скорость пилотирования теста и расчета трудности заданий значительно возрастает, если учитель (психолог, проводящий тестирование) располагает компьютерным классом и специальной программой оперативного тестирования.