Раздел 1: Теоретические основы педагогического теста

1. Основные понятия тестологии, владение которыми необходимо при разработке педагогического теста

Поиск адекватного требованиям современного мониторинга инструмента для определения эффективности мероприятий по психологической подготовке привел систему психологической подготовки МЧС России к тестовой форме контроля уровня знаний, как важной вспомогательной форме проверки уровня знаний у профессиональных контингентов МЧС России. В настоящее время тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основаны на мощной теории и подтверждены многочисленными эмпирическими исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен огромный опыт использования тестов в различных сферах человеческой деятельности, включая образование.

В настоящее время тест принято определять следующим образом: тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения. Данное определение было сформулировано большой группой специалистов из различных регионов России, которые в 1997-1998 годах принимали участие в работах по согласованию понятийного аппарата тестологии.

На наш взгляд, данное определение теста требует важного уточнения, а именно: тест может быть предназначен для измерения не только качеств и свойств личности, но и для измерения уровня знаний. При этом мы не ставим перед собой цели посредством педагогических тестов измерить качества и свойства личности профессиональных контингентов МЧС России. Принимая в расчет отмеченные обстоятельства, считаем возможным сформулировать определение педагогического теста следующим образом: педагогический тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения уровня знаний у обучающихся, изменение которого возможно в процессе систематического обучения.

Как следует из определения, тест должен включать в качестве составляющих не менее трех элементов, а именно: систему тестовых заданий, зафиксированную документально технологию предъявления и отработанную систему проверки, обработки и анализа результатов, которые должны составлять единство. Наличие перечисленных элементов позволяет формально отделить тесты от не тестов [5, с. 30].

Итак, первым элементом теста является система тестовых заданий. В основе теста лежит специально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить уровень знаний обучающихся. Следует понимать, что педагогический тест не является аналогией отдельным заданиям, экзаменационным вопросам, головоломкам, анкетам и т.п.

Тестовое задание мы определяем как основную составляющую часть теста, которая состоит из инструкции для обучающихся, текста задания, имеет однозначный правильный ответ и может быть охарактеризована набором показателей (трудностью, дискриминативностью) [5, с. 14].

В самом общем виде тестовые задания должны соответствовать содержанию учебного материала, быть составлены с учетом соответствующих требований, быть апробированы и быть понятными для тестируемых.

Поясним некоторые из введенных понятий.

Трудность тестового задания – это характеристика тестового задания, выражающаяся процентом от количества тестируемых репрезентативной выборки, верно выполнивших это задание [5, с. 14]. Суммарная трудность тестовых заданий, составляющих тест, определяет трудность теста в целом.

Дискрминативность – это способность отдельных заданий теста и теста в целом разделять тестируемых в соответствии с успешностью их деятельности по тому критерию, который является основным для целей тестового испытания [5, с. 13]. Иными словами - это способность отделять тестируемых с высоким общим баллом по тесту от тестируемых, получивших низкий балл.

Апробацией называется пробное тестирование, предшествующее основному и предпринимаемое с целью устранения недостатков в заданиях, случайных ошибок, недостатков в инструкциях, а также с целью определения времени, необходимого на решение задания или всего теста целиком, и приблизительной оценки трудности теста и его отдельных частей (заданий).

Вторым обязательным элементом теста, после системы тестовых заданий, является зафиксированная документально технология предъявления теста. В технологии предъявления должно быть прописано каким образом должно проходить тестирование, сколько времени тестируемым отводится на выполнение теста, какими должны быть инструкции тестируемым, обстановка тестирования, требования к помещению, в котором планируется проведение тестирования. Вместе с тем следует заблаговременно распределять функции специалистов, участвующих в проведении тестирования (кто выдает и собирает тестовые материалы, кто следит за временем выполнения теста и т.д.).

И третий обязательный элемент теста - отработанная система проверки, обработки и анализа результатов тестирования представляет собой процедуру проверки результатов тестирования, зафиксированные правила оценивания результатов тестирования (оценочная схема, ключ) и анализ полученных результатов.

Качество педагогического теста в целом определяют меры валидности и надежности полученных результатов.

Валидность означает пригодность тестовых результатов для той цели, ради которой проводилось тестирование. Она указывает, что именно измеряет инструмент и насколько хорошо он это делает [1, с. 133].

Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины в заданиях теста. Также валидность зависит от баланса и распределения заданий по трудности, от метода отбора заданий из общего банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности респондентов.

Второй показатель качества теста – это надежность. Под надежностью понимается устойчивость, или согласованность результатов теста, получаемых при повторном их применении к тем же респондентам в различные моменты времени, при использовании разных наборов эквивалентных заданий или же при изменении других условий обследования [1, с. 103].

Еще одним важным понятием, которое мы будем употреблять в нашей работе и определение которого необходимо знать – является понятие репрезентативности выборки. Репрезентативность выборки – это способность выборки представлять изучаемые явления, в нашем случае уровень знаний, достаточно полно – с точки зрения их изменчивости в генеральной совокупности [7, с. 20]. Иными словами, репрезентативная выборка - это выборка, в которой все основные признаки генеральной совокупности представлены приблизительной с той же частотой и в той же пропорции, с которой данный признак выступает в генеральной совокупности.

Из этого определения вытекает необходимость пояснить еще два понятия: генеральная совокупность и выборка.

Генеральной совокупностью называется всё множество объектов, в отношении которого формулируется исследовательская гипотеза и на которое соответственно планируется распространение результатов тестирования [7, с. 19].

Выборкой называется любая подгруппа элементов, в нашем случае подгруппа респондентов, отбираемая из генеральной совокупности для проведения исследования [7, с. 20].

Важно отметить, что репрезентативность выборки является одним из основных критериев обоснованности выводов исследования и также оказывает непосредственное влияние на качество теста.

Качественный тест имеет ряд преимуществ в сравнении с традиционными методами аттестации. К таковым относятся, во-первых, большая объективность оценивания, достигаемая за счет стандартизации процедуры проведения и стандартизации и проверки показателей качества тестовых заданий и теста в целом.

Во-вторых, тесты дают столь необходимое при проведении контроля уровня знаний основание для корректных сравнений – их показатели ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, а не на констатацию наличия у обучающихся определенной совокупности усвоенных знаний.

В-третьих, тестирование предоставляет собой более широкий измерительный инструмент, оно предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Давая широкие возможности для проявления достижений, тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку следует выставлять только тогда, когда все задания выполнены правильно.

В-четвертых, тесты ставят всех обучающихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений [5, с. 31-32].

Таким образом, исходя из вышеизложенного, тест является более гуманным инструментом оценивания. Это обусловлено тем, что все обучающиеся при выполнении тестовых заданий находятся в равных условиях, а широта теста дает обучающимся возможность показать свои достижения на более широком поле материала. Соответственно обучающийся получает некоторое право на ошибку, которого он лишен при традиционном способе оценивания.

Кроме того, тесты дают широкую возможность для варьирования сложности тестового материала, широты охвата, целевой направленности, включения в тест нескольких компонентов структуры знаний. Система показателей качества теста даёт возможность оценить, насколько созданный инструмент реально соответствует этим требованиям, и использовать его в строгом соответствии с ними [5, с. 31-33].

2. Классификация педагогических тестов

В классификации тестов к настоящему времени сложилось два основных подхода: тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

Приведем сравнительные данные этих двух подходов с точки зрения интерпретации результатов тестирования.

Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии тестируемого заданному критерию.

Для нормативно-ориентированной интерпретации вывод достраивается рейтингом: задания → ответы → выводы о знаниях тестируемого → рейтинг, понимаемый как вывод о месте или ранге тестируемого [5, с. 36].

Описание этих двух подходов в своей схематичной форме вполне отражает смысл разницы в интерпретации. Однако дадим каждому из подходов более подробную характеристику.

Главной целью нормативно-ориентированных педагогических тестов является максимальная дифференциация обучающихся по уровню знаний, сравнение места, или рейтинга, каждого из тестируемых. В этом случае содержание отходит на второй план по сравнению с технологическими показателями тестовых заданий, такими как трудность и дискриминативность.

Интерпретация результатов тестирования в рамках нормативно ориентированного подхода осуществляется двумя способами: во-первых, на основе предварительно полученных статистически обоснованных норм; во-вторых, относительно места обучающегося в группе (пятый из 40 или 27 из 150 и т.д.).

Главные вопросы такого подхода не «кто знает что знает», а кто подготовлен лучше, кто по результатам тестирования оказался выше или ниже нормы, и кто какое место занимает?

Реализуя задачу максимального разнообразия оценок в рамках подхода, ориентированного на норму, отбираются задания, которые дают максимальный разброс в оценках тестируемых. Отбраковываются задания, с которыми справляются все обучающиеся или с которыми не справляется ни один из обучающихся, поскольку они, с точки зрения оценивания обучающихся, неинфомативны.

Основанием для сравнения в тестах, ориентированных на норму, являются результаты, полученные при предварительном тестировании группы обучающихся, репрезентативной для какой-то общности [6, с. 35, 40].

Например, если проводить предварительное тестирование (апробацию) теста по разделу «Профессиональное здоровье» на выборке спасателей международного класса, репрезентативных генеральной совокупности всех спасателей международного класса в России по таким показателям, как: пол, возраст, уровень квалификации, стаж работы, дата последней аттестации, уровень образования, место жительства, то нормы, которые будут выявлены в результате этого предварительного тестирования, можно будет распространять на спасателей международного класса различных подразделений России, но недопустимо будет распространение полученных норм на спасателей другого класса или на спасателей из других стран.

При критериально-ориентированном подходе к интерпретации результатов тестирования создаются тесты для сопоставления учебных достижений каждого обучающегося с планируемым показателем уровня знаний. В этом случае в качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка обучающихся. Критерий определяется на основе экспертного оценивания как по номенклатуре, так и по критическому уровню. При этом упор делается на то, что может выполнить обучающийся и на то, что он знает, а не на то, как он выглядит на фоне других. Критериально-ориентированный подход дает возможность определить, что каждый обучающийся может сделать с точки зрения конкретной задачи, не соотнося его действия с действиями других членов группы.

Другими словами критериально-ориентированный подход связан с ориентацией на такие конкретные цели и задачи, как, например, проверка уровня усвоения требуемых знаний, выступающих в качестве заданного стандарта или критерия усвоения. Главное значение здесь имеет – с какими заданиями справился, а с какими не справился обучающийся. В этом случае анализ усвоения элементов учебного материала, в том числе выявление заданий, с которыми справляются все или не справляется никто, становятся чрезвычайно важными. На основании подобных крайних результатов можно утверждать, что данный учебный элемент не освоен никем из обучающихся, а данный – освоен всеми обучающимися [6, с. 36, 39].

Нельзя сказать, что возможность анализа того материала, с которым лучше или хуже справляются обучающиеся, невозможна в рамках подхода, ориентированного на норму. Как известно, задания, с которыми справляются все обучающиеся или не справляется никто из обучающихся, должны быть удалены из теста. Однако выявление таких заданий, которые не отвечают требованиям трудности и дискриминативности, является весьма информативным, так как это также показывает какие элементы материала хорошо усваиваются обучающимися, а какие – хуже. Кроме того, анализ усвоенного обучающимися материала, может быть не в полной мере, но все же возможен, на основе оставшихся тестовых заданий.

Завершая рассмотрение нормативно-ориентированного и критериально-ориентированного подходов к анализу результатов тестирования, приведем сравнительные данные по этим подходам, согласно точкам зрения двух авторов – Н. Гронлунда и Д. Вилфорда [5, с. 39; 6, с. 37].