2.3 Стандартизационный и интерпретационный этапы разработки педагогического теста

Этап V - стандартизационный

На стандартизационном этапе важно решить такие задачи, как стандартизация теста и его нормирование.

Стандартизация теста – это комплекс процедур, позволяющий создать для всех респондентов равные условия. Стандартизация подразумевает единообразие процедуры проведения и оценки выполнения теста. Для того, чтобы показатели, полученные разными людьми, были сравнимы, условия тестирования должны быть одинаковыми для всех.

Стандартизация включает точные указания относительно используемого стимульного материала, временных ограничений, инструкций тестируемым, образцов заданий, допустимых ответов на задания и других тонкостей проведения теста. На выполнение некоторых тестов может влиять множество других, не столь очевидных факторов. Так, зачитывая вслух инструкцию или задания, следует принимать в расчет скорость речи, тон голоса, интонацию, паузы и выражение лица.

Не последнее место по значению занимает социокультурная адаптированность теста. Это означает соответствие тестовых заданий и оценок, которые респондент получает по этим заданиям, особенностям культуры, сложившимся в том или ином обществе, где данный тест используется, если он заимствован в другой стране. Если тест повторно используется в условиях, которые существенно отличаются от тех, где он был первоначально создан, то почти всегда требуется соотнесение этих условий друг с другом или адаптация теста к новым условиям.

Стандартизация теста также должна давать детальную информацию по поводу того, кто имеет квалификацию, достаточную для применения и оценки результатов теста.

Наиболее важным условием правильного проведения тестирования является предварительная подготовка. При тестировании не должны возникать непредвиденные обстоятельства. Поэтому нужно принять специальные меры для того, чтобы заранее предупредить возникновение возможных случайностей. Только так можно обеспечить единообразие процедуры тестирования.

Предварительная подготовка к тестированию принимает множество форм. Специалисту, проводящему тестирование, важно заранее ознакомиться с текстом инструкции, что позволит предупредить неправильное её прочтение, запинание и даст возможность вести себя более непринужденно и естественно во время проведения тестирования. Еще одним важным предварительным шагом является подготовка тестовых материалов. Все тестовые бланки, листы для ответов, ручки, карандаши и другие материалы должны быть тщательно проверены. Важной формой подготовки к тестированию является подробное знакомство с процедурой проведения конкретного теста. Такая подготовка может включать предварительный инструктаж всех специалистов, участвующих в проведении тестирования с тем, чтобы каждый хорошо представлял свои функции. Кто зачитывает инструкцию, кто следит за временем выполнения теста, кто выдает и собирает тестовые материалы, кто следит за тем, что обучающиеся следовали инструкции и т.д.

Стандартизация затрагивает не только инструкции, время выполнения заданий, материалы и другие аспекты самих тестов, но и обстановку тестирования. Определенное внимание нужно уделить выбору подходящего для тестирования помещения. Оно должно быть изолировано от чрезмерного шума и всего, что отвлекает внимание. В нем необходимо создать подходящее освещение, обеспечить вентиляцию, организовать удобные рабочие места для тестируемых.

Важно четко представлять себе возможную степень влияния условий тестирования на тестовые показатели. Даже кажущиеся незначительными аспекты тестовой ситуации могут заметно влиять на выполнение теста. Так, на тестовые показатели могут влиять, например, такие факторы, как тип использованных бланков для ответов, использование парт или кресел с откидным столиком.

Из сказанного можно сделать три важных вывода. Во-первых, необходимо придерживаться стандартизованных процедур даже в мелочах. Обязанность специалистов, разрабатывающих и издающих тест, добиться того, чтобы такие процедуры были полно и ясно описаны в руководстве к тесту. Во-вторых, следует регистрировать любые нестандартные условия тестирования, какими бы второстепенными они не казались. В-третьих, при интерпретации результатов теста важно учитывать условия тестирования [1, с. 20, 28-30].

Еще одним важным этапом в стандартизации теста является установление норм. Эти величины, в сочетании с данными о надежности и валидности, позволят специалистам надлежащим образом интерпретировать результаты, полученные по итогу тестирования.

Мы уже отмечали, что одним из преимуществ, которыми обладают тесты по сравнению с другими видами измерений, является то, что они имеют основания для сравнения. Для тестов, ориентированных на критерий, — это полученный на основе экспертных оценок критерий значимости, превысив который считается, что обучаемый справился, готов, прошел и т.д. в зависимости от целей тестирования. Для нормативно-ориентированных тестов основанием для сравнения служат статистические нормы. Следовательно, возможно сравнение показателя некоторого респондента с таковыми в репрезентативной выборочной совокупности или других релевантных группах, что, в конечном счете, дает возможность адекватной интерпретации полученного показателя. Из сказанного следует, что нормирование тестов наиболее важно в тех случаях, когда осуществляется явное или неявное сравнение показателей респондентов, как, например, при итоговой аттестации.

Однако в случае, когда тестирование проводится с целями отбора, являясь нормативно-ориентированным, оно не требуют разработки норм. Для их применения достаточным оказывается знание места обучающегося в ряду тех, кто вместе с ним проходил тестирование. Например, если необходимо отобрать 25 человек для продолжения образования, то достаточно сделать ранжированный ряд по результатам проведения тестирования и отобрать 25 обучающихся с лучшими результатами [5, с. 191].

Поясним понятие нормирования теста. Нормирование теста – это процесс получения количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение о результатах, показанных респондентами.

Психологические тесты не имеют заранее определённых стандартов их успешного или неуспешного выполнения. Критерии выполнения каждого теста устанавливаются опытным путём. Стандартизацию теста проводят на большой репрезентативной выборке лиц определенного типа, для работы с которыми предназначен этот тест. Нормы теста определяется в результате усреднения оценок, полученных представителями репрезентативной выборки, с их последующим разделением по возрасту, полу и ряду других показателей. Таким образом, норма теста – это средний уровень выполнения теста большой совокупностью людей. Нормы могут выражаться числом правильно решенных заданий, временем, необходимым для их выполнения, числом ошибок и другими объективными мерами, соответствующими содержанию теста. Но такая первичная оценка ни о чем не говорит до тех пор, пока не получит выражение в единицах, подходящих интерпретационных данных.

Чтобы более точно определить положение обучающегося относительно выборки стандартизации, его «сырой» балл (первичная оценка) переводится в некую относительную меру. Такими мерами могут быть процентили, линейные стандартные показатели, нормализованные стандартные показатели, стандартный IQ. Формы выражения норм подробно описаны в работе А. Анастази, С. Урбиной «Психологическое тестирование». Здесь лишь отметим, что выбор конкретного вида показателя диктуется главным образом удобством, привычностью и легкостью разработки норм. Ввиду некоторых преимуществ, облегчающих конструирование тестов и статистическую обработку данных тестирования, различные варианты стандартных показателей (включая стандартный IQ), в целом вытеснили остальные типы показателей. Однако большинство типов показателей по существу дела подобны друг другу, если они корректно выводятся и правильно интерпретируются. При соблюдении определенных статистических условий каждый из этих показателей может быть легко переведен в другой.

При разработке норм необходимо учитывать следующее:

1. Нормы устанавливаются при разработке нового теста, адаптации или редактировании существующего, если он используется на выборке, отличающейся от стандартизированной по каким-либо критериям.

2. Введение нового типа нормировочного балла при разработке теста должно быть обосновано.

3. Стандартизированная выборка при разработке норм должна быть хорошо сбалансированной по составу и численности.

4. Все отклонения от процедуры нормирования тестовых результатов должны оговариваться в прилагаемых руководствах [1, с. 193].

В заключении отметим, что любая норма, как бы она не выражалась, ограничивается конкретной совокупностью людей, для которых она выводилась. Пользователь теста никогда не должен забывать о том, каким образом устанавливались тестовые нормы. Нормы психологических тестов ни в коем случае нельзя считать абсолютными, универсальными. Они просто отражают уровень выполнения теста лицами, составляющими выборку стандартизации. Кроме того, нормы нельзя считать постоянными. Всякая норма обычно со временем изменяется вместе с естественными изменениями, которые с годами происходят в психологии людей, поэтому нормы теста, должны регулярно пересматриваться.

Этап VI – интерпретационный

На интерпретационном этапе важно решить такую задачу, как разработка схем интерпретации результатов тестирования.

Следует отметить, что проверка тестовых работ, при условии качественного теста и ключей, не должна быть очень сложной. Желательно, чтобы была составлена инструкция по проверке тестовых работ, в которой должны быть ясно, доступно, непротиворечиво прописаны алгоритм действий проверяющих, особенности оценивания разных видов заданий, способы перепроверки, действия проверяющих в «нештатных» ситуациях. Технологию проверки лучше оформить именно в виде инструкции, поскольку это способствует единообразию проверки и перепроверки, позволяет осуществить контроль за действиями проверяющих.

Инструкцию для проверки педагогических тестов в системе МЧС России мы видим следующим образом.

Желательно, чтобы результаты выполнения тестов проверялись двумя проверяющими, или одним проверяющим, но дважды.

Первичная проверка. Она заключается в том, чтобы прописать рядом с заданием балл, который присваивается респонденту по результатам выполнения каждого из тестовых заданий.

После того, как все задания проверены и присвоены баллы за их выполнение, полученные баллы необходимо перевести в проценты. Для этого следует воспользоваться специальной формулой.

Правила оценивания результатов тестирования и формула перевода тестовых баллов проценты изложены в параграфе 1.3.1.

На этом первичная проверка завершена. После того как первый проверяющий закончил свою работу, второй проверяющий перепроверяет аналогичным образом правильность выполнения тестов респондентами. Если отсутствует возможность привлечь к проверке второго проверяющего, то первому проверяющему следует перепроверить результаты своей работы самостоятельно. Важно, чтобы в результате двух проверок, баллы и полученные на их основе процентные значения, присваиваемые респонденту по результатам тестирования, полностью соответствовали друг другу.

В этой инструкции описывается обработка результатов тестирования, осуществляемая вручную. В следующем разделе будет описан алгоритм обработки результатов тестирования с помощью АИС «Психолог».