6. В основной части задания следует избегать отрицания, а также исключить двойное отрицание.

Использование отрицания приводит к противоречиям при чтении задания, усложняет сообщение, особенно двойные отрицания, которые аннулируют друг друга.

Примером может служить следующая формулировка задания: При оказании ЭПП человеку с ОСР агрессии нельзя не делать…

Правильнее сформулировать следующим образом: При оказании ЭПП человеку с ОСР агрессии следует предпринять…

7. Основная часть задания должна формулироваться как можно более кратко и одним предложением.

8. Формулировка основной части задания должна быть законченной, т.е. тестируемый должен из ее содержания понять, какую задачу ему предстоит выполнить, до анализа предложенных вариантов ответа.

9. В основную часть задания следует включать как можно больше слов, оставляя для ответа не более 2-3 наиболее важных для данной проблемы слов.

10. Из ответов обязательно должны исключаться все повторяющиеся слова путем ввода их в основной текст заданий.

Например:

Инструкция: Выберите один правильный ответ.

«Мышечный панцирь» выполняет:

1. питательную функцию

2. функцию развития организма

3. репродуктивную функцию

4. защитную функцию

Правильнее было бы составить основную часть задания следующим образом: «Мышечный панцирь» выполняет функцию… В этом случае варианты ответов выглядели бы следующим образом: питательную; развития организма; репродуктивную; защитную. Соответственно это позволяет не употреблять слово «функция» при перечислении вариантов ответа и высвобождает время и внимание тестируемого для выполнения следующих тестовых заданий.

11. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.

Например:

Инструкция: Выберите один правильный ответ.

Невозможность вспомнить детали происшедшего события, чувство отстраненности, отчужденности от других людей, избегание мыслей, чувств и деятельности, связанных с происшедшим событием, потеря доступа к ресурсам прошлого, обеднение чувств, относятся к симптомам ПТСР, объединенным в группу симптомов:

1. повторного переживания

2. избегания

3. повышенной возбудимости

В формулировке основной части задания есть слово «избегание», которое является подсказкой к правильному варианту ответа. Его следует заменить, например, на слово «уклонение».

12. Все ответы к одному заданию должны быть приблизительно одинаковы по размеру (числу слов), либо правильный ответ может быть короче других, но не во всех заданиях теста.

Нередко допускается ошибка при составлении заданий, состоящая в том, что правильный ответ формулируется более тщательно и полно, чем другие варианты ответов. Это помогает вычленить его даже тому, кто не владеет учебным материалом.

Например:

Инструкция: Выберите один правильный ответ.

Травматический стресс – это:

1. стресс, который постепенно накапливается в организме

2. нормальная реакция на ненормальные обстоятельства;

3. состояние, возникающее у человека, в ответ на действие двух факторов: угроза своей жизни или жизни близких людей и отсутствие возможности контролировать ситуацию, невозможность что-либо сделать, беспомощность

Другим, еще более явным, примером нарушения этого требования является:

Инструкция: Выберите один правильный ответ.

Профессиональное здоровье – это процесс:

1. сохранения регуляторных свойств организма, обеспечивающих успешную профессиональную деятельность;

2. сохранения и развития физического и психологического здоровья;

3. сохранения и развития регуляторных свойств организма, его физического, психического и эмоционального благополучия, обеспечивающих высокую надежность профессиональной деятельности, профессиональное долголетие и максимальную длительность жизни;

4. обеспечивающий высокую надежность профессиональной деятельности, профессиональное долголетие и максимальную длительность жизни.

В этих заданиях один из вариантов ответа сильно превосходит по длине другие. Это служит подсказкой для тестируемых и любой внимательный обучающийся догадается, что правильным является именно самый длинный вариант ответа. В связи с этим следует изменить дистракторы или переформулировать задание.

Кроме того, второй вариант ответа - в первом примере и первый, второй и четвертый варианты ответа - во втором примере являются частично правильными. Первый, второй и четвертый варианты ответа - во втором примере вообще являются составными частями правильного варианта ответа. Подобные ошибки являются свидетельством нарушения следующего требования к формулировке тестовых заданий.

13. Ни один из неправильных ответов не должен являться частично правильным ответом.

Еще одним примером, демонстрирующим нарушение этого требования, может быть:

Инструкция: Выберите несколько правильных ответов.

К видам толпы относятся:

1. импрессивная;

2. экспрессивная;

3. этническая;

4. случайная;

5. паническая;

6. конвенциональная;

7. стяжательская;

8. зрительная;

9. окказиональная

Фактически дистрактор 4 тоже является правильным, это синоним окказиональной толпы. Однако оценочная схема разработчиков теста не предусматривает этого. Поэтому такой дистрактор, как случайная толпа, следует удалить из перечня вариантов ответа.

14. Из числа неправильных ответов должны исключаться ответы, вытекающие один из другого.

Примером нарушения этого требования может служить:

Инструкция: Выберите несколько правильных ответов.

К объективным факторам, характеризующим средовые особенности работы спасателей, относятся:

1. климато – географические факторы;

2. физическая нагрузка, режим труда и отдыха;

3. конфликты в семье;

4. снегопад

5. особые условия работы;

6. особенности характера специалиста.

7. чрезмерное задымление на месте ЧС

Фактически дистрактор 4 является составной частью варианта ответа 1, а дистрактор 7 – составной частью варианта ответа 5. Это может ввести в заблуждение тестируемых. Оценочная схема разработчиков не включает эти варианты в число правильных ответов. Однако, в действительности, если тестируемые отметят варианты ответов 4 и 7 в качестве правильных – они будут правы. В связи с этим дистракторы 4 и 7 следует изменить или удалить.

Чтобы исправить подобные ошибки, необходимо тщательнее продумывать дистракторы.

15. В ответах не рекомендуется использовать слова, вызывающие различное понимание у тестируемых, а также слова, являющиеся подсказкой, например, такие как: «иногда», «часто», «все», «ни одного», «никогда», «всегда», а также выражения: «другой вариант», «ни один из перечисленных», «все перечисленные», «нет правильного ответа», «все ответы верны» и т.п.

Нарушение этого требования является достаточно распространенным. Нередко приходится встречать среди вариантов ответа к заданию такие формулировки, как: другой вариант, нет правильного ответа, все варианты верны. Следует иметь ввиду, что подобные варианты ответов, с одной стороны, содержат неопределенность и могут пониматься субъективно, что может приводить к ошибочным ответам, а, с другой стороны, дают обучающимся возможность угадать правильный ответ.

Отдельно хочется сказать о вариантах ответа, отрицающих наличие правильного ответа (ни один из перечисленных, нет правильного ответа и пр.). Такие варианты ответа противоречат инструкции к тестовому заданию, в которой прописано, что правильный ответ должен быть.

16. Все неправильные ответы к каждому заданию должны быть равновероятно привлекательны для тестируемых, не знающих правильного ответа.

Примером нарушения этого требования является:

Инструкция: Выберите один правильный ответ.

Профессиональный стресс – это стресс, возникающий:

1. в процессе трудовой деятельности человека;

2. во время отдыха;

3. не возникающий вообще

Дистракторы 2 и 3 являются неправдоподобными, маловероятно, что хотя бы один внимательный тестируемый отметит их в качестве правильных.

Кроме того, этот пример демонстрирует нарушение предыдущего требования, так как вообще отрицает возникновение профессионального стресса, что противоречит смыслу задания.

Исправить подобное задание можно, придумав более подходящие дистракторы или переформулировав задание, например, следующим образом:

Инструкция: Выберите один правильный ответ.

Напряженное состояние работника, возникающее в процессе трудовой деятельности - это стресс:

1. внутриличностный

2. экологический

3. финансовый

4. профессиональный

17. Не следует использовать неправильные ответы из одного задания в качестве ответов к другим заданиям.

Приведем пример - предположим, что два таких задания находятся в одном тесте:

Инструкция: Выберите один правильный ответ.

Стресс, при котором организм мобилизуется, ощущается прилив сил, увеличивается работоспособность:

1. дистресс

2. эустресс

3. моностресс

4. аутостресс

Стресс, ведущий к истощению внутренних резервов организма:

1. эустресс

2. дистресс

3. аутостресс

4. моностресс

Соответственно выполнение одного задания является подсказкой для другого. Поправить такие задания возможно путем перефразирования варианта ответа, который содержит подсказку, или путем удаления второго задания.

К сожалению, нам не всегда удается соблюсти это требование при разработке заданий. Например, если проверять у обучающихся знание термина дистресс, то одним из дистракторов с большой вероятностью будет термин эустресс. На наш взгляд проверить понимание смысла термина эустресс тоже является значимым, так как необязательно, что человек, знающий определение термина дистресс, знает определение термина эустресс. Это же касается, например, заданий на знание определений всех видов ОСР, стратегий поведения в конфликте, стадий в динамике психофизиологических состояний и поведения пострадавших в очагах ЧС и т.д. Кроме того, это требование противоречит принципам однородности и фасетности содержания задания, которые мы рассматривали в предыдущем параграфе.

18. Положение правильного ответа должно быть случайным, не подчиняться какой-либо закономерности.

Здесь идет речь о том, что нельзя допускать того, чтобы правильный ответ всегда занимал первую позицию в списке вариантов ответа, или всегда занимал вторую позицию, или всегда последнюю позицию и т.д. Положение правильного ответа необходимо чередовать от задания к заданию.

19. Все ответы должны быть грамматически согласованными с основной частью задания теста.

Например:

Инструкция: Выберите один правильный ответ.

Решение об организации телефона «Горячая линия», её месторасположении и сроках работы принимается:

1. начальником НЦУКС

2. специалист по психологическому обеспечению НЦУКС

3. начальник ОШ ЛЧС

В приведенном примере дистракторы 2, 3 грамматически несогласованны с основной частью задания, что является подсказкой для тестируемых. Исправить это задание можно, изменив окончания дистракторов.

20. Если ответ выражен в форме числа, то, как правило, эти числа должны располагаться упорядоченно от меньшего к большему или наоборот.

Помимо перечисленных требований к формулировке тестовых заданий и демонстрации типичных ошибок, возникающих вследствие нарушения этих требований, следует перечислить еще некоторые правила, следование которым позволит разработать качественный, единообразный инструмент контроля уровня знаний в системе психологической подготовки МЧС России. Невыполнение этих требований при разработке теста также расценивается как ошибка.

Во-первых, следует избегать несоответствия содержания теста содержанию программы, как типовой, так и учебной, а именно: в тесте не должно быть вопросов, рассмотрение которых выходит за рамки инвариантных разделов/раздела (в случае проведения текущего контроля уровня знаний) психологической подготовки.

Во-вторых, необходимо, чтобы количество заданий в тесте соответствовало следующим значениям. Для проведения пропедевтического и итогового контроля уровня знаний при получении специальности и повышении квалификации должен использоваться тест, состоящий из 60 тестовых заданий. Для проведения текущего контроля уровня знаний в рамках служебной подготовки должен использоваться тест, состоящий из 20 тестовых заданий.

Включение в вопросник множественного выбора большего или меньшего количества тестовых заданий, чем указанные значения, неверно. Это недопустимо, так как мы работаем в единой системе, и поэтому должны пользоваться единым инструментарием. Использование единого инструментария позволяет сопоставлять, сравнивать результаты контроля уровня знаний у профессиональных контингентов МЧС России, проводимого специалистами-психологами во всех регионах нашей страны.

В-третьих, на заполнение теста для проведения пропедевтического и итогового контроля уровня знаний при получении специальности и повышении квалификации должно отводиться не более 60 минут. На заполнение теста для проведения текущего контроля уровня знаний в рамках служебной подготовки должно отводиться не более 20 минут. Здесь важно подчеркнуть именно то, что тестируемым должно отводится НЕ БОЛЕЕ 20 или 60 минут (в зависимости от вида психологической подготовки). Некоторые специалисты готовы дать тестируемым столько времени, сколько им нужно. В таком случае результаты, которые будут получены по итогу тестирования, нельзя назвать объективными и надежными.

В-четвертых, в начале теста должна быть помещена инструкция по его заполнению. Инструкция должна быть четкой, доступной, непротиворечивой, грамматически согласованной и содержать все необходимые сведения о том, что предстоит сделать тестируемому, как и в течение какого времени.

Подробнее о составлении инструкции изложено в параграфе 1.3.1.

Ошибки в составлении инструкции являются весьма распространенными. Например:

«Вам предстоит ответить на ряд вопросов. В вопроснике предлагаются вопросы с одним правильным вариантом ответа».

В этой инструкции не сказано, на какое количество заданий предстоит ответить тестируемым, каким образом отмечать правильный ответ, сколько времени у них на это есть. Вряд ли из такой инструкции тестируемый может понять, что ему предстоит сделать и как. Если предположить, что автор этой инструкции озвучил все необходимые данные вслух, то возникает вопрос, каким образом поймет что ему делать, например, тестируемый, опоздавший к началу заполнения теста, или невнимательно выслушавший ведущего тестирования.

Вместе с тем в этой инструкции сказано, что тестируемых ждет только один вид заданий, что является нарушением следующего, пятого, правила. Обязательным является использование заданий закрытого типа с выбором одного правильного ответа и с выбором нескольких правильных ответов. Желательным является использование заданий на установление последовательности. На наш взгляд, именно эти виды заданий наиболее эффективны для проверки знаний по инвариантным разделам психологической подготовки в системе МЧС России с учетом особенностей учебного материала и особенностей профессиональных контингентов МЧС России, а также с учетом тех технических и временных возможностей, которые у нас имеются.

В-шестых, важно знать правила подсчета баллов за выполненные задания и следовать им. В случае полностью правильного ответа за задание тестируемому присваивается 1 балл. В случае частично правильного ответа на задание, когда тестируемый не отметил всех правильных ответов, а отметил лишь некоторые из них, даже если отметил лишь один правильный ответ из нескольких правильных, а также не отметил ни одного из неправильных вариантов ответа, тестируемому присваивается 0,5 балла. Если тестируемый выбирает хотя бы один неправильный ответ из множества предлагаемых вариантов ответа, ему баллы не присваиваются.

И, в-седьмых, необходимо, чтобы присваиваемая обучающемуся оценка соответствовала результату, полученному им за тестирование. На настоящий момент мы руководствуемся следующими нормами. При коэффициенте уровня знаний 80% и больше – присваивается оценка «отлично», при коэффициенте 65-79% - оценка «хорошо», и при коэффициенте 50-64% - оценка «удовлетворительно». Однако после апробации тестов, эти нормы вероятнее всего изменятся.

Выводы по разделу 1

Подводя итог рассмотренному разделу, следует еще раз отметить, что одной из наиболее эффективных форм проверки уровня знаний в системе психологической подготовки МЧС России являются педагогические тесты. Педагогическим тестом называется инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения уровня знаний у обучающихся, изменение которых возможно в процессе систематического обучения.

Педагогические тесты являются обязательной вспомогательной формой контроля уровня знаний, но они не должны быть единственной формой контроля уровня знаний. Использование педагогических тестов при контроле уровня знаний не отменяет проведения устного экзамена или зачета.

Основными достоинствами педагогических тестов, в сравнении с традиционными методами аттестации, являются: большая объективность оценивания; возможность измерить уровень усвоения ключевых понятий, тем и разделов учебной программы; возможность для обучающихся проявить свои достижения; единообразие процедуры и критериев оценки для всех обучающихся и, соответственно, равные для всех возможности выполнения тестовых заданий.

При разработке педагогических тестов в системе психологической подготовки МЧС России считаем целесообразным опираться на нормативно-ориентированный подход. Это обусловлено тем, что при создании тестов мы ставим перед собой следующие цели. Во-первых, это разработка норм выполнения теста для всех профессиональных контингентов МЧС России, проходящих психологическую подготовку. И, во-вторых, это определение уровня знаний у профессиональных контингентов МЧС России по основным разделам психологической подготовки и его места по отношению к норме.

Кроме того, считаем необходимым при разработке тестов использовать следующие виды тестов.

С точки зрения процедуры создания, разрабатываемые тесты должны являться стандартизированными. Стандартизация подразумевает единообразие процедуры проведения тестирования и оценки получаемых результатов. Для того чтобы результаты, полученные разными людьми, были сравнимы, условия тестирования должны быть одинаковыми для всех. Основными принципами, положенными в основу стандартизации процедуры проведения тестирования являются одинаковость условий для всех респондентов, одинаковые инструкции и четкое, однозначное их понимание респондентами. Стандартизация теста является одним из обязательных условий возможности определения совокупности тестовых заданий как теста.

С точки зрения средств предъявления, следует использовать бланковые тесты – с использованием тестовых тетрадей и компьютерные.

По степени однородности заданий, разрабатываемые тесты должны быть гомогенными.

Выбор именно этих видов тестов обусловлен целями тестирования, особенностями учебного материала, особенностями профессиональных контингентов, с которыми мы работаем и нашими техническими возможностями.

Отличительной особенностью тестов является то, что в качестве составляющих тест должен включать не менее трех элементов, а именно: систему тестовых заданий, зафиксированную документально технологию предъявления и отработанную систему проверки, обработки и анализа результатов, которые должны составлять единство.

Тестовое задание - это основная часть теста, которая состоит из инструкции для обучающихся, текста задания, имеет однозначный правильный ответ и может быть охарактеризована набором показателей (трудностью, дискриминативностью). В инструкции к тестовому заданию должно быть прописано, что предстоит сделать тестируемому, какого рода задания ему встретятся, каким образом отмечать правильный вариант ответа; сколько времени у него есть на заполнение теста. Если есть какие-то дополнительные условия проведения тестирования, их также необходимо прописать в инструкции. Текст задания представляет собой содержательное наполнение задания. Мы придерживаемся точки зрения, что содержательная часть задания должна быть сформулирована в форме утверждения, которое тестируемому необходимо продолжить правильным, на его взгляд, вариантом ответа. Наличие однозначно правильного варианта ответа является обязательным атрибутом тестового задания, которое должно быть обеспечено разработчиком теста.

Тестовые задания разделяют на несколько типов и видов. Выделяют тестовые задания двух типов: открытого и закрытого. Задания открытого типа имеют два вида: задания дополнения и задания свободного изложения. Задания закрытого типа имеют пять видов: задания альтернативных ответов, задания множественного выбора с одним правильным ответом, задания множественного выбора с несколькими правильными ответами, задания на восстановление соответствия и задания на восстановление последовательности.

Каждый из этих видов заданий позволяет проверить специфические виды знаний. Выбор вида задания зависит от цели тестирования и содержания учебного материала, от особенностей аудитории, от технических возможностей и уровня подготовленности разработчика в области теории и методики контроля уровня знаний. Желательно, чтобы задания в тесте были максимально разнообразными. Во-первых, это позволяет отодвинуть порог утомления у тестируемых, а, во-вторых, для разных элементов содержания подходят разные виды заданий.

Исходя из этого, в системе психологической подготовки МЧС России мы считаем обязательным использование заданий множественного выбора с одним правильным ответом и заданий множественного выбора с несколькими правильными ответами. Также мы считаем желательным использование заданий на восстановление последовательности. Мы не используем задания на установление соответствия в связи с тем, что существуют трудности, касающиеся оформления этого вида заданий в программе АИС «Психолог». Что касается заданий открытого типа, то, на наш взгляд, их выполнение может вызвать у профессиональных контингентов МЧС России большее сопротивление, нежели выполнение заданий закрытого типа. Кроме того, исходя из опыта проведения зачетов по психологии у профессиональных контингентов МЧС России, сформировалось предположение, что у них могут возникнуть сложности в формулировании правильного ответа к заданиям открытого типа. Нередко на зачетах по психологии специалисты МЧС России объясняют ответы на вопросы «своими словами», опираясь на свой жизненный и профессиональный опыт, и минуя психологические термины. Разговор «на разных языках» значительно усложнит процедуру формализации правильного ответа. Нашей задачей является не заставить специалистов МЧС России выучить психологическую терминологию, а помочь научиться понимать её, дать специалистам знания, инструментарий, которые позволят им оптимизировать свое психическое состояние и более эффективно выполнять свои профессиональные обязанности.

При разработке тестовых заданий следует соблюдать требования к формулировке тестовых заданий, а также помнить о следующих правилах. Во-первых, содержание теста должно соответствовать содержанию программы, как типовой, так и учебной, а именно: в тесте не должно быть вопросов, рассмотрение которых выходит за рамки инвариантных разделов/раздела (в случае проведения текущего контроля уровня знаний) психологической подготовки.

Во-вторых, для проведения пропедевтического и итогового контроля уровня знаний в рамках получения специальности и повышения квалификации должен использоваться тест, состоящий из 60 тестовых заданий. Для проведения текущего контроля уровня знаний в рамках служебной подготовки должен использоваться тест, состоящий из 20 тестовых заданий.

В-третьих, на заполнение теста для проведения пропедевтического и итогового контроля уровня знаний при получении специальности и повышении квалификации должно отводиться не более 60 минут. На заполнение теста для проведения текущего контроля уровня знаний в рамках служебной подготовки должно отводиться не более 20 минут.

В-четвертых, в начале теста должна быть помещена полная инструкция по его заполнению. Формулировка инструкции должна быть подробной, четкой, непротиворечивой, грамматически согласованной.

В-пятых, необходимо соблюдать правила подсчета баллов за выполненные задания. В случае полностью правильного ответа на задание тестируемому присваивается 1 балл. В случае частично правильного ответа на задание, когда тестируемый не отметил всех правильных ответов, а отметил лишь некоторые из них, даже если отметил лишь один правильный ответ из нескольких правильных, а также не отметил ни одного из неправильных вариантов ответа, тестируемому присваивается 0,5 балла. Если тестируемый выбирает хотя бы один неправильный ответ из множества предлагаемых вариантов ответа, ему баллы не присваиваются.

И, в-шестых, необходимо, чтобы присваиваемая обучающемуся оценка соответствовала результату, полученному им за тестирование. На настоящий момент мы руководствуемся следующими нормами. При коэффициенте уровня знаний 80% и больше – присваивается оценка «отлично», при коэффициенте 65-79% - оценка «хорошо», и при коэффициенте 50-64% - оценка «удовлетворительно». Однако после апробации тестов, эти нормы вероятнее всего изменятся.

Следующей отличительным элементом тестов, после системы тестовых заданий, является зафиксированная документально технология предъявления. В технологии предъявления должно быть прописано каким образом должно проходить тестирование, сколько времени тестируемым отводится на выполнение теста, какими должны быть инструкции тестируемым, обстановка тестирования, требования к помещению, в котором планируется проведение тестирования. Вместе с тем следует заблаговременно распределять функции специалистов, участвующих в проведении тестирования (кто выдает и собирает тестовые материалы, кто следит за временем выполнения теста и т.д.).

И последняя отличительная особенность теста – это отработанная система проверки, обработки и анализа результатов тестирования. Она представляет собой процедуру проверки результатов тестирования, зафиксированные правила оценивания результатов тестирования (оценочная схема, ключ) и анализ полученных результатов.

Таким образом, когда специалисту необходимо провести проверку уровня знаний у таких профессиональных контингентов, как: спасатели, сотрудники ВГСЧ, пожарные, сотрудники МЧС России, зачисленные в кадровый резерв, психологи, то ему следует обратиться в ФКУ ЦЭПП МЧС России для получения необходимого перечня вопросов или сформировать требуемый бланк вопросника с помощью АИС «Психолог». Полученный перечень вопросов следует внимательно проверить на предмет соответствия целей тестирования, стоящих перед специалистом, и имеющегося в наличии вида теста, а также на предмет соответствия тестовых заданий в тесте типовой и учебной программам. Кроме этого следует проверить наличие всех необходимых элементов в конструкции как теста в целом, так и тестовых заданий в отдельности; определить использованы ли в тесте все необходимые виды тестовых заданий и насколько разработанные тестовые задания соответствуют требованиям к формулировке тестовых заданий.

Несмотря на то, что в АИС «Психолог» имеется банк тестовых заданий для разных профессиональных контингентов МЧС России, у специалистов-психологов может возникнуть необходимость самостоятельной разработки педагогических тестов. Такая необходимость может возникнуть в том случае, если перед специалистами стоит задача провести проверку уровня знаний у иных профессиональных контингентов, не перечисленных выше, например, у курсантов ФГБОУ ВПО МЧС России, или провести проверку уровня знаний по специальным дисциплинам психологической подготовки. В этом случае специалистам необходимо знать не только теоретические основы педагогического теста, но и уметь разрабатывать педагогические тесты, используя схему разработки педагогического теста, изложенную, в следующем разделе.