Разработка тестов и анкет для национальной оценки учебных достижений. Книга 2

НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ 161

зи). Администраторы должны убедиться, что ни одно из заданий не воспринимается респондентами как раздражающее, потому что оно затрагивает деликатные вопросы.

Более формальный статистический анализ ответов может указать на те варианты, которые нуждаются в более четкой дифференциации. Например, в том случае, если большинство уча- щихся выбирает какой-либо один вариант, для получения более точной информации его следует разбить на несколько.

Если диапазон возможных ответов на задание является очень большим и трудным, то в ходе предварительной проверки анкеты задание нужно предъявить в открытой форме. После этого ответы респондентов могут быть классифицированы и использованы для разработки вариантов для заданий с множественным выбором в окончательной анкете.

ГЛАВА10

КОДИРОВАНИЕ ОТВЕТОВ НА АНКЕТЫ

Для последующего ввода данных варианты ответов должны быть закодированы. Кодирование бывает буквенным или цифровым.

Буквенные коды подразумевают, что респонденты должны обвести букву, которой обозначен выбранный ими вариант. Для учащихся младших классов этот метод является не совсем подходящим. Люди с ограниченной грамотностью могут отвечать, заштриховывая соответствующий кружок или помечая нужный квадратик «галкой». В последнем случае предпочтительнее цифровое кодирование.

Если используется цифровое кодирование, то первому варианту ответа обычно присваивается цифра 1, второму – 2 и т.д. Ввод данных более эффективен, если коды напечатаны на анкете. Может использоваться шрифт без каких-либо выделений, как показано в дополнительном материале 10.1. В приведенном примере номера вариантов ответов обозначены под квадратиками: пешком – ответ 1, на общественном транспорте – 2 и т.д. Учащийся ставит метку в выбранном ими квадратике. Специалист по вводу данных вводит номер квадратика, выбранного учащимся.

Дополнительный материал 10.1

Пример êодирования ответов без выделения

Сеãодня я добирался до шêолы

пешêом на общественном транспорте на личном транспорте 1 2 3

на êаêом-либо животном 4

Источниê: разработêи авторов.

Дополнительный материал 10.2

Пример рассмотрения êаждоãо варианта ответа в отдельности при вводе данных

Если Вы отсóтствовали на прошлой неделе, óêажите однó или несêольêо причин.

Я болел. 1

Я должен был помочь родителям. 1

Была плохая поãода. 1

У меня не было еды. 1

У меня были проблемы в семье. 1

У меня не было чистой или подходящей по поãоде одежды. 1

Дрóãое___________________________________. 1

Источниê: разработêи авторов.

Если на какое-либо задание можно дать несколько ответов, то при вводе данных и их обработке каждый из них нужно рассматривать в отдельности. Это позволяет проследить, из каких вариантов каждый респондент выбирал подходящие для себя. В дополнительном материале 10.2 приведен вопрос и ряд воз-

КОДИРОВАНИЕ ОТВЕТОВ НА АНКЕТЫ 165

можных ответов. При вводе данных он рассматривается как восемь отдельных вопросов. Первый вариант («Я болел») кодируется или цифрой 1, или как пропущенный (если он не выбран), подобным образом кодируются второй («Я должен был помочь родителям»), третий («Была плохая погода») и так далее для каждого из восьми вариантов.

ПОДГОТОВКА АНКЕТ ДЛЯ ВВОДА ДАННЫХ

Данные анкет могут быть обработаны с помощью специального оборудования или введены вручную. Если будет использоваться сканер, макет анкеты необходимо разрабатывать исходя из задачи сканирования.

Если ввод данных осуществляется вручную, в том случае, когда варианты ответов были закодированы прямо в анкете, информация может быть введена непосредственно из нее. Специалисты по вводу данных могут столкнуться с определенными трудностями, поскольку им необходимо постоянно поддерживать высокий уровень точности ввода, особенно если они незнакомы с этим видом работы. На точность ввода также может негативно повлиять частое изменение расположения заданий или большое количество возможных вариантов ответов.

Ввод данных можно облегчить, если эксперты обозначат код для выбранного варианта слева от номера задания. Тогда ввод данных просто сведется к занесению в компьютер соответствующих кодов. Если для кодов добавить специальные чуть заштрихованные квадратики, то процесс ввода данных станет еще более эффективным.

КОДИРОВАНИЕ ПРОПУЩЕННЫХ ИЛИ НЕОДНОЗНАЧНЫХ ОТВЕТОВ

Иногда респонденты не отвечают на задания или отвечают на них двусмысленно, например выбирают больше одного варианта ответа в тех случаях, когда предложенные ответы взаимно исключают друг друга.

Информация о пропущенных ответах позволяет определить, были ли респонденты единодушны в пропуске определенных заданий, поскольку не могли ответить на них, и выявить определенные тенденции, если они имеются. Например, если никто не ответил на задания в конце анкеты, то это указывает на ее чрезмерную длину. Или если в нескольких анкетах пропущен ответ на определенный вопрос, то это может означать, что он расположен слишком близко к другим заданиям и поэтому его легко пропустить. Сведения о неоднозначных ответах позволяют судить о ясности и точности формулировки.

Специалист по вводу данных должен знать, как закодировать пропущенные или неоднозначные ответы. Коды, используемые для пропущенных или неоднозначных ответов, должны отличаться от кодов, используемых для категорий ответов, чтобы не возникло путаницы.

Для обозначения пропущенных заданий или заданий, которые никто не пытался выполнить, можно использовать букву алфавита, например X. Неоднозначные ответы можно обозначить другой буквой, например Y. Для пропущенных заданий с множественным выбором в тестах используют код 9 и код 8 – для заданий, в которых учащиеся выбрали два или больше вариантов ответа. Эти коды обычно не используются для анкет, потому что некоторые вопросы в них вполне вероятно будут иметь 8 или 9 вариантов ответов.

ГЛАВА11

СООТВЕТСТВИЕ ДАННЫХ АНКЕТ И ТЕСТОВ

При установлении соответствия между результатами тестов и данными анкет необходимо руководствоваться потребностями анализа и сообщения испытуемым результатов. Все связующие элементы перед сбором данных должны быть ясно и однозначно установлены. Любую ошибку в соответствии, обнаруженную после сбора данных, выявить, скорее всего, будет невозможно или очень трудно. Такие ошибки могут привести к отказу от некоторых запланированных исследований.

АНКЕТЫ ДЛЯ УЧАЩИХСЯ

Самый легкий способ установления соответствия между данными анкетирования и тестирования – напечатать тесты и анкеты в одном буклете. Учащийся записывает в нем свое имя, а администратор по тестированию гарантирует, что испытуемый работает в его или ее собственном буклете на каждой сессии тестирования.

Если тесты и анкеты являются отдельными документами, то один из методов установления соответствия данных – напе- чатать или маркировать и тесты и анкеты именами учащихся.

Имена берутся из школьной ведомости и должны быть идентичными. Ясность и четкость написания имен должен обеспе- чить тот же администратор по тестированию.

Если отдельные буклеты и анкеты не могут быть предварительно помечены именами, то анкеты учащихся должны вклю- чать достаточно информации для идентификации соответствия, чтобы обеспечить согласованность данных тестирования и анкетирования. Желательно поместить на обложке идентификационный номер (ID), удостоверяющий личность учащегося, и гарантировать, что учащиеся используют один и тот же номер на тестовом буклете и анкете. За этим должен следить администратор по тестированию. Для специалиста по анализу данных также необходим список имен учащихся и их идентификационных номеров, потому что имена могут быть «запасным вариантом» для установления соответствия в тех случаях, когда встре- чаются ошибки в номерах ID.

Использование только одних имен учащихся для установления соответствия форм не желательно. Если на каждой паре теста и анкеты имена абсолютно идентичны и вводятся тождественно специалистом по обработке данных без проверки ошибок, то компьютер не сможет установить соответствие. Соответствие придется устанавливать вручную, что отнимет много времени и будет дорого по осуществлению. Некоторые учащиеся дополнительно усложнят установление соответствия имен за счет использования различных их вариантов (например, сокращенные формы имени или фамилии, религиозные имена) в тесте и в анкете, либо напишут неразборчиво на одной или более формах, или пропустят свое имя на одной или более формах.

АНКЕТЫ ДЛЯ РОДИТЕЛЕЙ

Данные анкет для родителей обычно соотносят с данными уча- щихся. Соответствие будет, скорее всего, устанавливаться с помощью имен учащихся. Здесь будут возникать те же самые проблемы, которые были отмечены для анкет учащихся. Про-

цедуры анализа данных должны проводиться таким образом, чтобы гарантировать их согласованность.

АНКЕТЫ ДЛЯ ОПРОСА ПРЕПОДАВАТЕЛЕЙ И ДИРЕКТОРОВ ШКОЛ

Данные анкет для преподавателей и директоров школ обычно соотносят только с данными по классу и школе. Если класс уча- щегося известен, то информация о преподавателе может использоваться для анализа данных испытуемого. Администратор по тестированию должен проверить, чтобы преподаватели и директора школ обеспечили эту информацию по анкете.

Когда анкеты возвращают из школ, данные по анкетам по каждой школе должны быть сохранены в отдельной матрице. Таким образом, даже если информация по школе не была собрана по некоторым анкетам, можно получить релевантную информацию из данных по другим анкетам в той же самой матрице.