имя файла, в котором находятся тестовые задания, входящие в тест.

1. Содержательная часть:

• документы, регламентирующие содержание тестовых заданий (нормативы Министерства образования и науки Украины, нормативы, утвержденные в университете, рабочие программы и т.п.);

• учебники, учебные пособия, методические указания, рекомендуемые для подготовки к тестированию;

• план раскладки тестовых заданий в виде таблицы (см. табл. 2.2);

• требования к уровню подготовки. Перечень знаний, умений, проверяемых тестом (знание фактов, понятий, знание названий, имен, знание смысла названий и имен, знание определений, сравнительно сопоставительные знания, умения классифицировать и систематизировать, умения применять предметные знания для решения…, умения устанавливать причинно-следственные связи между…, умения распознавать, определять, сравнивать и сопоставлять… и т.п.);

• матрица содержания теста в виде табл. 2.3;

• количество вариантов теста (например, 10 вариантов по 60 заданий);

• формы представления тестовых заданий (например, А –альтернативная (двойная альтернатива) форма, Б – множественный выбор – с одним правильным ответом, В – открытая форма и т.п.);

• порядок предъявления тестовых заданий (в порядке следования, в случайном порядке, по случайно выбранной части заданий, по выбору обучаемого, в порядке сложности и т.п.);

• время тестирования (на тест, по каждому заданию, без ограничения и т.п.);

• система оценивания (балльная, зачетная и т.п.);

• шкала оценок (по проценту верных ответов, в соответствии с коэффициентом усвоения и т.п.);

• разрешение выдачи сообщения об оценке ответа («Верно», «Неверно») на каждое задание, наличие подсказок, ссылок на теоретический материал (при самоконтроле) и т.п.

2. Приложение к спецификации теста.

Приложение к спецификации теста включает в себя содержание всех тестовых заданий, входящих в тест, например, в виде табл 2.11 (оценивание результатов тестирования осуществляется в соответствии с коэффициентом усвоения).

Разработанную таким образом спецификацию и приложение к ней, подписанные авторами, экспертами и другими должностными лицами, передают в группу специалистов, ответственных за проведение компьютерного тестирования.

6.Обработка и интерпретация результатов тестирования

По мнению Г.А. Атанова [3, с. 229], можно придумать 40 ‑ 60 тестовых заданий различного типа, собрать их вместе, можно даже назвать получившееся тестом и использовать в работе, но в научном понимании это тестом не будет. Это будет заготовка теста. Для того чтобы тест соответствовал требованиям инструмента измерения уровня обученности студентов и позволял результаты их тестирования интерпретировать адекватно, необходимо определить статистические показатели по тесту для репрезентативных групп испытуемых, чем достигается сопоставимость получаемых результатов у разных испытуемых.

Таблица 2.11

Содержание тестовых заданий

6.1.Первичная экспертиза теста и тестовых заданий

В первую очередь разработанный вариант тестовых заданий должен пройти редактирование и первичную экспертную оценку. Основной задачей редактирования является проверка тестовых заданий на научно-техническую грамотность. Отредактированные тесты передаются преподавателям – экспертам в данной предметной области, которые проверяют соответствие тестовых заданий рекомендациям и требованиям.

Пример перечня требований к качеству тестовых заданий:

1. К содержанию теста:

• соответствие цели;

• наличие ключевых, сущностных знаний;

• научная достоверность;

• соответствие уровню современного состояния науки;

• возрастающая трудность тестовых заданий;

• гибкость содержания;

• системность содержания;

• комплексность содержания тестовых заданий;

• взаимосвязь содержания и формы тестового задания.

2. На наличие технических дефектов:

• грамматические подсказки;

• логические подсказки;

• абсолютные термины;

• повторение слов;

• длинный правильный ответ;

• тенденция к конвергенции;

• чрезмерная сложность вариантов ответа;

• бессистемное выражение цифровых данных;

• наличие неопределенных терминов;

• стилистическая неоднородность вариантов ответа;

• сложное и запутанное условие задания.

3. Функциональные требования:

• соответствие тестовых заданий контролируемому уровню усвоения знаний, умений, навыков;

• наличие тестовых заданий, соответствующих нескольким уровням усвоения деятельности в случае итогового тестирования (тест-лестница).

После первичной экспертизы и корректирования тестовых заданий проходит первичное тестирование на репрезентативной выборке студентов.

При проведении тестирования необходимо использовать все факторы и обстоятельства, которые могут каким-либо негативным образом проявиться при проведении тестирования. Это, в первую очередь, обеспечение максимальной защищенности тестовых заданий от попыток несанкционированного доступа до начала тестирования. Ответственность за выполнение этого требования лежит как на разработчиках и экспертах тестовых заданий, так и на техническом персонале, который, в силу специфики своей работы, имеет доступ ко всем ресурсам информационных систем (системные администраторы).

Отдельно следует отметить факторы, которые могут негативно влиять на состояние студентов во время проведения тестирования. Это и температура воздуха в помещениях (слишком жаркие или, наоборот, холодные аудитории), и освещенность (прямой солнечный свет), и различные отвлекающие воздействия (шум и т.п.). Поэтому перед проведением тестирования (особенно, если это очень важное для студентов испытание – выпускное тестирование, лицензирование, сертификация) следует предусмотреть все перечисленные выше факторы и выбрать аудиторию, которая будет максимально соответствовать предъявляемым требованиям.

Что касается непосредственного проведения тестирования, то здесь нужно сконцентрировать все внимание на соблюдении тишины и порядка в учебных аудиториях, тем самым исключив возможность списывания ответов.

6.2.Формирование матрицы результатов тестирования

После первичной экспертизы проходит первичное тестирование на репрезентативной выборке студентов, в результате которого определяются количественные и качественные параметры теста и тестовых заданий (надежность теста, трудность, дискриминативность, валидность тестовых заданий и т.п.). На основании этого анализа отбираются тестовые задания и делают вывод о возможности внедрения теста в учебный процесс.

Рассмотрим простейшие статистические методы расчета качественных показателей теста и тестовых заданий.

При вычислении статистических показателей большое значение имеют объем и состав выборки тестируемых. Исследование надежности тестов можно проводить на выборках не менее 200 тестируемых [7, с. 170]. Состав выборки должен отражать ту категорию студентов, для которой предназначен тест. Так, например, если тест разработан для студентов первого курса технических специальностей по дисциплине «Высшая математика», то все статистические показатели для данного теста должны быть получены на этой специализированной выборке студентов, а не на выборке, в состав которой входят студенты старших курсов или студенты гуманитарных специальностей.

Исходными данными для качественного анализа результатов первичного тестирования являются: количество тестируемых, количество тестовых заданий, количество баллов, полученных тестируемыми за выполнение каждого тестового задания (например, 1 балл ‑ за правильный ответ, 0 баллов ‑ за неправильный ответ). Для удобства обработки результатов тестирования эти параметры заносятся в так называемую матрицу результатов тестирования.

В качестве исходных данных для анализа теста и тестовых заданий воспользуемся результатами тестирования [1, 3] десяти испытуемых по двенадцать тестовых заданий, которые приведены в табл. 2.12.

В табл. 2.12 приняты следующие обозначения: X_i - суммарный балл, набранный каждым испытуемым по 12 заданиям, R_j – количество правильных ответов по каждому заданию, набранных всеми испытуемыми, Wj – количество неправильных ответов по каждому заданию, набранных всеми тестируемыми.

Результаты тестирования показывают, что тестовые задания 2, 7 не являются рабочими, поскольку на второе задание ответили правильно все испытуемые. Таким образом, оно является легким. На седьмое задание никто не ответил правильно, поэтому оно для данной группы испытуемых является трудным. Величина вариации баллов по этим заданиям равна нулю. Эти задания не позволяют разделить испытуемых по их успешности, поэтому из теста они удаляются.

Таблица 2.12

Результаты тестирования

Количественной мерой вариации является значение дисперсии баллов, обозначаемой символом . Для заданий, в которых используется только дихотомическая оценка (1 или 0), мера вариации определяется по формуле

, (2.1)

где - доля испытуемых, ответивших правильно на тестовое задание; - доля испытуемых, ответивших неправильно на тестовое задание.

Вариация тестовых баллов испытуемых, набранных ими в тесте, по всем заданиям определяется по формуле

, (2.2)

где - среднее арифметическое тестового балла, - значение балла, N – число тестируемых.

Для удобства в интерпретации тестовых результатов вместо дисперсии часто используют стандартное отклонение тестовых баллов. Оно обозначается символом и вычисляется как корень квадратный из значения по формуле

= . (2.3)

Значения дисперсии и стандартного отклонения должны быть настолько большими, насколько это возможно, так как это означает, что тест является эффективно дискриминирующим [7, с. 106]. При малом значении дисперсии и стандартном отклонении необходимо вводить новые тестовые задания.

В матрице результатов тестирования записаны, так называемые, «сырые баллы». Для сравнения «сырых» баллов различных студентов и для адекватной интерпретации результатов тестирования необходимо «сырые» баллы перевести в стандартные шкалы. Пример перевода «сырых баллов» в стандартные шкалы приведен в Приложении И.

6.3.Разработка и анализ корреляционной матрицы

После предварительного анализа на трудность тестовых заданий и удаления нерабочих заданий, а также упорядочивания испытуемых по суммарному количеству набранных баллов и тестовых заданий по их трудности (слева на право) получают упорядоченную матрицу результатов тестирования, элементы которой приведены в табл. 2.13.

После корректировки матрицы рассчитываются корреляционные связи между результатами по каждому заданию и суммой баллов для каждого испытуемого, а также попарно между всеми результатами по всем заданиям. Коэффициент корреляции можно рассчитать по формуле Пирсона

, (2.4)

где y и z – параметры, связь между которыми рассчитывается, SP_yz – сумма произведений отклонений y и z от их средних значений, вычисляемая по формуле

, (2.5)

где SS_y, SS_z – сумма квадратов отклонений по y и z от его среднего значения, вычисляемая по формуле

(2.6)

Таблица 2.13

Упорядоченная матрица результатов тестирования

Для вычисления коэффициента корреляции можно воспользоваться стандартными приложениями, например, приложением MS Excel. Так, для определения коэффициента корреляции между результатами по первому заданию и суммой баллов для каждого испытуемого необходимо в качестве первого аргумента функции КОРРЕЛ(арг1; арг2) задать диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по первому заданию (столбец 1 в табл.2.13), а в качестве второго аргумента задать диапазон ячеек, в которых хранятся значения суммарного балла для каждого испытуемого (столбец - суммарный «сырой балл», X_i в табл. 2.13).

При вычислении коэффициента корреляции между результатами ответов первого и второго заданий в качестве первого аргумента задается диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по первому заданию (столбец 1 в табл. 2.13), а в качестве второго аргумента задается диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по второму заданию (столбец 2 в табл. 2.13).

Вычисленные таким образом коэффициенты связи между заданиями и между заданием и суммарными баллами каждого испытуемого приведены в табл. 2.14.

Таблица 2.14

Корреляционная матрица

В табл. 2.14 приняты следующие условные обозначения: Rj – средний коэффициент корреляции, R_jк – средний коэффициент корреляции после корректирования теста, Rx_ijx_i – коэффициент корреляции между результатами заданий и суммой баллов для каждого испытуемого. Число столбцов и строк в матрице равно числу заданий.

Считается [1, 3, 7], что тест валиден по способности дифференцировать испытуемых по результатам тестирования, если значение коэффициента корреляции R_j не ниже 0,3. Из табл. 2.14 видно, что для тестовых заданий 3, 8 значение коэффициента корреляции равно соответственно 0,12 и 0,20, в связи с этим задания 3 и 8 удаляются из теста. После удаления этих заданий средний коэффициент корреляции увеличился, что отображено в последней строке табл. 2.14. Такая корректировка теста проходит в несколько этапов до тех пор, пока при первом использовании теста все коэффициенты корреляции будут больше чем 0,3 [3, с. 235].

6.4.Трудность тестового задания

Для определения трудности тестового задания вычисляется индекс трудности по формуле

,

где N₁ – количество испытуемых правильно выполнивших задание; N – общее количество испытуемых. В зависимости от величины индекса трудности тестовые задания анализируют согласно табл. 2.15 [15].

Таблица 2.15

Индекс трудности тестового задания

В настоящее время в качестве параметра, определяющего меру трудности тестового задания, используют логит трудности тестового задания [2], который вычисляют по формуле

,

где – доля правильных ответов испытуемого; у_i - число правильных ответов испытуемого на к заданий; q_j – доля неправильных ответов испытуемого, определяемая по формуле q_j=1- p_j. Для оценки уровня знаний введен количественный параметр логит уровня знаний, определяемый по формуле:

.

Логарифмические оценки позволяют сравнивать трудность тестового задания с уровнем знания [2].

В качестве примеров анализа качества тестовых заданий в зависимости от индекса трудности рассмотрим результаты тестирования, приведенные в работе Сьюзан М. Кейс и Дэвида Б. Свенсон [15, c. 102]. Тестируемые студенты были разделены на лучшую (Hi) и худшую (Lo) группы. При небольшом количестве экзаменуемых рекомендуется включить в группу Hi 50% лучших студентов, а оставшихся в группу − Lo.

В приведенных примерах для каждого варианта ответа показан процент студентов, выбравших данный ответ в качестве правильного. Последняя строка в табл. 2.16 – 2.22 содержит проценты ответов по всей группе тестируемых. Индекс трудности рассчитывается по формуле (2.7).

Пример 1. В табл. 2.16 в группе Hi ответ А выбрали 1% студентов, ответ В – 1%, С – 94%, D – 4%, E – 1%, F – 2%. В этом же тестовом задании в группе Lo ответ А выбрали 21%, В – 6% и т.п.

Таблица 2.16

Результаты тестирования (ТЗ № 1)

Для этого тестового задания Р_d = 2, индекс дискриминации – 0,05, а правильным является второй ответ.

Интерпретация тестового задания № 1: типичный пример тестового задания с некорректно выбранным правильным ответом. Если правильный ответ – В, то задание является сложным с отрицательным индексом дискриминации, а количество студентов, правильно ответивших на него, равно только 2%. Напрашивается предположение, что правильным ответом является ответ С, но в этом можно убедиться только после анализа данного тестового задания экспертом по предмету. Если правильным окажется ответ С, то Р_d = 77, а индекс дискриминации – 0,41. Оба эти значения являются исключительно хорошими с точки зрения статистики, и нет смысла изменять тестовое задание.

Пример 2. Табл. 2.17 содержит результаты тестирования по второму заданию.

Для этого тестового задания Р_d = 76, индекс дискриминации – 0,30, а правильным является третий ответ.

Интерпретация тестового задания № 2: 91% тестируемых из группы Hi и 61% из группы Lo выбрали правильный ответ. Это отличные статистические данные. Следовало бы переписать ответы 1 и 2 перед тем, как снова использовать данное тестовое задание, поскольку лишь отдельные студенты выбрали их.

Таблица 2.17

Результаты тестирования (ТЗ № 2)

Пример 3. Табл. 2.18 содержит результаты тестирования по третьему заданию.

Для этого тестового задания Р_d = 34, индекс дискриминации – 0,30, а правильным является третий ответ.

Таблица 2.18

Результаты тестирования (ТЗ № 3)

Интерпретация третьего тестового задания: 51% тестируемых из группы Hi и 21% из группы Lo выбрали правильный ответ. Это очень сложное тестовое задание и его необходимо переделать или заменить. Слишком много тестируемых из группы Hi выбрали вариант 1; возможно, тестовое задание плохо сформулировано. Необходимо проверить, насколько хорошо изложен ответ 1 и убедиться в том, не является ли он также правильным.

Пример 4. Табл. 2.19 содержит результаты тестирования по заданию № 4.

Таблица 2.19

Результаты тестирования (ТЗ № 4)

Для этого тестового задания Р_d = 34, индекс дискриминации – 0,30, а правильным является третий ответ.

Интерпретация четвертого тестового задания: ответы на вариант 3 по группам Hi и Lo разделились, как в тестовом задании № 3, но с этим тестовым заданием может быть все в порядке. В отличие от тестового задания 3, тестируемые, не знающие правильного ответа, разделились по дистракторам, но желательно проанализировать ответы 1, 2, 4 на правильность и ясность формулировок.

Профессиональные ситуации представляют собой хороший материал для составления тестовых заданий. Одно из главных преимуществ использования профессиональных ситуаций заключается в том, что они помогают оценить применение знаний. Был проведен ряд исследований [20] для сравнения психометрических характеристик тестовых заданий, разработанных в трех форматах: задание 1-А − без использования ситуаций, задание 2-А − с использованием коротких ситуаций, задание 3-А − с использованием длинных ситуаций. Эта последовательность тестовых заданий была создана, чтобы обеспечить возрастающий уровень интерпретации, анализа и синтеза данных. Тестовые задания были включены в состав лицензионного экзамена студентам старших курсов медицинских школ США. Таблицы к заданиям указывают процентное отношение лучших (Hi) и худших (Lo) студентов (студенты, которые попали в группы с наиболее высокими и низкими результатами) (табл. 2.20 − 2.22). Почти все студенты из группы Hi (99%) и группы Lo (90%) выбрали правильный вариант ответа в формате без использования ситуации.

Задание 1-А (без использования ситуации).

Наиболее вероятная патология почек у детей с нефротическим синдромом и нормальной функцией почек – это:

1. острый постстрептококковый гломерулонефрит;

2. гемолитически-уремический синдром;

3. нефротический синдром с минимальными изменениями;

4. нефротический синдром вследствие фокального и сегментарного гломерулосклероза;

5. болезнь Шенлейна − Геноха с нефритом.

Таблица 2.20

Результаты тестирования заданий без использования ситуаций

Форматы с использованием коротких и длинных ситуаций не были значительно труднее для группы Hi, но явились таковыми для группы Lo: правильный ответ был выбран 82% студентов в формате с короткой ситуацией и 66% - в формате с использованием длинной ситуации.

Задание 2-А ( с использованием короткой ситуации).

У двухлетнего мальчика наблюдаются отеки на протяжении недели. Артериальное давление 100/60 мм рт ст, имеются генерализованные отеки и асцит. Сывороточная концентрация креатина 0,4 мг/дл, холестерина 569 мг/дл. В анализе мочи белок 4+, кровь отсутствует. Наиболее вероятный диагноз – это (варианты ответа те же).

Таблица 2.21

Результаты тестирования с использованием короткой ситуации

Задание 3-А (с использованием длинной ситуации).

У чернокожего двухлетнего мальчика наблюдается отечность глаз и лодыжек на протяжении последней недели. Артериальное давление 100/60 мм рт ст, пульс 110/мин и частота дыхания 28/мин. Помимо отечности глаз и отека лодыжек, у него наблюдается увеличение живота с положительным симптомом волны. Сывороточная концентрация креатина 0,4 мг/дл, альбумина 1,4 г/дл и холестерина 569 мг/дл. В анализе мочи белок 4+, кровь отсутствует. Наиболее вероятный диагноз – это (варианта ответы те же).

Таблица 2.22

Результаты тестирования с использованием длинной ситуации

6.5.Вычисление распределительной способности тестового задания

Для оценки уровня индивидуальной подготовки студентов, позволяющей отличить сильного студента от слабого, используют коэффициент дискриминативности, принимающий значение в интервале от –1 до 1 и характеризующий распределительную способность (РС) тестового задания. Для вычисления коэффициента дискриминативности на основе результатов тестирования необходимо:

1. поделить студентов на три группы:

• слабая –25% студентов, получивших самые низкие оценки;

• средняя –50% студентов, получивших средние оценки;

• сильная –25% студентов, получивших наиболее высокие оценки;

2. для каждого тестового задания, входящего в проведенный тест, вычислить долю студентов из сильной группы, правильно ответивших на данный вопрос (Р_hi); долю студентов из слабой группы, правильно ответивших на данный вопрос (P_lo);

3. определить коэффициент дискриминативности как разность между величинами Р_hi – P_lo.

Если значение этого коэффициента равно единице, то все студенты, получившие высокие оценки за весь тест, ответили на этот вопрос правильно и ни один из студентов, получивших низкие оценки за весь тест, не ответил на вопрос правильно. В этом случае можно почти со стопроцентной гарантией отличить сильного студента от слабого.

Отрицательные значения коэффициента дискриминативности обусловлены ошибочным указанием в тестовом задании неверного ответа, некорректной формулировкой задания.

Близкие к нулю (но положительные) значения коэффициента дискриминативности (0…0.3) могут быть обусловлены чрезмерной трудностью тестового задания, на которое не могут ответить ни «сильные», ни «слабые» студенты, или легкостью тестового задания, на которое могут ответить и «сильные», и «слабые» студенты. Такие тестовые задания необходимо исключить из теста или модифицировать тестовое задание (изменить формулировку или ответы).

По результатам первичного тестирования можно построить график распределения частот «сырых» баллов. Гипотетические графики распределения частот показаны на рис. 2.2.

Степень отклонения графика распределения частот измеряемого признака от симметричного вида относительно среднего значения называется асимметрией (As) (рис. 2.2).

Рис. 2.2 Распределение частот «сырых» баллов

Мерой плосковершинности или остроконечности графика распределения частот измеряемого признака является эксцесс (Ех)

(рис 2.2).

В зависимости от значения, знака асимметрии (As) и эксцесса (Ex) результаты тестирования можно сгруппировать в девять групп, которые определяют критерии качественного анализа теста. Интерпретировать значения асимметрии и эксцесса можно по табл. 2.23.

Таблица 2.23

Интерпретация значений асимметрии и эксцесса

Группа	Асимметрия (As)	Эксцесс (Ex)	Интерпретация текста
1	As = 0	Ex = 0	Валидный
2	As < 0	Ex > 0	Легкий, малая распределительная способность
3	As < 0	Ex < 0	Легкий, большая распределительная способность
4	As < 0	Ex = 0	Легкий
5	As > 0	Ex < 0	Сложный, большая распределительная способность
6	As > 0	Ex > 0	Сложный, малая распределительная способность
7	As > 0	Ex = 0	Сложный
8	As = 0	Ex > 0	Неоднородный, малая распределительная способность
9	As = 0	Ex < 0	Неоднородный, большая распределительная способность

6.6.Надежность теста

После предварительного тестирования вычисляется коэффициент надежности по следующей формуле [7, с. 172]:

= , (2.10)

где к – количество тестовых заданий; – квадрат стандартного отклонения для каждого тестового задания; – квадрат стандартного отклонения для «сырых» баллов всего теста.

Квадрат стандартного отклонения определяют по формуле

, (2.11)

где y_j– «сырой» тестовый балл j-го тестируемого; M_y – среднее значение «сырого балла» по всему тесту; n – количество тестируемых.

Квадрат стандартного отклонения для каждого тестового задания определяют по формуле

= , (2.12)

где X_ij – значение «сырого балла» по j-му тестовому заданию i-го тестируемого; X_icp – среднее значение «сырых баллов» по j-му тестовому заданию; n – количество тестируемых.

При необходимости быстрой оценки надежности теста применяют метод расщепления теста пополам. В этом случае все тестовые задания делятся на четные и нечетные и для каждого испытуемого вычисляют коэффициент надежности отдельно по тестовым заданиям с нечетными R₁ и четными R₂ номерами. Затем определяют корреляцию между R₁ и R₂ по формуле Пирсона (3.6) и оценивается надежность теста по коэффициенту Спирмена – Брауна, рассчитываемого по формуле

R_i= (2.13)

где - коэффициент корреляции Пирсона, характеризующий связь между двумя половинками теста – четными и нечетными заданиями.

Для вычисления коэффициента Спирмена – Брауна сформируем гипотетическую матрицу четных и нечетных тестовых заданий в табл. 2.24.

Коэффициент Спирмена – Брауна (вычисление будем выполнять с помощью приложения MS Excel) определяют в такой последовательности:

1. присваивают ячейкам, содержащим значение результатов тестирования четных заданий, «чет», а ячейкам, содержащим значение результатов тестирования нечетных заданий, «нечет» (в нашем случае эти значения находятся соответственно в столбцах с именами: Чет, R₂ и Нечет., R₁);

2. определяют коэффициент корреляции R₁₂ между результатами четных и нечетных заданий с помощью функции КОРРЕЛ(чет; нечет) (значение функции для матрицы четных и нечетных заданий равно 0,9546, см. табл. 2.14);

3. определяют коэффициент Спирмена – Брауна по формуле (3.12) (значение коэффициента равно 0,9767).

По мнению многих авторов тест считается надежным, если значение коэффициента Спирмена – Брауна превышает значение 0,8. В нашем случае для гипотетической матрицы четных и нечетных заданий он равен 0,9767. Таким образом, тест является надежным.

Для подтверждения достоверности показателя надежности необходимо измерить ретестовую надежность [7, c. 177]. П. Клайн выделяет два метода измерения ретестовой надежности. В первом случае одним и тем же испытуемым предлагают две взаимозаменяемые формы данного теста. Недостатком данного метода является то, что трудно подобрать два набора заданий, которые были бы эквивалентны.

Таблица 2.24

Матрица четных и нечетных заданий

№ п/п	Сумма баллов
1	Чет R2	Нечет R1
2	1	0
3	1	1
4	2	2
5	2	3
6	3	4
7	4	4
8	5	5
9	6	5
10	6	6
11	7	7

Во втором случае испытуемым предъявляется один и то же тест при двух тестированиях. Недостатком данного метода является то, что испытуемые могут помнить свои ответы, но, если между повторными тестированиями прошло много времени, то этот недостаток, по мнению П. Клайна, незначителен. Рекомендуемый интервал времени между тестированиями – не менее шести месяцев.

Определение точности коэффициента надежности. Точность коэффициента надежности можно оценить c помощью вычисления стандартной погрешности оценивания средней взаимной корреляции заданий во всей генеральной совокупности заданий, определяемой по формуле

,

где - стандартная погрешность оценивания в генеральной совокупности; - стандартное отклонение корреляции заданий внутри теста; К – количество заданий в тесте.

Из формулы (2.14) видно, что по мере возрастания стандартной погрешности этой оценки возрастают различия между корреляциями, а по мере возрастания К стандартная погрешность уменьшается. Таким образом, чем больше заданий, тем больше точность оценки коэффициента надежности. Для нормального распределения 68% всех средних корреляций выборки попадают в интервал между арифметическим средним плюс-минус одна величина стандартной погрешности, 95% попадают в интервал между арифметическим средним плюс-минус две величины стандартной погрешности. Тогда, например, для стандартного отклонения, равного 0,15, по формуле (2.14) для тестов, состоящих из 10, 20, 30 заданий, получаем следующие стандартные погрешности: для теста из 10 заданий − 0,02, для теста из 20 заданий − 0,01, для теста из 30 заданий − 0,007 [7, с. 37].

6.7.Валидность теста

Для определения содержательной валидности приглашаются эксперты (преподаватели) в данной предметной области. В соответствии с целью тестирования категорий студентов, для которых этот тест предназначен, знаний, умений, которые подлежат контролю, эксперты делают заключение о содержательной валидности. По содержанию тестовых заданий эксперты определяют также, соответствуют ли тестовые задания выявляемому уровню усвоения, т.е. определяют функциональную валидность. В дальнейшем о валидности судят по статическим показателям качественного анализа теста.

Так, валидное тестовое задание должно иметь следующие основные статистические показатели: надежность − не менее 0.7 [7, c. 195]; индекс трудности P_d − в пределах от 0.36 до 0.84; распределительную способность тестового задания − не менее 0.2, а значения коэффициентов асимметрии As и эксцесса Ex – близкие к нулю [15]. Если тестовые задания соответствуют заданным параметрам, то разработанные тестовые задания записываются в базу тестовых заданий, в противном случае они возвращаются автору на доработку с повторным анализом качества теста и тестовых заданий.

Заметим, что перечисленные статистические показатели являются основными. Предложены наиболее простые способы их вычисления. Преподаватели могут самостоятельно определить эти показатели и использовать для предварительной оценки качества теста и тестовых заданий. Для стандартизации теста должна быть проведена статистическая обработка результатов тестирования с помощью специальных (сертифицированных) компьютерных систем тестового контроля.

Приложение а. Примеры тестовых заданий закрытой формы

Тестовые задания с альтернативным выбором (дихотомические). Задания 1, 2, 3 являются примерами тестового задания 1-го уровня на опознание (рассматривая предъявленный объект, студенты отмечают, соответствует ли он поставленному вопросу, утверждению, ситуации или нет). В тестовых заданиях с альтернативным выбором неизвестным является принадлежность предмету (процессу, явлению) указанного признака. Область поиска ограничена одной из альтернатив.

Принято, чтобы одинаковые формы тестовых заданий сопровождались общей инструкцией. Эта форма тестовых заданий, например, может сопровождаться следующей общей инструкцией:

Каждое из тестовых заданий сопровождается двумя пронумерованными утверждениями (ответами). «Выделите правильный ответ» нажатием левой клавиши мыши (задание 1), или «Введите номер правильного ответа» (задание 2).

Содержание в задании 1 сконструировано по принципу импликации, в соответствии с которым проверяются знания причинно-следственных отношений. При этом используется логическая форма "Если…,то". Ответ в задании построен в соответствии с принципом противоречия, соответственно которому подбираются такие два ответа, чтобы второй отрицал первый.

Задание 1. Раздел «Система допусков и посадок», учебная дисциплина «Техническая механика».

Если разность между размером отверстия и размером вала положительная, то посадка является:

1) подвижной;

2) неподвижной.

.

Ответы в задании 2 сконструированы по принципу противоречия. В содержании задания есть суждение, которое студент должен подтвердить или опровергнуть.

Задание 2. Тема «Основные свойства металлов», учебная дисциплина «Неорганическая химия».

При взаимодействии металлов с водой щелочи:

1) образуются;

2) не образуются.

Ответы в задании 3 сконструированы по принципу противоположностей, в соответствии с которым подбираются полярные ответы.

Задание 3. Тема «Водород и его свойства», учебная дисциплина «Химия».

С повышением температуры способность к образованию водородных соединений:

1) уменьшается;

2) повышается.

Ответы в заданиях 4, 5 сконструированы по принципу однородности, в соответствии с которым подбираются такие два ответа, которые относятся к одному роду, виду или отображают две основные стороны объекта, явления, процесса.

Задание 4. Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

В соединении двух деталей охватывающую поверхность называют:

1) валом;

2) отверстием.

Задание 5. Тема «Нейронные сети: основные положения», учебная дисциплина «Искусственный интеллект».

Выходная связь нейрона называется:

1) синапс;

2) аксон.

Ответы в задании 6 сконструированы по принципу кумуляции, в соответствии с которым содержание второго ответа вбирает в себя (кумулирует) содержание первого и содержит новую информацию.

Задание 6. Тема «Основные средства производства», учебная дисциплина «Экономика предприятия».

Для выявления износа основных средств сравнивают стоимость:

1) восстановительную;

2) восстановительную и первоначальную.

Для того чтобы исключить возможность списывания, можно подготовить шаблон вариантов элементов содержания тестового задания. Такой шаблон позволит создавать несколько вариантов как одного тестового задания, так и теста в целом. Так, например, в задании 7 (шесть вариантов одного задания), задании 8(восемь вариантов одного задания) в фигурных скобках перечислены варианты элементов содержания тестового задания, а многоточие означает, что количество таких вариантов можно продолжить. Для каждого испытуемого берется один из возможных вариантов элементов тестового задания (но не ответов). В тестовом задании может быть несколько элементов, которые имеют различное количество вариантов содержания (задание 8).

Задание 7. Тема «Правопис И та І в словах іншомовного походження», учебная дисциплина «Українське ділове мовлення».

В начале слова в переводе на украинский язик пишется буква:

1. і ;

2. и.

Задание 8. Тема «Правопис И та І в словах іншомовного походження», учебная дисциплина «Українське ділове мовлення».

После в словах биплан, пилот, мираж, фигура, китель, химия, линия, нитраты,..... в переводе на украинский язык пишется буква:

1. і ;

2. и.

Для одного из тестируемых задание 8 может иметь следующее содержание:

После буквы б в слове биплан в переводе на украинский язык пишется буква:

1. і ;

2. и.

Всем остальным тестируемым при предъявлении тестового задания автоматически подставляют новый номер тестового задания и новый вариант из блока, что исключает возможность списывания.

Тестовые задания закрытой формы множественного выбора.

Тестовые задания с множественным выбором бывают с одним правильным ответом и несколькими правильными ответами. По сравнению с простым выбором вероятность угадывания в этих заданиях уменьшается. Тестовые задания с множественным выбором конструируется в соответствии с принципами, приведенными для заданий альтернативной формы. Так, например, ответы в задании 9 сконструированы в соответствии с принципом однородности и только один из них ‑ правильный ответ, а два остальных являются дистракторами (неправильными ответами).

Задание 9 (задание с множественным выбором и одним правильным ответом). Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

Допуском на неточность изготовления детали назывется разность между наибольшим предельным размером и:

1. наименьшим;

2. действительным;

3. номинальным.

В заданиях 10, 11 проверяются знания причинно-следственных отношений с применением конструкции: «Если…, то».

Задание 10 (задание с множественным выбором и одним правильным ответом). Тема «Нейронные сети: основные положения», учебная дисциплина «Искусственный интеллект».

Если активационная функция имеет вид сигмоид, то выходное значение нейрона лежит в диапазоне:

1) [0,1]; 2) [0.-1]; 3) [1,-1].

Задание 11 (задание с множественным выбором и одним правильным ответом). Тема «Сила и движение: единицы измерения», учебная дисциплина «Физика».

Если масса выражена в граммах, а ускорение − в см/с², то единицей наименования силы является:

1) паскаль; 2) дина; 3) ньютон.

Задание 12 предполагает специальные знания философского произведения и используется для отбора в аспирантуру в США [6, с. 54 ]. Содержание этого задания построено по принципу аналогии.

Задание 12 (задание с множественным выбором с одним правильным ответом). Учебная дисциплина «Философия».

Гегель так относится к «Феноменологии духа», как Кант к ….

(а) «Назначение человека», (б) «Система трансцедентального идеализма», (в) «Критика чистого разума», (г) «К критике философии Гегеля», (д) «Мир как воля и представление».

Для уменьшения вероятности угадывания правильного ответа чаще используют тестовые задания с четырьмя, пятью ответами.

Задание 13 (задание с множественным выбором и одним правильным ответом). Учебная дисциплина «Экономика предприятия».

Валовой внутренний продукт – это сумма всех товаров и услуг:

1. произведенных;

2. реализованных;

3. готовых;

4. конечных.

Задание 14 (тестовое задание с множественным выбором, содержащее несколько вариантов правильных ответов). Тема «Операторы присваивания», учебная дисциплина «Алгоритмические языки и программирование».

Выберите синтаксически неверные конструкции, написанные на языке Паскаль:

1. y:=a+b;

2. t:=trunс(1y);

3. y:=trunс(t);

4. int w=5;

5. t2:=sqrt(-5);

6. t2:=sqr(-3).

Задание 15 (тестовое задание с множественным выбором, содержащее несколько вариантов правильных ответов). Тема «Философская культура Древнего Востока», учебная дисциплина «Философия».

Выделите особенности философской культуры Древнего Востока:

1) мифологический характер;

2) связь с религией;

3) практическая направленность;

4) рационализм.

Для оценки умений применять знания в известной ситуации используют расширенную форму тестовых заданий с множественным выбором, в которых в условии задания рассматривается конкретная практическая проблема.

Задание 16 (тестовое задание расширенного выбора). Тема «Кинематический анализ механизмов второго класса», учебная дисциплина «Теоретическая механика».

Тема: кинематический анализ механизмов второго класса.

Варианты ответов:

1. кривошипно-шатунный;

2. кулисный;

3. синусный;

4. тангенсный.

Вводный вопрос: Для каждого условия подберите механизм, который обеспечит необходимое преобразование движения в приборе.

Условие задания:

1. Разрабатывается прибор для получения нужного закона вращения ведомого звена. Ответ__.

2. Разрабатывается прибор для преобразования вращательного движения в возвратно-поступательное, и наоборот. Ответ__.

Задание 17 (тестовое задание расширенного выбора).

Тема: тестовые задания закрытой формы.

Варианты ответов:

1. 1-й уровень;

2. 2-й уровень;

3. 3-й уровень;

4. 4-й уровень.

Вводный вопрос: Для каждого условия задания подберите контролируемый уровень усвоения деятельности.

Условие задания:

1. Содержание тестового задания содержит цель и требуется уточнить ситуацию. Ответ__.

2. Содержание тестового задания содержит цель и ситуацию. Ответ__.

3. Содержание тестового задания содержит цель, ситуацию и действия по ее решению. Ответ__.

Приложение б. Примеры тестовых заданий открытой формы

Тестовые задания открытой формы являются заданиями 2-го уровня усвоения на подстановку. Открытая форма заданий не содержат вариантов ответов. Ответ дописывается тестируемым самостоятельно с клавиатуры в виде слова, нескольких слов, словосочетаний, чисел, формул, графических элементов (если позволяет тестирующая программа). При вводе символов прописные и строчные буквы считаются равнозначными и вводятся вместо прочерков. В содержании тестовых заданий важно соблюдать правильную грамматическую форму и порядок следования слов, за исключением, когда этот порядок следования слов не имеет значения (задание 22). Все вставляемые пропущенные слова должны быть согласованы в роде, числе, падеже (существительное), времени, спряжении (глагол) и т.п. с основным содержанием текста. Так, например, если в выражении: сила равна произведению массы на ускорение, пропущено слово массы, а тестируемый ввел масса, то ответ будет считаться неверным, несмотря на то, что контролируется учебный элемент по дисциплине «Физика». Эта особенность является недостатком тестовых заданий открытой формы.

Открытая форма тестовых заданий, например, может сопровождаться следующей общей инструкцией:

Т

«Допишите (введите, нарисуйте и др.) пропущенное слово (линию, точку, фигуру и т.п.»).

Задание 18 (дополнение с ограничением на ответ). Тема «Строение атома», учебная дисциплина «Химия».

_ _ _ _ состоит из протонов и нейтронов.

Задание 19 (дополнение с ограничением на ответ). Тема «Строение атома», учебная дисциплина «Химия».

Отрицательно заряженная частица, масса которой в 1840 раз меньше массы нейтрона, называется _ _ _ _ _ _ _ _.

Задание 20 (дополнение с ограничением на ответ). Тема «Система допусков и посадок», учебная дисциплина «Техническая механика» .

Характер сопряжения двух деталей определяется _ _ _ _ _ _ _ _.

Открытая форма тестовых заданий может содержать несколько пропусков, тогда тестовые задания, например, могут сопровождаться следующей общей инструкцией: «Допишите (введите) пропущенные символы».

Задание 21 (дополнение с ограничением на ответ). Тема «Технические конденсаторы», учебная дисциплина «Физика».

Работа, совершаемая при зарядке конденсатора, равна _· _/_ , где _ разность потенциалов между пластинами.

В тестовых заданиях открытой формы может быть пропущено несколько слов, тогда эти задания будут сопровождаться следующей общей инструкцией: «Вставьте пропущенные слова (словосочетания)».

В некоторых заданиях важна последовательность записи пропущенных слов, а в некоторых нет. Так, в задании 22 порядок написания пропущенных слов не имеет значения (эталоном являются соответственно слово – вращательного и словосочетание – возвратно-поступательное), а в задании 23 (эталоном являются слова: скоростей, механизма) смысл выражения меняется, если поменять местами порядок подстановки этих слов.

Задание 22 (дополнение с ограничением на ответ). Тема «Структурный анализ плоских механизмов», учебная дисциплина «Техническая механика».

Кривошипно-шатунный механизм применяется в конструкциях для преобразования ___________ движения в _______________ и наоборот.

Задание 23 (дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

Жестким рычагом или рычагом Жуковского принято называть план

_________ _________.

Задание 24 (дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

Жесткий рычаг рассматривается как ________ тело.

Задание 25 (дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

В жестком рычаге силы приложены в точках, изображающих точки__________ механизмов

Задание 26 (дополнение с ограничением на ответ). Тема «Основные направления в психологии ХХ века», учебная дисциплина «Психология».

Представители когнитивной психологии отводят в поведении субъекта решающую роль _________.

Задание 27 (дополнение с ограничением на ответ). Тема «Узгодження закінчень іменників з прийменниками», учебная дисциплина «Українське ділове мовлення».

Відповідно __ постанови № 36 і згідно __ закон__ про працю виплатити разову допомогу 40 гривень.

Приложение в. Примеры тестовых заданий на соответствие

Тестовые задания на соответствие применяются чаще всего для выявления фактической информации.

Эта форма тестовых заданий, например, может сопровождаться такой общей инструкцией:

«Установите соответствие между элементами левого и правого столбцов. Ответ дается в виде соответствующего сочетания цифр и букв (например, 1-В). Одному элементу левого столбца соответствует только один элемент правого столбца».

Задание 28 (тестовое задание на соответствие). Тема «Визвольна війна українського народу 1648 − 1654 рр.», учебная дисциплина “Історія України”.

Событие Дата Ответ

1. Переяславська рада. А. 1650, серпень. __

2. Розгром польсько-шляхетського Б. 1654, січень. __

війська під Корсунем.

3. Похід козацького війська у Молдову. В. 1648, січень. __

4. Обрання Б. Хмельницького гетьманом України. Г 1649, серпень. __

Д 1648, травень. __

Для уменьшения вероятности угадывания рекомендуется количество элементов в левом и правом столбцах делать разными, как, например, в задании 29, инструкция к которому может иметь следующий вид:

«Укажите буквой, какой элемент левого столбца, если такой есть, соответствует элементу или элементам правого столбца»

Задание 29 (тестовое задание на соответствие, методы статистического вывода). Учебная дисциплина «Математические методы психологического исследования».

Инструкция к тестовому заданию может находиться в каждом тестовом задании, как, например, в задании 30.

Задание 30 (тестовое задание на соответствие). Тема «Основные направления в психологии ХХ века». Учебная дисциплина «Психология».

«Укажите цифрой, какой элемент левого столбца, если такой есть, соответствует элементу или элементам правого столбца (оставьте незаполненной графу напротив направления в психологии, представитель которого не указан в левом списке)».

Для тестовых заданий 31 − 33 целесообразно использовать одну общую инструкцию:

«Укажите цифрой, какой элемент левого столбца, если такой есть, соответствует элементу правого столбца».

Задание 31 (тестовое задание на соответствие). Тема «Кинематический анализ механизмов второго класса», учебная дисциплина «Техническая механика»).

Задание 32 (тестовое задание на соответствие). Учебная дисциплина «Физика».

Название физической величины	Единица измерения (в системе СИ)	Цифра
Количество вещества.	Кулон.	
Давление.	Ньютон.	
Работа.	Ватт.	
Мощность.	Джоуль.	
Количество теплоты.	Моль.	
Сила.	Паскаль.	

Задание 33 (тестовое задание на соответствие). Тема «Ценные бумаги»). Учебная дисциплина «Страхование».

Вид акций	Основные особенности	Цифра
Акции первого выпуска.	Гарантия получения определенных дивидентов, независимо от размера полученной прибыли.	
Привилегированные акции.	Владельцы акций нигде не регистрируются.	
Винкулированные акции.	Гарантия акционерам при ликвидации общества возврата лишь определенной части, а не всей номинальной стоимости.	
Акции без номинальной стоимости.	Не дают гарантии на получение дивидентов.	
Акции на предъявителя.	Именные акции, передаваемые в третьи руки с разрешения их акционерного общества.	

Приложение д. Примеры тестовых заданий на установление последовательности

С помощью тестовых заданий на установление правильной последовательности выявляются знания и умения испытуемых по выполнению определенных предписаний, правил, законов, определений, действий, алгоритмов и т.п.

Задание 34 (тестовое задание на установление правильной последовательности). Тема «Строение атмосферы», учебная дисциплина «Экология».

Укажите цифрой правильную последовательность слоев атмосферы в порядке удаления от Земли:

Название слоя	Последовательность
Ионосфера. Мезосфера. Стратосфера. Тропосфера Экзосфера.

Задание 35 (тестовое задание на установление правильной последовательности). Тема «Эволюция живого мира», учебная дисциплина «Экология».

Расположите в хронологической последовательности название эр:

Название эры	Последовательность
Архейская. Кайнозойская. Мезозойская. Палеозойская. Протерозойская.

Задание 36 (тестовое задание на установление правильной последовательности). Тема «Металлические свойства химических элементов», учебная дисциплина «Химия».

Расположите элементы в порядке ослабления их металлических свойств:

Задание 37( тестовое задание на установление правильной последовательности). Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

Расположите методы механической обработки в порядке увеличения квалитета точности:

Метод механической обработки	Порядок
Черновое точение.
Сверление по кондуктору.
Тонкое точение.
Чистовое точение.
Прецизионное шлифование.

Задание 38 (тестовое задание на установление правильной последовательности). Тема «Структурный анализ плоских механизмов», учебная дисциплина «Техническая механика».

Укажите цифрой правильную последовательность выполнения операций структурного анализа плоского механизма.

Название операции	Порядок выполнения операции
Подсчитать количество кинематических пар.
Определить количество звеньев составленной схемы.
Задать ведущие звенья.
Определить степень подвижности механизмов.
Указать класс механизма.
Определить, из каких групп Ассура образован механизм.

Приложение е. Примеры технических дефектов в тестовых заданиях

Сьюзен М. Кейс и Дэвид Б. Свэнсон [15] выделяют два типа технических дефектов тестовых заданий: связанных с опытностью студентов в тестировании и чрезмерной сложностью тестовых заданий. Наличие дефектов первого типа облегчает студентам выбор правильных ответов. При этом студенты полагаются на свой опыт в тестировании. Вероятность правильного ответа на тестовое задание должна зависеть от уровня знаний студентов по данной теме и не должна зависеть от опыта студентов в тестировании.

Первый тип технических дефектов:

• грамматические подсказки;

• логические подсказки;

• абсолютные термины;

• длинный правильный ответ;

• повторение слов;

• тенденция к конвергенции.

Второй тип технических дефектов:

• варианты ответа являются длинными, сложными, двойными;

• цифровые данные выражены бессмысленно;

• использование неопределенных терминов в вариантах ответа (например, редко, обычно, часто);

• стилистическая неоднородность вариантов ответа;

• нелогичный порядок вариантов ответа;

• использование фразы «Ничего из перечисленного выше» в качестве варианта ответа;

• условие задания слишком сложны или запутаны;

• ответ на одно тестовое задание вытекает из ответа на предыдущее тестовое задание.

Рассмотрим примеры типичных дефектов тестовых заданий.

Грамматические подсказки. Задание 39 содержит грамматические подсказки. Так, опытный в тестировании студент сразу исключит варианты d,e, так как они грамматически не соответствуют условию задачи и останется выбрать только между вариантами ответа a, b, c. Грамматические подсказки возникают тогда, когда автору затруднительно подобрать дистракторы. В данном случае можно сконструировать тестовое задание на соответствие, в одном столбце которого размещены названия физических величин, в другом − единицы измерения.

Задание 39 (задание с множественным выбором и несколькими правильными ответами). Тема «Давление», учебная дисциплина «Физика».

Если единицей измерения физической величины является паскаль, то это:

1. жесткость;

2. давление;

3. напряжение;

4. длина;

5. площадь.

Логические подсказки. Задание 40 [15, с. 24 ] содержит логические подсказки. В данном тестовом задании варианты ответов a, b, c включают все возможности. Опытный в тестировании студент знает, что ответы a, b или c должны быть правильными, тогда как неопытный теряет время на обдумывание ответов d, e. Часто авторы тестовых заданий добавляют ответы d, e только до доведения вариантов до 5. В таких ситуациях авторы тестовых заданий могут не обратить внимание на содержание ответов d, e. Иногда они могут быть частично верными и смущать студентов, так как не могут быть расположены в одном измерении с ответами a, b, c. Данные дефекты часто встречаются в тестовых заданиях, содержащих варианты ответа: «Повышается», «Понижается», «Остается на прежнем уровне».

Задание 40. Преступность:

1. одинаково распространена среди всех социальных слоев;

2. наиболее широко представлена среди бедного населения;

3. наиболее представлена среди людей среднего достатка и богатых;

4. главным образом указывает на психосексуальную дизадаптацию;

5. достигает уровня терпимости общества.

Абсолютные термины. В задании 41 варианты ответов 1, 2 содержат абсолютные термины, которые более категоричны и чаще исключаются тестируемыми, чем содержащиеся в вариантах 3, 4. Опытный студент исключит варианты 1, 2 из возможных, так как они менее вероятны из-за абсолютности утверждений. Этот дефект можно устранить, если сфокусировать условие задания, а варианты ответов сконструировать короткими.

Задание 41 (задание с множественным выбором с несколькими правильными ответами). Тема «Закон сохранения массы вещества», учебная дисциплина «Физика».

При химической реакции изменяются:

1. всегда химические элементы;

2. всегда масса атомов;

3. состав молекул;

4. свойства.

Повторение слов и длинный правильный ответ. В тестовом задании 42 используется словосочетание «рентабельность капитала» в условии тестового задания и в правильных ответах, а также правильные ответы (1 − 5) длиннее, чем дистрактор (6). В связи с этим содержание тестового нужно изменить. Дистрактор и правильные ответы должны быть одинаковой длины.

Задание 4. Тема «Анализ прибылей», учебная дисциплина «Бухучет», контролируемый учебный элемент – рентабельность предприятия.

Различают следующие виды рентабельности капитала:

1. Рентабельность номинального собственного капитала.

2. Рентабельность собственного капитала по балансу.

3. Рентабельность суммарной величины капитала по балансу.

4. Рентабельность имущества, необходимого для предприятия.

5. Рентабельность капитала, необходимого для предприятия.

6. Рентабельность оборота.

Тенденция к конвергенции. При наличии в тестовом задании тенденции к конвергенции обычно правильный ответ включает в себя наибольшее количество общих элементов из других вариантов ответа; для правильного ответа не типично быть исключением. Например, в вариантах ответов, представленных цифрами, правильным ответом, скорее всего, будет среднее значение, а не крайние величины. В двойных вариантах правильным ответом, скорее всего, будет вариант, имеющий наибольшее сходство с дистрактарами. Например, среди вариантов ответа «Карандаш и ручка», «Карандаш и фломастер», «Карандаш и кисточка», «Ручка и маркер» правильным ответом, скорее всего, будет «Карандаш и ручка» (что выявляется путем простого подсчета: «Карандаш» встречается три раза, «Ручка» - дважды, другие варианты лишь по одному разу). По мнению Сьюзан М. Кейс и Дэвида Б. Свэнсон [15, с. 26], данные дефекты возникают из-за того, что авторы тестовых заданий начинают с правильного ответа, а вариации с правильным ответом являются дистракторами. Таким образом, правильный ответ и содержит наибольшее число общих элементов среди всех вариантов ответа, а неправильные ответы чаще являются исключением, так как авторам тестовых заданий бывает трудно создать правдоподобные дистракторы.

Так, в задании 43 словосочетание «температура воздуха» и слово «низкая» в левой части вариантов ответа встречаются три раза, в правой части словосочетание «температура воздуха» и слово «повышается» встречаются четыре раза. Словосочетание «скорость ветра» и слово «высокое» в левой части встречаются два раза, а в правой части словосочетание «скорость ветра» встречается один раз, слово «падает» один раз. В связи с этим опытный тестируемый исключит варианты 2 − 5.

Задание 43. Тема «Преломление волн» , учебная дисциплина «Физика».

Звук преломляется вниз и распространяется на большое расстояние вдоль поверхности воды, если:

1. у поверхности воды температура воздуха низкая, а с увеличением высоты температура повышается;

2. у поверхности воды температура воздуха низкая, а с увеличением высоты скорость ветра повышается;

3. у поверхности воды скорость ветра высокая, а с увеличением высоты температура повышается;

4. у поверхности воды скорость ветра низкая, а с увеличением высоты температура повышается;

5. у поверхности воды температура воздуха высокая, а с увеличением высоты температура воздуха понижается.

Варианты ответов являются длинными, сложными или двойными. Задание 44 иллюстрирует типичный дефект такого вида: условие задания содержит посторонние сведения, варианты ответов очень длинны и сложны. Выбор из данных вариантов ответа требует долгого и внимательного чтения, поэтому тестируемый не успевает за отведенное ему время даже прочитать тестовое задание.

Задание 44. Тема «Финансы и платежи во внешней торговли», учебная дисциплина «Бухгалтерский учет».

Все сделки во внешней торговле между странами связаны с платежами, т.е. переводом денег из одной страны в другую, если продавец поставляет товар без гарантии платежа, а покупатель переводит деньги на день платежа, то такие условия платежа возможны:

1. после подтверждения экспортера отгрузки товара и передачи собственности на товар с одновременной передачей подтверждающих документов покупателю через его банк против платежа;

2. только на территории одной страны или фирмами, которые хорошо знают друг друга и во внешней торговле редко сталкиваются;

3. в случае передачи документов покупателю только против платежа наличными или переводом;

4. после того, когда банк получателя имеет право передать ему документы при условии, что он акцептует выставленный продавцом вексель;

5. в случае передачи документов против безотзывного подтверждения покупателя и оплаты счета в назначенный день.

Задание 44 можно модифицировать и представить в виде тестовых заданий различных форм (см. задания 45 − 48).

Задание 45 (альтернативная форма, на опознание).

если продавец поставляет товар без гарантии платежа, а покупатель переводит деньги на день платежа, то это платеж:

1. На открытый счет;

2. Против документа.

Задание 46 (подстановка, воспроизведение).

если продавец поставляет товар без гарантии платежа, а покупатель переводит деньги на день платежа, то это платеж ___ ___ ___.

Задание 47 (на соответствие).

Укажите цифрой, какой элемент левого столбца, если такой есть, соответствует элементу правого столбца.

Задание 48 (расширенный выбор, содержит четыре компоненты: тему, список вариантов ответа, вводный вопрос, две ситуации).

Тема. Платежи.

Варианты ответа:

Против документа.

Платеж на открытый счет.

Против платежа.

Безотзывной платеж.

Вводный вопрос.

Для каждой конкретной ситуации определите вид платежа при продаже товара.

Ситуации:

1. На территории одной страны фирма А продает товар фирме Б. Фирма А поставляет товар без гарантий платежа, а фирма Б переводит деньги на день платежа. Ответ___.

2. Экспортер после отгрузки товара передает своему банку документы, подтверждающие отгрузку и передачу собственности на товар. Одновременно он дает указание своему банку передать эти документы покупателю через его банк при наличии оплаты. Ответ___.

Во всех приведенных формах тестового задания должно выполняться такое правило: варианты ответов должны быть короткими и не сложными.

Цифровые данные выражены бессистемно. В случае использования цифровых вариантов ответа они должны быть расположены в порядке возрастания и представлены в едином измерении (в виде отдельного числа, в виде диапазона чисел, в едином формате и т.п.). Так, например, в задании 49 ответ 2 выражен в виде диапазона, ответ 1 выражает точные процентные данные, ответ 3 − неточное число раз, ответ 4 − точное число раз. Для того чтобы устранить дефект задания, необходимо в вариантах ответа указать точное число раз и расположить варианты ответа в возрастающем порядке.

Задание 49. Тема «Химическое равновесие». Учебная дисциплина «Химия».

Как изменится скорость химической реакции между газами А и В при уменьшении давления в два раза, если кинетическое уравнение этого взаимодействия v=K·Ca·Cb:

1. увеличится на 10 %;

2. уменьшится от 15 до 20%;

3. увеличится более чем в 6 раз;

4. уменьшится в 4 раза.

В вариантах ответа отсутствуют неопределенные термины, характеризующие частоту (редко, обычно и т.п.). По мнению исследователей [19, с. 4 − 6], неопределенные термины (часто, редко, обычно и т.п.), характеризующие частоту явления, даже экспертами не всегда понимаются одинаково. Так, например, исследование показало, что средним ответом для термина «часто» является 70%, половина опрошенных показала, что «часто» находится между 45 и 75%, а диапазон всех ответов варьировал от 30 до 80%. Так, в задании [15, с. 31] варианты ответов выражены неопределенными терминами. В этом случае студенты полагаются на собственную интерпретацию двусмысленных терминов или пытаются угадать, что же подразумевал под данным термином автор тестового задания, как, например, в задании 50.

Задание 50. К правильным утверждениям о псевдоподагре относятся:

1. часто встречаются у женщин;

2. часто связана с острой болью;

3. обычно передается по наследству;

4. уровень кальция в крови часто повышен.

Стилистическая неоднородность вариантов ответа. В задании 51 показана стилистическая неоднородность ответов 1, 2, 3 с ответом 4. Для варианта 4 необходимо изменить ответ.

Задание 51. Выделите особенности философской культуры Древнего Востока:

1) мифологический характер;

2) связь с религией;

3) практическая направленность;

4) системность.

Использование фразы «Ничего из перечисленного выше» в вариантах ответа является проблемным для тестовых заданий, где требуется принять решение, а варианты ответов не являются абсолютно верными или абсолютно неверными. Если предполагаемый ответ заключен в одном из перечисленных вариантов ответа, то знающий студент сталкивается с дилеммой, поскольку он должен выбрать между очень подробным хорошим ответом и собственным правильным ответом автора. Использование фразы «Ничего из перечисленного выше» полностью изменяет тестовое задание формы «Верно/Неверно»; каждый вариант ответа должен оцениваться как более или менее верный по сравнению с множеством неуказанных вопросов. Примером такого дефекта является задание 52. Вариант ответа е необходимо заменить.

Задание 52. Стандартное отклонение измеряет:

1. степень согласованности между двумя переменными;

2. дисперсию показателей по тесту;

3. средний показатель по тесту;

4. экстремальное отклонение показателей по тесту;

5. ничего из перечисленного выше.

Условия задания слишком сложны и запутаны. Тестовые задания должны формулироваться таким образом, чтобы, не зная вариантов ответа, можно было бы дать правильный ответ. Примером такого задания является тестовое задание 53. В этом задании также неудачно подобран дистрактор в.

Задание 53. Если величина дисперсии прямо пропорциональна разности суммы квадратов необработанных показателей и частному от деления квадрата суммы этих показателей на общее число испытуемых, то она вычисляется по формуле:

а) ;

б) ;

в) .

Приложение ж. Уровни усвоения деятельности

Приложение з. Примеры учебных целей

Таблица З.1

Варианты учебных целей для различных уровней усвоения

Продолжение табл. 3.1

Окончание табл. 3.1

Цели четвертого уровня, по мнению Г.Б. Скок [14], по форме могут быть представлены как цели третьего уровня, но при этом подчеркивается более высокий уровень владения практическими навыками в решении конкретных задач курса.

Приложение и. Примеры расчета коэффициента усвоения

В тестовых заданиях альтернативной формы, требующих выбора одного из двух ответов, – одна существенная операция (задание 54) (ответ состоит из одного слова).

Задание 54 (альтернативная форма, 1-й уровень усвоения на опознание, знание зависимости).

ДАВЛЕНИЕ ВОЗДУХА ПО МЕРЕ ДВИЖЕНИЯ ОТ ЗЕМЛИ:

1. повышается;

2. понижается.

Количество существенных операций в ТЗ (р) равно 1.

Ответ в заданиях может состоять из нескольких слов, составляющих понятие только при их совместном использовании. В этом случае будет также одна существенная операция (задание 55) (ответ состоит из нескольких слов).

Задание 55 (альтернативная форма, 1-й уровень усвоения на опознание).

по договору поручения на операции с ценными бумагами финансовый брокер заключает юридические сделки от:

1. своего имени;

2. имени клиента.

Количество существенных операций в ТЗ (р) равно 1.

Если слова, из которых состоит ответ, выражают различные стороны (свойства, части) понятия, в качестве существенной операции считают каждую из них. Так, например, в тестовых заданиях множественного выбора с одним или несколькими правильными ответами на различие количество существенных операций равно количеству

вариантов ответов: задание 56 [3, с. 264], задание 57, задание 58, задание 59, задание 60, задание 61.

Задание 56 (закрытая форма множественного выбора с одним правильным ответом, 1-й уровень усвоения на различие).

ЕСЛИ ЗАКОН ОМА УСТАНАВЛИВАЕТ ЗАВИСИМОСТЬ МЕЖДУ ТОКОМ И НАПРЯЖЕНИЕМ, ТО КАКАЯ ИЗ ПРИВЕДЕННЫХ НИЖЕ ФОРМУЛ ЯВЛЯЕТСЯ ЗАКОНОМ ОМА:

1. Q=I²Rt; 2) I= ; 3) N=IU.

Количество существенных операций в ТЗ (р) равно 3.

Задание 57 (закрытая форма множественного выбора с одним правильным ответом, 1-й уровень усвоения на различие).

НАИМЕНЬШАЯ СКОРОСТЬ, КОТОРУЮ НУЖНО СООБЩИТЬ КОСМИЧЕСКОМУ АППАРАТУ, ЧТОБЫ ОН ПОКИНУЛ СОЛНЕЧНУЮ СИСТЕМУ, НАЗЫВАЕТСЯ:

1) третьей космической скоростью; 2) второй космической скоростью;

3) первой космической скоростью.

Количество существенных операций в ТЗ (р) равно 3.

Задание 58 (закрытая форма множественного выбора с одним правильным ответом, 1-й уровень усвоения на различие).

ЗАКОН СОХРАНЕНИЯ ВЕЩЕСТВА ОТКРЫЛ:

1) Эмилий Ленц; 2) Михайло Ломоносов; 3) Иссак Ньютон; 4) Пьер Лаплас;

5) Альберт Энштейн.

Количество существенных операций в ТЗ (р) равно 5.

Задание 59 (закрытая форма множественного выбора с одним правильным ответам, 1-й уровень усвоения на различие).

В КАКИХ ЕДИНИЦАХ ИЗМЕРЯЕТСЯ УСКОРЕНИЕ СВОБОДНОГО ПАДЕНИЯ:

1) м/с; 2) м/с²; 3) м; 4) м²/с².

Количество существенных операций в ТЗ (р) равно 4.

Задание 60 (закрытая форма множественного выбора с одним правильным ответом, 1-й уровень усвоения на различие).

КАКОЙ БУКВОЙ ПРИНЯТО ОБОЗНАЧАТЬ УСКОРЕНИЕ СВОБОДНОГО ПАДЕНИЯ:

1) а; 2) g; 3) v; 4) ; 5) .

Количество существенных операций в ТЗ (р) равно 5.

Задание 61 (закрытая форма множественного выбора с несколькими правильными ответами, 1-й уровень усвоения на различие).

НА ТЕЛО ДЕЙСТВУЕТ СИЛА ВСЯКИЙ РАЗ, КОГДА ТЕЛО:

1. Замедляет свое движение;

2. Прекращает свое движение;

3. Меняет свое прямолинейное движение на непрямолинейное;

4. Движется равномерно и прямолинейно;

5. Приходит в движение.

Количество существенных операций в ТЗ (р) равно 5.

В тестах на классификацию количество существенных операций равно количеству соотносимых и сравниваемых объектов. Так, например, в задании 62 количество сравниваемых объектов (обозначений в формуле) определяется следующим образом:

Р=1(I)+1(U)+1(R)+1(Q)+1(t)+1(N)=6.

Задание 62 (тестовое задание на соответствие, 1-й уровень усвоения, классификация).

ЕСЛИ ЗАКОН ОМА УСТАНАВЛИВАЕТ ЗАВИСИМОСТЬ МЕЖДУ ТОКОМ И НАПРЯЖЕНИЕМ, ЗАКОН ДЖОУЛЯ ЛЕНЦА – ЗАВИСИМОСТЬ ТЕПЛОТЫ ОТ СИЛЫ ТОКА, А МОЩНОСТЬ – ЭТО РАБОТА ЭЛЕКТРИЧЕСКОГО ТОКА, ТО КАКАЯ ИЗ ПРИВЕДЕННЫХ ФОРМУЛ ЯВЛЯЕТСЯ ЗАКОНОМ ОМА (А), КАКАЯ- ДЖОУЛЯ ЛЕНЦА (Б), А КАКАЯ ВЫРАЖАЕТ МОЩНОСТЬ (В):

1) I= ; 2) Q=I²Rt; 3) N=IU. Ответ: 1) _; 2) _; 3) _.

Количество существенных операций в ТЗ (р) равно 6.

В задании 63 (р = 3), задании 64 (р = 3) количество существенных операций определяется количеством соотносимых объектов.

Задание 63 (тестовое задание на соответствие, 1-й уровень усвоения, классификация).

УКАЖИТЕ ЦИФРОЙ, КАКОМУ ГЕОМЕТРИЧЕСКОМУ ПРЕОБРАЗОВАНИЮ СООТВЕТСТВУЕТ РИСУНОК:

1) 2) 3)

а) масштабирование относительно начала координат; ___

б) масштабирование воль оси У; ___

в) масштабирование вдоль оси х. ___

Количество существенных операций в ТЗ (р) равно 6

Задание 64 (тестовое задание на соответствие, 1 уровень усвоения, классификация).

ЕСЛИ M ЯВЛЯЕТСЯ СРЕДНИМ, ЗАДАЮЩИМ ПОЛОЖЕНИЕ НОРМАЛЬНОЙ КРИВОЙ НА ЧИСЛОВОЙ ОСИ, А,  − СТАНДАРТНЫМ ОТКЛОНЕНИЕМ, ЗАДАЮЩИМ ШИРИНУ ЭТОЙ НОРМАЛЬНОЙ КРИВОЙ, УСТАНОВИТЕ СООТВЕТСТВИЕ МЕЖДУ ЭЛЕМЕНТАМИ ЛЕВОГО И ПРАВОГО СТОЛБЦОВ. ОТВЕТ ДАЕТСЯ В ВИДЕ СООТВЕТСТВУЮЩЕГО СОЧЕТАНИЯ ЦИФР И БУКВ.

Диапазоны значений Площадь под Ответ

нормальной кривой __

1) М ; А) 99,72%; __

2) М 2; Б) 95,44%; __

3) М 3. В) 68,26%. __

Количество существенных операций в т ТЗ (р) равно 3.

В тестовых заданиях на подстановку (2-й уровень усвоения) количество существенных операций равно количеству пропущенных элементов: буквы, букв, слова, слов, словосочетаний, параметров формулы (уравнения), чертежа (схемы), графика, условных обозначений, элементов конструкций и т.п. [6]. Тестируемый должен воспроизвести в памяти ранее усвоенную информацию и заполнить пропуски.

Так, в задании 65 операцией считается каждое пропущенное слово. В этом случае суммарное количество существенных операций равно 2. В задании 65: соглашений (1-я операция); обмен (2-я операция).

Задание 65 (тестовое задание на подстановку, 2-й уровень усвоения).

НА ЯЗЫКЕ КОМПЬЮТЕРА ПРОТОКОЛ – ЭТО СОВОКУПНОСТЬ _ _ _ _ _ __ _ _ , КОТОРЫЕ ОПРЕДЕЛЯЮТ _ _ _ _ _ ДАННЫМИ МЕЖДУ РАЗЛИЧНЫМИ ПРОГРАММАМИ.

Количество существенных операций в ТЗ (р) равно 2.

В задании 66 эталоном являются следующие слова и словосочетания: операция (1-я операция), содержание (2-я операция), определением (3-я операция).

Задание 66 (тестовое задание на подстановку, 2-й уровень усвоения).

ЛОГИЧЕСКАЯ ________, РАСКРЫВАЮЩАЯ _________ ПОНЯТИЯ, НАЗЫВАЕТСЯ __________.

Количество существенных операций в ТЗ (р) равно 3.

В задании 67 словосочетание «квадратного корня» составляет понятие только при совместном прочтении этих двух слов, поэтому это одна операция.

Задание 67 (тестовое задание на подстановку, 2-й уровень усвоения).

Стандартное отклонение – это положительное значение ____________ из дисперсии.

Количество существенных операций в ТЗ (р) равно 1.

Для воспроизведения формул или уравнений правильное написание каждого входящего в них обозначения, показ действия, расшифровку обозначений, указание размерностей считают существенной операцией.

Так, например, в задании 68 количество существенных операций определяется следующим образом: V² (обозначение V – 1-я операция, квадрат V – 2-я операция); множитель 2 в знаменателе (3-я операция); g (4-я операция). Эталон для задания 52 : H=

Если в этом тестовом задании необходимо указать обозначение параметра и единицу измерения параметра, то количество существенных операций р определяется следующим образом: подстановка трех параметров в формулу (3-я операции); Н – высота воды в трубке Пито (4-я операция), размерность – метры (5-я операция);

V – скорость движения воды (6-я операция), размерность – метр в секунду (7-я операция); g – ускорение свободного падения (8-я операция), размерность – метр в секунду за секунду (9-я операция). Всего по тестовому заданию р = 9 существенных операций.

Задание 68 (тестовое задание на подстановку, 2-й уровень усвоения).

ПОДСТАВЬТЕ ПРОПУЩЕННЫЕ ОБОЗНАЧЕНИЯ В ФОРМУЛУ ОПРЕДЕЛЕНИЯ ВЫСОТЫ ВОДЫ В ТРУБКЕ ПИТО:

H=

Количество существенных операций в ТЗ (р) равно 4.

При воспроизведении схемы, чертежа, графика, которое должно быть выполнено тестируемым, операцией считается каждое выполненное им условное изображение объекта (объектов) и их соединение (связь). При выполнении схем существенной операцией считается изображение частей схемы, приборов, соединений. При проверке усвоения графиков существенными операциями считаются нанесение буквенных обозначений, откладываемых на осях параметров, их расшифровка и указание размерностей, изображение каждого характерного участка кривой. Если в задание входит письменная или устная характеристика каждого участка кривой, предельных или граничных величин и т. п., то их включают в количество существенных операций. Если тестируемый должен найти по графику, как по номограмме, числовое значение параметров по заданным условиям, выполненные при этом операции также входят в состав существенных [13, c. 30].

В тестовых заданиях на подстановку встречается логический параллелизм, когда на основании начальной части задания облегчается заполнение пропусков в последующих частях как, например, в задании 69. Для этого задания количество существенных операций равно 2 (эталон: силы (1-я операция); ускорение (2-я операция)).

Задание 69 (тестовое задание на подстановку, 2-й уровень усвоения).

СИЛА, ДЕЛЕННАЯ НА МАССУ ТЕЛА, РАВНА УСКОРЕНИЮ. МАССУ ТЕЛА МОЖНО ОПРЕДЕЛИТЬ ПРИ ДЕЛЕНИИ _ _ _ _ НА _ _ _ _ _ _ _ _ _.

Количество существенных операций в ТЗ (р) равно 2.

Конструктивные тесты 2-го уровня усвоения требуют от тестируемых самостоятельного конструирования ответа: воспроизвести формулировку, дать характеристику, написать формулу, уравнение, выполнить чертеж, график и т.п.

В конструктивном тестовом задании 70 тестируемому требуется написать саму формулу (самостоятельно воспроизвести) для расчета высоты воды в трубке Пито.

Задание 70 (конструктивное тестовое задание, 2-й уровень усвоения).

НАПИШИТЕ ФОРМУЛУ ДЛЯ РАСЧЕТА ВЫСОТЫ ВОДЫ В ТРУБКЕ ПИТО. _______.

Количество существенных операций в ТЗ (р) равно 5.

Количество существенных операций для задания 56 определяется следующим образом: V² (обозначение V – 1-я операция, квадрат

V – 2-я операция); множитель 2 в знаменателе (3-я операция)); g (4-я операция); деление (5-я операция). Эталон для задания 70: H= .

В тест-задачах тестовое задание содержит необходимые для решения данные и указание, что именно нужно сделать для решения задачи. При решении задач (примеров) в количество существенных операций включают: применение каждой формулы, подстановку чисел вместо буквенных обозначений, каждое математическое действие, представление результата действия, написание единиц измерения, их размерностей [13, c. 6 ]. Такими тестовыми заданиями проверяют усвоение деятельности на 2-м и 3-м уровнях.

Задание 71 (тест-задача, 3-й уровень усвоения).

ТЕНДЕР ПАРОВОЗА НЕОБХОДИМО ЗАПОЛНИТЬ ВОДОЙ ИЗ КАНАВЫ, РАСПОЛОЖЕННОЙ МЕЖДУ РЕЛЬСАМИ, НЕ ОСТАНАВЛИВАЯ ПАРОВОЗ, С ПОМОЩЬЮ ИЗОГНУТОЙ ТРУБЫ, ОБРАЩЕННОЙ ОТВЕРСТИЕМ В СТОРОНУ ДВИЖЕНИЯ. НА КАКУЮ ВЫСОТУ МОЖЕТ БЫТЬ ПОДНЯТА ВОДА ПРИ ДВИЖЕНИИ ПОЕЗДА СО СКОРОСТЬЮ 10 м/с (УСКОРЕНИЕ ТЯЖЕСТИ РАВНО 9,8 м/с²:____.

Количество существенных операций в ТЗ (р) равно 7.

Задание, которое будет повторять условие задачи, решенной в ходе обучения, относится ко 2-му уровню усвоения. Так, например задание 72 является примером тест-задачи (2-й уровень усвоения).

Задание 72 (тест-задача, 2-й уровень усвоения).

ОПРЕДЕЛИТЕ ВЫСОТУ, НА КОТОРУЮ ПОДНИМЕТСЯ ВОДА В ТРУБКЕ ПИТО, ЕСЛИ СКОРОСТЬ ДВИЖЕНИЯ ВОДЫ РАВНА 10 М В СЕКУНДУ (УСКОРЕНИЕ ТЯЖЕСТИ РАВНО 9,8 М. В СЕКУНДУ ЗА СЕКУНДУ): ____

Количество существенных операций в ТЗ (р) равно 7.

Количество существенных операций в задании 72 определяется следующим образом: воспроизведение формулы H= (применение формулы – 1-я операция); подстановка числа 10 вместо буквенного обозначения V − 2-я операция; возведение скорости в квадрат − 3-я операция; подстановка числа вместо буквенного обозначения g − 4-я операция; умножение 2·g − 5-я операция; деление числителя на знаменатель (6-я операция); представление результата − 7-я операция. Эталон задания 72: 5.1.

Приложение к. Примеры перевода «сырых баллов» в стандартные шкалы

Общая последовательность перевода «сырых баллов» в стандартные шкалы состоит в следующем:

1. формируется исходный массив данных результата первичного тестирования (формируется репрезентативная выборка);

2. по результатам первичного тестирования строится распределение «сырых» баллов;

3. для полученного распределения «сырых» баллов определяются среднее и стандартное отклонения;

4. проверяется соответствие полученного распределения нормальному закону;

5. если распределение «сырых» баллов соответствует нормальному распределению, проводится линейная стандартизация;

6. если распределение «сырых» баллов не соответствует нормальному распределению, проводится либо эмпирическая нормализация перед линейной, либо нелинейная стандартизация [10, с. 57].

Перевод «сырых» баллов в стандартную шкалу позволяет более детально интерпретировать результаты тестирования – с учетом свойств нормального распределения – и корректно применять статистические методы при качественном анализе теста и тестовых заданий.

Стандартизация или z-преобразование данных – это перевод измерений в стандартную z-шкалу со средним М_z=0 и среднеквадратичным отклонением _z=1.

Для того чтобы перевести «сырые» баллы в z-шкалу, необходимо вычислить среднее значение «сырых» баллов Т_ср и стандартное отклонение _y по всему тесту. Затем все значения переменной Т_i пересчитываются по следующей формуле:

.

В результате этого преобразованные значения непосредственно выражаются в единицах стандартного отклонения от среднего. Если для одной выборки несколько признаков переведены в z-значения, появляется возможность сравнения уровня выраженности разных признаков у разных тестируемых.

Из z-шкалы баллы можно перевести в любую стандартную шкалу (стены, стенайны, Т-шкала, процентили, IQ-шкала Векслера) по формуле

S_i=_sZ_i+M_s,

где S_i – значение признака в стандартной шкале; _s – стандартное отклонение в стандартной шкале; M_s – среднее в стандартной шкале; Z_i - Z-значение i-го признака.

На рис. К.1 показаны стандартные шкалы. Общим для них является соответствие нормальному распределению, а различаются они двумя показателями: средним значением и стандартным отклонением, определяющим дробность шкалы.

Рис. К.1. Нормальная кривая и тестовые шкалы

Рассмотрим пример линейной стандартизации [10, с. 56]. Получено нормальное распределение «сырых» баллов со средним М_х=22 и стандартным отклонением _х = 6. Необходимо конвертировать «сырые» баллы в стандартную шкалу стенов (М_st=5.5; _st=2). Для этого каждому стандартному значению ставится в соответствие интервал «сырых» баллов. Границы интервалов определяются следующим образом. Среднее «сырых» баллов должно делить шкалу стенов ровно пополам (1 – 5 – ниже среднего, 6 – 10 – выше среднего). Следовательно, среднее «сырых» оценок М_х = 22 – это граница стенов 5 и 6. Следующая граница справа, отделяющая стены 6 и 7, отстоит от среднего на _st/2. Этой границе должна соответствовать граница «сырых» баллов М_х+_х/2 = 22+3 = 25. Аналогично определяются границы всех оставшихся интервалов, а границы крайних интервалов остаются открытыми. Результатом являются тестовые нормы, представленные в табл. К.1.

Таблица К.1

Результат пересчета «сырых» баллов в стены

Пользуясь этой таблицей, «сырой» балл переводят в стены.

В общем случае границы интервалов определяют по формуле

z-преобразования:

,

где X_i − искомая граница интервала «сырых» баллов, - граница интервала в стандартной тестовой шкале, М_х, _х, M_st, _st – средние и стандартные отклонения «сырых» баллов (х) и стандартной шкалы (st).

Пример нелинейной нормализации [10, с. 58]. При нелинейной нормализации происходит перевод «сырых» баллов в стандартные через нахождение процентильных границ групп в исходном распределении, соответствующих процентильным границам групп в нормальном распределении стандартной шкалы. Каждому интервалу стандартной шкалы ставится в соответствие такой интервал шкалы «сырых» баллов, который содержит ту же процентную долю выборки стандартизации. Величины долей определяются по площади под единичной нормальной кривой, заключенной между соответствующими данному интервалу стандартной шкалы z-оценками.

Например, в тесте имеется 20 тестовых заданий. Объем выборки стандартизации равен 200 студентов. Необходимо перевести «сырые» баллы в процентили. Сначала формируется таблица распределения «сырых» баллов (табл. К.2).

Таблица К.2

Распределение частот «сырых» баллов

В качестве стандартной можно выбрать шкалу стенайнов, для каждой градации которой известны процентные доли. Исходя из этих процентных долей строится таблица тестовых норм. Сначала отбираются 4% тестируемых, решивших наименьшее количество заданий. В данном примере восемь (4%) испытуемых решили менее четыре заданий. Это количество заданий соответствует первому стенайну. Второму стенайну будет соответствовать результат следующих 7% (14 чел.) тестируемых: от 4 до 6 заданий и т.д. Итог нелинейной стандартизации – таблица перевода «сырых» баллов в стенайны (табл. К.3).

Таблица К.3

Результаты перевода «сырых» баллов в стенайны

После пересчета в какую-либо стандартную шкалу можно проводить шкалирование (оценка результата тестирования по какой-либо шкале баллов). В табл. 2.6 представлено шкалирование по четырехбалльной шкале, где X_i – нормированный балл, М – среднее стандартной шкалы,  - стандартное отклонение шкалы.

Библиографический список

1. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. ‑ М.: Изд-во МИСиС, 1989. – 208 с.

2. Аванесов В.С. Теоретические основы разработки заданий в тестовой форме: Учеб. пособие. ‑ М.: МГТА, 1995. – 243 с.

3. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или Основы современной дидактики высшей школы. − Донецк: Изд-во ДОУ, 2002. ‑ 504 с.

4. Басова Н.В. Педагогика и практическая психология. –Ростов н/Д: Феникс, 1999. – 416 с.

5. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). – М.: Изд-во Моск. психолого-социального ин-та; Воронеж: Изд-во НПО «МОДЭК», 2002. – 352 с.

6. Беспалько В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 273 с.

7. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. – К.: Пан Лтд, 1994. – 282 с.

8. Иванов Е.А. Логика: Учебник. – 2-е изд., перераб. и доп.‑ М.: Изд-во БЕК, 2002. – 368 с.

9. Лозова В.І., Троцко Г.В. Теоретичні основи виховання і навчання: Навч. посібник. – 2-е вид., випр. і доп. – Х.: ОВС, 2002. – 400 с.

10. Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учеб. пособие. ‑ СПб.: Речь, 2004. – 392 с.

11. Одаренные дети /Под общ. ред. Г.В. Бурменской; Пер. с англ. – М.: Прогресс, 1991. – 157 с.

12. Подласный И.П. Педагогика: 100 вопросов – 100 ответов: Учеб. пособие для студентов вузов. – М.: Изд-во ВЛАДОС-ПРЕСС, 2003. – 336 с.

13. Полисаров Е.Л, Ерецкий М.И. Разработка и применение тестов успешности. – М.: ИРПО, 1996. – 82 с.

14. Скок Г.Б., Лыгина Н.И. Как спроектировать учебный процесс по курсу: Учеб. пособие. – 2-е изд, перераб. и доп. ‑ М.: Педагогическое общество России, 2003. – 96 с.

15. Сьюзен М. Кейс, Дэвид Б. Свенсон. Создание письменных тестовых вопросов по базисным и клиническим дисциплинам НСМЭ 3750, Маркет Стрит, Филадельфия, Пенсильвания 19104.

16. Фесенко В.Т., Гладченко Е.Н. Задания по физике и математике для слушателей физико-математической школы Харьковского авиационного института. – Х.: ХАИ, 1997. − 151 с.

17. Талызина Н.Ф. Теоретические основы контроля в учебном процессе. − М.: Знание, 1983. ‑ 96 с.

18. Angoff, W. Scales. Norms. And equivalent scores. In R.L. Thorndike (Ed.), Educational Measurement. – Washington, DC.: American Council on Education. 1971. − Р. 508 − 600.

19. Case S. The use of imprecise terms in examination questions: how frequent is frequently? Academic Medicine. 1994. – Р. 69.

20. Case S., Swanson D, Becker D. Verbosity, window dressing, and red herrings: Do They make a better test item? Paper presentation? Annual Meeting of the American Educational Research Association, Atlanta, Ga, April 1993. – 200 р.

21. Ebel, R. Essentials of educational measurement. – Englewood Cliffs, Nj: Prentice-Hall.

22. Hofstee, W.K. The case for compromise in educational selection and grading/ In S.B. Anderson & J.S. Helmick (Ed.) On educational testing/ San Francisco, CA: Jossey-Bass]. 1983.

Оглавление

Харьков «ХАИ» 2007 3

Введение 5

1. Тестовый метод контроля учебно-познавательной 6

деятельности студентов 6

1. Формы представления компьютерных тестовых 9

заданий 9

1.1. Закрытая форма тестовых заданий 10

1.2. Тестовые задания открытой формы 13

1.3. Тестовые задание на соответствие 14

1.4. Тестовые задания на установление 15

последовательности 15

1.5. Выбор формы тестового задания 15

1.6. Требования к содержанию тестовых заданий 16

1. Этапы разработки педагогического теста 19

2. Определение целей тестирования 19

3. Проектирование структуры теста 21

4. Оценивание и учет результатов тестирования 25

4.1. Оценивание и учет результатов тестирования 26

по 4-балльной шкале 26

4.2. Оценивание и учет результата тестирования 27

в соответствии с уровнем усвоения деятельности 27

4.3. Расчет проходного балла методом Ангоффа 32

4.4. Расчет проходного балла методом Эбеля 33

4.5. Расчет проходного балла методом Хофсти 35

5. Спецификация тестового задания 36

6. Обработка и интерпретация результатов тестирования 37

6.1. Первичная экспертиза теста и тестовых заданий 38

6.2. Формирование матрицы результатов тестирования 40

6.3. Разработка и анализ корреляционной матрицы 42

6.4. Трудность тестового задания 44

6.5. Вычисление распределительной способности 49

тестового задания 49

6.6. Надежность теста 51

6.7. Валидность теста 53

Приложение А. Примеры тестовых заданий закрытой формы 55

Приложение Б. Примеры тестовых заданий открытой формы 60

Приложение В. Примеры тестовых заданий на соответствие 63

Приложение Д. Примеры тестовых заданий на установление последовательности 66

Приложение Е. Примеры технических дефектов в тестовых заданиях 68

Приложение Ж. Уровни усвоения деятельности 75

Приложение З. Примеры учебных целей 72

Приложение И. Примеры расчета коэффициента усвоения 76

Приложение К. Примеры перевода «сырых баллов» в стандартные шкалы 82

Библиографический список 86

74