7.3 Средства разработки систем контроля и тестирования

Автоматизированные системы тестирования – это обширный класс программ, самым непосредственным образом предназначенный, как следует из его названия, для реализации компьютерного тестирования. Примерами программ этого класса являются «Oprosnik», «Qтест», системы «Экспресс-тест», «Тест», «Знания», AST-Test, TestMaker VVZ 2.6, Auto Control 2.0, многочисленные «Конструкторы тестов», компьютерные среды оценки качества знаний и многие другие [18, C.25-27].

Родоначальником класса по праву можно считать тестирующие программы-оболочки. На начальном этапе такого типа программы строились на принципе однозначного распознавания ответов испытуемого и использовании только текстового режима при формулировании заданий. Более современные варианты, как правило, позволяют реализовать и множественный выбор вариантов ответов, использование графического материала (рисунки, графики и т.д.), звуковой и видеоинформации, а также возможность использования надстрочных и подстрочных символов при формулирования заданий [17, C.15-19].

Рассмотрим возможности тестирующих программ-оболочек на примере программы «Оprosnik» [4, C.3-9]. В ней предусмотрено создание надстрочных и подстрочных символов, необходимых для набора химических формул, математических выражений; случайный выброс тестовых заданий; автоматическая запись результатов тестирования; возможность анализа результатов тестирования и варьирования времени тестирования. Последнее важно с точки зрения учета индивидуальных особенностей обучаемого.

Программа работает в режиме диалога с обучаемым: в начале работы испытуемый должен ввести свою фамилию и номер группы, после чего программа выводит на экран задания теста, предлагая выбрать правильный ответ из нескольких вариантов (количество их для конкретного задания может быть различным). Введенный ответ анализируется, и на экране появляются оценочные комментарии. В случае неверного ответа на экран (по желанию разработчика) выводится текст правильного ответа и пояснения к нему. Таким образом, тест, созданный в «Oprosnik» может нести элемент обучения, способствуя систематизации знаний, усвоенных обучаемым (тест с элементами обучения). С другой стороны, предоставление испытуемому объяснений, почему его ответ является неверным, снимает претензии к экзаменатору (разработчику теста) [32].

В процессе работы с тестом информация об ответах испытуемого заносится в файл-протокол. Протокол организован по принципу накопления результатов. По окончании тестирования на экран выводится содержимое этого файла, на основе которого выставляется отметка. В программе «Oprosnik» предусмотрена возможность просмотра всех ответов испытуемого, зафиксированных в файле-протоколе, что позволяет c одной стороны, при необходимости в индивидуальном режиме обсудить с испытуемым его ошибки, а с другой – провести экспресс-анализ результатов тестирования и внести необходимые коррективы в дальнейшее обучение (Рис.1).

Рисунок –

Реализация контроля с использованием тестов, созданных в тестовых программах-оболочках, как правило, не требует наличия навыков работы на компьютере у испытуемых. Компьютерная реализация тестовых заданий обычно не вызывает затруднений даже у разработчиков, имеющих начальных пользовательский уровень владения компьютером. В ее основе лежит, как правило, несложная процедура заполнения шаблона блоков тестовых заданий средствами текстового редактора.

Развитие этого класса программ было связано:

• с увеличением количества типов заданий, которые можно реализовать на ее основе. Например, если в «QTest» можно создать только тесты выбора, то AST-Test позволяет реализовать наряду с однозначным выбором ответа, задания с множественным выбором, а также с вводом ответа в свободно конструируемой форме;

• с модернизацией базы тестовых заданий. Так, наряду с тестовыми программами-оболочками, позволяющими создавать автономные тесты, появились системы, позволяющие наполнять базу тестовых заданий по разделам, осуществлять автоматическую генерацию теста случайным образом либо в соответствии с определенными критериями. В ряде систем появляется возможность указания «веса» задания, характеризующего его сложность;

• с расширением возможностей статистической обработки результатов тестирования, например, автоматическим выявлением заданий, вызывающих наибольшие затруднения у испытуемых и наоборот; выявлением динамики успешности испытуемого;

• расширением сетевых возможностей за счет проектирования тестов на основе

• технологии «клиент-сервер».

Что касается последней из указанных тенденций, в сети Internet появились специализированные Web-сайты, предоставляющие разработчику доступный инструментарий, как для подготовки тестов, так и для организации тестирования и анализа его результатов на основе Web-технологий. Так на сайте [14] возможна реализация тестовых заданий типа выбора ответа из предложенных, множественного выбора, а также заданий с вводом ответа в свободно конструируемой форме, при этом возможна установка размера поля ввода. При создании тесте возможны следующие установки: указание заданий, выполнение которых обязательно; настройка расположения вариантов ответов; вывод вариантов ответов в случайном порядке.

Функционал анализа результатов включает вывод результатов в табличном виде, с диаграммами. Наряду с этим возможен просмотр ответов испытуемого на задания с вводом ответа в свободно конструируемой форме.

Еще одним проявлением указанной тенденции является появление на рынке программного продукта серии так называемых конструкторов сайтов, которые, как правило, включают и конструктор тестов. В качестве примере ниже приведены несколько рисунков, относящихся к разработке компьютерного теста в Конструкторе школьных сайтов E-Publish [17, С.31-34].

Рисунок 2 – Выбор типа задания в конструкторе тестов E-Publish

Функционал разработчика в такого рода конструкторах, также как и в программе-оболочке, находящейся на указанном выше сайте [14], доступен пользователю с начальным уровнем владения компьютера.

Представляет несомненный интерес тенденция интеграции классических автоматизированных систем тестирования с таким направлением создания искусственного интеллекта как экспертные системы. Так, в работе [20, С.20-23] предлагается концептуальная схема «инструментальной компьютерной среды оценки качества знаний учащихся», которая предназначена для решения следующих задач:

• обеспечение инструментария по созданию тестов и их коррекции на основе;

• эмпирического материала;

• психолого-педагогическую диагностику тестовой тревожности испытуемых;

• поддержку принятия решения диагноста о выборе типа теста для испытуемого на основе результатов диагностики тревожности;

• проведение тестирования на различных этапах обучения;

• оценку качества знаний испытуемого.

Рисунок 3 – Пример создания Web-страницы с тестовыми заданиями в конструкторе тестов E-Publish

Среда включает блок психолого-педагогической диагностики, блок тестирования и блок экспертизы. Первый из указанных блоков реализует психолого-педагогическую диагностику тестовой тревожности испытуемых по стандартизированным методикам. Блок тестирования состоит из дизайнера тестов и модуля тестирования. Его основные функции – формирование новых и редактирование существующих тестов, сохранение результатов в банке данных среды; организация интерфейса тестирования, анализ результатов. Блок экспертизы представляет собой экспертную систему оценки качества знаний, которая является ядром разрабатываемой среды. Основными функциями данного блока являются анализ результатов психолого-педагогической диагностики; формирование рекомендаций диагносту по выбору типа тестового задания для конкретного учащегося; генерирование заключения для испытуемого и для преподавателя и др.

Среда реализуется как двухуровневое клиент-серверное приложение. База данных тестирования реализуется как централизованная реляционная база данных с сетевым доступом и клиент-серверной архитектурой. При реализации экспертной системы используется продукционная модель представления данных.

Одним из направлений реализации экспресс-мониторинга освоения материала студентами в процессе чтения лекции является использование тестовых заданий различного типа, которые выводятся на большой экран посредством видеопроектора [20, С.23-26].

С этой целью можно использовать программы для создания компьютерных презентаций, например, MS PowerPoint. Система гиперссылок, которую можно реализовать в любой современной программе для компьютерной презентации, а также опция «Настройка действия» позволяют вывести на экран оценочные комментарии после выбора аудиторией того либо иного ответа.

Как правило, использование таких приемов вызывает положительную реакцию студенческой аудитории, а преподавателю позволяет экспрессно оценить, насколько понят излагаемый материал и при необходимости внести коррективы в его изложение. Аналогичный прием можно использовать в процессе объяснения нового материала по любому предмету.

Безусловно, существенно большими возможностями в области разработки компьютерных тестов обладают MS Excel и Macromedia Dreamweaver. Как известно, Excel имеет мощные встроенные функции с возможностью составлять собственные и комбинировать имеющие функции. Наиболее интересными из них представляются логические функции, которые в сочетании с арифметическими и функциями обработки текста позволяют создавать тестовые программы по любому предмету. Macromedia Dreamweaver - новейшая версия профессионального инструмента для web дизайна и разработки тестов. Dreamweaver представляет собой комбинацию средств для создания визуального оформления, функций разработки приложений, поддержку редактирования кода, позволяя дизайнерам и разработчикам эффективно создавать визуально привлекательные, основанные на стандартах сайты и компьютерные тесты.

Таким образом, спектр автоматизированных систем тестирования весьма широк: от относительно несложных в эксплуатации тестовых программ-оболочек, предназначенных для локального компьютера, до многоблочных систем, основанных на технологии «клиент-сервер» и экспертных системах, позволяющих оценить уровень обученности с учетом тестовой тревожности испытуемого.

Вопросы для самоконтроля: