Проверка качества знаний студентов высших учебных заведений в формате тестирования в системе

“Оператор+”.

Общие сведения

Система “Оператор+” может быть использована в качестве инструмента для проведения тестирования в форме:

- Электронного теста

- Телефонного собеседования

- Автоматического телефонного собеседования (экспериментально)

Электронный тест является наиболее простой формой тестирования. Подготовка к тестированию заключается в составлении преподавателем списка вопросов с возможными вариантами ответов (допустимо использование как встроенного редактора сценариев системы “Оператор+”, так и любого текстового редактора) и списка студентов (в большинстве случаев список представляет собой таблицу MS Excel).

Логика тестирования, система выставления оценок, формат итоговых оценочных ведомостей определяются автоматически в соответствии со структурой исходного документа (списка вопросов), вручную преподавателем (в редакторе сценариев системы “Оператор+”), либо за основу может быть взят сценарий с заранее определённой логикой и параметрами.

Доступ к тесту в данном случае осуществляется посредством веб-браузера с любого компьютера, имеющего доступ к серверу, на котором устанавливается система с соответствующей конфигурацией. Для прохождения теста студенту необходимо войти в систему под своим именем и паролем. Имена (логины) студентов и их пароли задаются либо преподавателем, либо генерируются автоматически на основе исходных данных.

Конфигурации системы могут размещаться, в том числе, и на сервере компании “Кибермысль”, что позволит получить доступ к тесту через сеть Интернет.

Телефонное собеседование отличается от предыдущего варианта тем, что студентам не предоставляется доступ к системе, а собеседование проводится помощником преподавателя либо самим преподавателем. Тестирование может проводиться по телефону, лично, либо с использованием иных способов взаимодействия.

В данном случае человек, проводящий собеседование, самостоятельно озвучивает текст вопросов студентам и фиксирует их ответы в системе. В отличие от схемы, рассчитанной на самостоятельное прохождение теста студентами, преподаватель видит перед собой список студентов, имеет возможность самостоятельно оценивать полноту и точность ответов, оставлять заметки и комментарии.

При проведении телефонного собеседования возможна интеграция системы “Оператор+” с АТС для автоматизации процесса дозвона до респондентов.

Автоматическое телефонное собеседование отличается от простого телефонного собеседования тем, что текст вопросов воспроизводится, а ответы фиксируются автоматически благодаря модулю распознавания речи, являющемуся частью системы “Оператор+”. Вопросы могут быть “озвучены” преподавателем (в этом случае каждому вопросу сценария ставится в соответствие звуковой файл), либо в качестве системы синтеза речи может использоваться любая, предоставляющая соответствующие интерфейсы (например, SAPI ОС MS Windows).

В данном случае проведение тестирования можно совместить с автоматическим созданием итоговой оценочной ведомости. То есть, при обращении к записи студента при генерации документа, система будет автоматически выполнять дозвон с последующим тестированием. Данная операция может выполняться вручную, либо по расписанию.

На текущий момент данный способ является экспериментальным, так как требует максимальных затрат ресурсов и времени на подготовку из всех приведённых.

Преимуществами системы “Оператор+” по сравнению с другими существующими системами тестирования являются:

- Активные сценарии работы. Каждый сценарий и элемент базы данных представляет собой дерево элементов, в том числе и активных, содержащих скрипт на одном или нескольких известных скриптовых языках программирования. По умолчанию используются VBS и JScript.

- Возможность автоматического построения и перестроения тестов в зависимости от текущих ответов на вопросы. Например, включение или исключение вопросов, вызывающих наибольшие затруднения у студентов.

- Ветвления тестов, случайный порядок вопросов и ответов. Зависимость вопросов от ответов на другие вопросы и так далее.

- Привязка вопросов теста к группе респондентов. Например, по специальности, факультету, группе. То есть в одном сценарии могут содержаться тесты для всего вуза.

- Возможность ограничивать и фиксировать время прохождения тестирования, а также время реакции респондентов при ответе на вопросы.

- Возможность как локальной, так и удалённой работы, через локальную сеть или Интернет.

- Возможность наглядной отладки сценариев.

- Гибкость сценариев. Тест пишется в удобном визуальном редакторе. Сценарии могут содержать, помимо текста, любые другие данные: изображения, звук, видео и так далее.

- Генератор отчётов, который может автоматически создавать итоговые ведомости и/или статистические/аналитические общие и/или промежуточные отчёты по результатам тестирования в форматах MS Office, RTF, TXT. Существует возможность отправки таких отчётов по электронной почте.

- Возможность размещения серверной части программы как на одном из компьютеров вуза, так и на сервере ООО “Кибермысль”.

- Безопасность, быстродействие и надёжность. Программой корректно обрабатываются ситуации потери связи в течение 5 минут без завершения пользовательской сессии. Сохранение и двухстороннее подтверждение доставки пакетов. Передаваемые и принимаемые программой данные не теряются, а сохраняются до момента восстановления связи (но не более 5 минут). Рабочие данные сохраняются инструкцией сценария, по таймауту или автоматически. Автоматически создаются резервные копии всех рабочих данных конфигураций. При завершении сессии существует возможность продолжить тестирование так, как будто потери связи не было.

- Модуль, позволяющий автоматически проводить тестирование в режиме общения (экспериментально). Создаётся иллюзия общения с реальным человеком, например, преподавателем. Корректность работы искусственного интеллекта программы не зависит от шумов в телефонной линии, громкости и качества связи, орфографических ошибок в тексте (в случае, если тестирование проводится в текстовой форме).

- Все модули являются автономными COM-серверами и могут интегрироваться с другим программным обеспечением.

- Возможность составлять тесты и списки студентов в любом редакторе. Без привлечения специалистов.

- Многое другое.

Система “Оператор+” может использоваться, в том числе, и студентами. Генератор отчётов, являющийся неотъемлемой частью системы, способен на основе определённых исходных данных создавать документы-отчёты по лабораторным, курсовым работам и т.д. При этом большая часть рутинных расчётов выполняются системой.

Краткая инструкция по настройке системы “Оператор+”

Создание конфигурации

Создание сценария

Для начала работы достаточно запустить программу “Редактор сценариев”, входящую в состав системы, и выбрать имя конфигурации по умолчанию:

Создание сценария диалога выполняется при помощи данного инструмента. При этом добавление вопросов (текст оператора) и соответствующих ответов (варианты реплик респондента) выполняется нажатием кнопок и .