387

УДК 681.3

А.М. Ноткин

Пермский государственный технический университет

МОДЕЛЬ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ

Рассматривается модель автоматизированной системы тестирования знаний. Модель позволяет создавать подобные системы в различных средах проектирования. Представленная модель объектно ориентирована и позволяет достаточно просто расширять и дополнять функциональность.

В процессе обучения важную роль играет своевременная аттестация учащихся и постоянный контроль усвоения ими учебного материала. Текущий контроль в виде семинаров, коллоквиумов, контрольных работ и т.д. хотя и позволяют всесторонне оценить отдельного учащегося, не подходят для оперативного контроля больших групп учащихся ввиду своей трудоемкости. В этом случае решить проблему оперативного тестирования позволят автоматизированные системы с использованием компьютеров. Автоматизированное тестирование позволяет проверять усвоение каждой темы (раздела) изучаемого предмета, выполнять текущий и итоговый контроль знаний, проверять готовность учащегося к занятию. Немаловажным является

итот факт, что при компьютерном тестировании можно накапливать

иобрабатывать статистический материал, что позволит выявить темы

ивопросы, наиболее трудные для усвоения. Это, в свою очередь, даст направление для совершенствования учебного процесса. Системы автоматизированного тестирования могут быть использованы и для самоконтроля – самостоятельной проверки своих знаний учащимися с целью выявления слабых мест и готовности к итоговой аттестации.

Успех применения автоматизированного тестирования зависит от двух факторов: во-первых, от полноты и качества тестов и, вовторых, от самой автоматизированной системы, точнее, компьютерной программы, лежащей в ее основе. Касаясь первого фактора, следует

41

отметить, что качество теста в большой степени будет определяться типами вопросов, реализованных в системе. Используемый во многих системах простой тип вопроса вида «вопрос – выбор ответов из предложенной альтернативы» хотя и прост для реализации, не позволяет адекватно оценить усвоение предмета. Необходимы более сложные типы вопросов. Второй фактор определяет как возможность создания и использования в системе различных типов вопросов, так и круг решаемых тестированием задач.

Нами предлагается модель автоматизированной системы тестирования, которая учитывает названные факторы. Существенными факторами для построения модели являлись следующие:

−блочно-модульная структура системы;

−организация системы в виде совокупности классов с возможностью добавления новых классов по принципу наследования;

−расширяемость системы за счет добавления новых типов вопросов и новых функциональных возможностей;

−возможность рефакторинга и реинжиниринга системы. Предлагаемая модель не привязана к конкретным языкам и систе-

мам программирования, так же как и к платформе исполнения. Тем не менеееереализациятребуетобъектно-ориентированныхязыковисистем.

На рис. 1 представлена структура автоматизированной системы тестирования, показаны основные информационные связи между блоками, кроме связей по управлению. Каждый блок есть совокупность модулей, выполняющих следующие функции.

Блок подготовки теста. Позволяет создавать вопросы следующих типов:

1)вопрос с выбором ответа из предложенных альтернатив. Количество альтернатив может меняться. Максимальное значение зависит только от размера поля экрана;

2)вопрос с вводом ответа. Ответ вводится в виде текстовой строки. Можно вводить синонимы;

3)вопрос с выбором ответов из предложенного множества. Испытуемому предлагается множество ответов, среди которых могут быть как правильные, так и неправильные. Количество необходимых для выбора правильных ответов может колебаться от одного до нескольких. Максимальное количество не ограничено;

42

База данных

Блок хранения тестов

Блок хранения результатов Блок выполнения Блок настройки

теста

Блок управления

Рис. 1. Блочная структура автоматизированной системы тестирования

4)вопрос с выбором объектов из множества и переноса их в определенные области графического изображения. В качестве объектов могут быть как слова (предложения), так и графические имиджи. Они могут переноситься как в произвольный текст (например, фрагмент кода программы), так и в произвольные области графического изображения ( например, схема системы, устройства и т.д.);

5)вопрос с требованием отметить на графическом изображении областей. Количество областей не ограничено. Область может быть сужена до точки. Тогда надо отметить точки (например, на графике).

Блок выполнения теста. Предусматривает выбор вопросов из содержащихся в тесте и предъявлении их учащемуся. Вопросы выбираются в случайном порядке по каждой группе. Группа вопросов – это вопросы одинаковой сложности. Если вопрос 1-го типа, то порядок следования альтернатив также случайный. Должна быть предусмотрена возможность ограничения времени как всего теста, так и отдельного вопроса. Возможно прохождение теста несколько раз в пределах

43

отведенного для него времени. Блок передает результаты выполнения теста блоку формирования результатов тестирования, который после обработки сохраняет их в базе данных.

Естественно, и сами тесты, и результаты должны храниться в зашифрованном виде. То есть должны предусматриваться операции шифрования и дешифрования. За это отвечают соответствующие модули блоков.

Блок формирования результатов тестирования. Назначение этого блока – преобразовать результаты, полученные из блока выполнения в форму, удобную для хранения, вывода на экран и печать и обработки блоком статистики.

Блок статистики. Формирует статистическую информацию по результатам тестирования. Позволяет посмотреть для каждого теста статистику его выполнения. В общем случае в статистику входят такие сведения, как:

−фамилия учащегося;

−учебная группа;

−название теста;

−дата выполнения теста;

−время, затраченное учащимся на выполнение теста;

−список вопросов с ответами учащегося;

−количество баллов, набранных учащимся по каждой теме;

−максимальное количество баллов за тест;

−список баллов, набранных учащимися за тест;

−список оценок, полученных учащимися за тест;

−среднееколичествобаллов, набранныхучащимисяпокаждойтеме;

−среднее время, затраченное учащимися на выполнение теста;

−среднее время, затраченное учащимися на выполнение каждой темы.

Блокобеспечиваетформированиеипросмотрстатистикивразрезе: 1) учащихся: вход – фамилия, группа учащегося; выход – по-

казатели для него; 2) теста: вход – наименование теста; выход – усредненные по-

казатели по всем учащимся, выполнявшим тест; 3) темы: вход – наименование теста и темы; выход – усреднен-

ные показатели по всем учащимся, сдававшим эту тему.

44

Блок вывода результатов. Позволяет выводить результаты тестирования на экран, печать, сохранять в файле. Модули блока должны позволять выводить результаты как в виде таблиц, так и в виде графиков и диаграмм различного типа. Отдельные модули блока предназначены как для вывода результатов отдельного тестирования учащегося или группы, так и для вывода статистики.

Блок санкционированного доступа. Позволяет разделить предос-

тавляемыесистемойвозможностидляразныхкатегорийпользователей:

−администратор;

−преподаватель, создающий тест;

−преподаватель, выполняющий тестирование учащихся;

−учащийся.

Блок предусматривает санкционированный доступ по имени и паролю.

Блок настройки. Позволяет задать как глобальные, так и локальные настройки для теста. Глобальные настройки относятся целиком к тесту и действуют при любом выполнении этого теста. Эти настройки задаются при создании теста и могут быть в дальнейшем изменены. Локальные настройки действуют только во время текущего сеанса тестирования. Они задаются для каждого сеанса тестирования. По умолчанию в качестве локальных принимаются глобальные настройки. К настройкам относятся критерии оценок, время тестирования, возможность повторного выполнения теста в пределах отпущенного на тест времени.

База данных. Совокупность модулей, обеспечивающих хранение информации и доступ к ней по запросам блоков системы: от простой файловой системы до электронных таблиц и СУБД реляционного или объектно-ориентированного типа. Выбор конкретного типа базы данных зависит от типа системы: локальной или сетевой. Если для локальной версии вполне подходит файловая система, то для сетевых версий должны рассматриваться СУБД. Особенно это относится к системам с архитектурой «клиент – сервер».

Адаптеры данных. Для того чтобы сделать блоки, взаимодействующие с базой данных, независимыми от конкретной реализации последней, они должны содержать модули – адаптеры, осуществляющие интерфейс с базой данных. Для каждого типа базы данных должен быть свой модуль.

45

Блок управления. Организует взаимодействие остальных блоков системы, связывая их в единое целое. Состоит из модулей, управляющих блоками системы на верхнем уровне.

Важным этапом разработки модели системы автоматизированного тестирования является разработка структуры системы как совокупности классов. Определяющими являются классы вопросов и классы пользователей.

На рис. 2 показана диаграмма классов вопросов, построенная в среде Rational Rose.

Рис. 2. Диаграмма классов вопросов

TQuestion – базовый абстрактный класс. Содержит два виртуальных метода Draw() и WorkEvent(). Метод Draw() выводит вопрос на экран. Каждый тип вопроса имеет свой оригинальный вид на экране, поэтому метод переопределяется в каждом классе конкретного типа вопроса. Метод WorkEvent() принимает ответы учащегося и выполняет их первичную обработку. Так как ответы и обработка ответов для каждого типа вопроса оригинальны, этот метод переопределяется в каждом классе конкретного типа вопроса.

46

TQuestionChose – базовый абстрактный класс вопросов выбором альтернативных ответов (вопросы 1-го типа). Его потомки реализуют вопросы с выбором из 2, 3, 4 и т.д. альтернатив.

TQuestionInput – базовый абстрактный класс c вводов ответов

(2-й и 3-й тип). Два его потомка TQuestionInputWord и TQuestionInputSet реализуют соответственно вопросы с вводом ответа (2-й тип) и с выбором ответов из множества (3-й тип).

TQuestionPicture – базовый абстрактный класс вопросов, содержащих графическое изображение (вопросы 4-го и 5-го типов).

Два его потомка TQuestionPictureWord и TQuestionPictureMark реа-

лизуют соответственно вопросы с выбором объектов из множества (4-й тип) и с отметкой графических областей (5-й тип).

Такая иерархия классов с абстрактными классами и виртуальными методами позволяет достаточно просто добавлять новые типы вопросов и изменять представление и обработку существующих (достаточно переопределить виртуальные методы Draw() и WorkEvent()).

В языках программирования, поддерживающих свойства-со- бытия и делегирование (например, Delphi, C#) можно использовать поля и свойства-указатели на обработчики и, используя механизм делегирования, просто подменять обработчики, изменяя как вид вопроса, так и способ обработки ответов. При этом не требуется создавать новые классы. На рис. 3 показан абстрактный класс вопросов при реализации системы в среде Delphi.

TQuestion

(from Classes)

<<field>> FOnDraw : TEventDraw

<<field>> FOnEvent : TEventWork

<<property>> OnDraw : TEventDraw <<property>> OnEvent : TEventWork

<<virtual>> DoDraw() <<virtual>> DoWork()

Рис. 3. Модель абстрактного класса вопросов в среде Delphi

На рис. 4 представлена диаграмма классов пользователей, построенная в среде Rational Rose.

47

Рис. 4. Диаграмма классов пользователей

Показаны следующие классы: TPerson – абстрактный класс пользователей. Содержит поля и методы, общие для пользователей системы; TAdmin – класс администратора системы; TPupil – абстрактный класс учащихся; TTeacher – абстрактный класс учителей; TStudent – класс студента, выполняющего тест; TTutor – класс преподавателя, создающего тест; TExaminer – класс преподавателя, проводящего тестирование

Получено 25.01.2007

48

УДК 621.3

В.Н. Осколков, Л.Г. Бабушкина

Пермский государственный технический университет

О ПРАКТИКЕ ПРИМЕНЕНИЯ МОДЕЛЕЙ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРИ ПРОИЗВОДСТВЕ РАДИОЭЛЕКТРОННОЙ АППАРАТУРЫ

Представлено применение статистических методов обеспечения качества при изготовлении радиоэлектронной аппаратуры.

Фирмы, добившиеся высоких показателей в области качества, следовали в основном двум моделям. Первая модель азиатская, юговосточная. Фирмы Японии, Южной Кореи и др. в свое время сделали революцию в области качества Они восприняли и применили идеи Деминга – поголовное знание и повсеместное применение статистических методов. Простые статистические методы, так называемые «семь принципов качества», должны были знать все – от рабочего до руководителя. Организационно применение статистических методов на предприятиях осуществлялось через кружки качества, куда добровольно вступали работники фирмы, где изучали методы и предлагали их применение [1].

Применение статистических методов осуществлялось в национальном масштабе. Через средства массовой информации организовывалось изучение статистических методов, проводились конкурсы и вручались премии, например премия Деминга.

Вторая модель, северо-американская (фирмы Америки и Канады), основана на достоверности анализа отказов на испытаниях и эксплуатации и жесткой связи с конструктором по выявленным проблемам для доработки аппаратуры.

На предприятии ОАО «Морион», являющемся серийным изготовителем аппаратуры систем передачи информации, были попытки внедрения первой модели системы качества. Был дважды прочитан курс лекций по применению статистических методов: для контрольных мастеров и ведущих технологов.

49

Курс лекций включал: причинно-следственную диаграмму (диаграмму Исикавы), анализ Парето с построением диаграмм, гистограммы с определением среднего и стандартного отклонения, варианты контрольных листков для удобства и быстроты получения статистической информации, построение контрольных карт с изучением критериев их анализа, принципов стратификации и корреляционный анализ с построением диаграмм и определением коэффициента корреляции.

На основе этих методов был разработан проект стандарта предприятия «Статистические методы».

Разработку стандарта «Статистические методы» стимулировало следующее обстоятельство. В системе качества по ИСО 9001 версии 1996 года был двадцатый элемент – статистические методы. Но проект стандарта предприятия не был внедрен по двум причинам. Во-первых, при аттестации системы качества по ИСО 9001 версии 1996 года аудиторы до него «не доходили», потому что требования были расплывчатыми и, во-вторых, проект стандарта появился в отделе технического контроля, отвечающем за документацию по системе качества, но не был доработан. При переходе на требования системы качества ИСО 9001 версии 2000 года требования понизились. Применение статистических методов было отдано на усмотрение производителя.

Не решает проблему и новый вышедший ГОСТ Р ИСО 9001/ТО 10017–2005. Статистические методы. Руководство по применению [2]. Онносит описательно-рекомендательный характер. Выбор иприменение статистических методов также отданы наусмотрение производителя.

Выводы:

1.В нормативной документации применение статистических методов на предприятии не имеет жесткого директивного характера.

2.Попытка применения статистической модели обеспечения качества не поддержана вертикалью иерархии структуры предприятия.

3.Применение статистических методов носит локальный характер (табл. 1).

Вторая модель была нами опробована и дала хорошие результаты. В свое время для анализа отказов аппаратуры, сдаваемой представителю заказчика, в выпускных сборочных цехах были созданы лаборатории анализа отказов (ЛАО) со штатом, как правило, три инженера. Была отлаженная трехуровневая система доработки аппаратуры. На первом

50