Квалиметрические модели методы и алгоритмы контроля дешифрации и оц

учесть (рассчитать или промоделировать), уточнение результата которого (одного или нескольких) из тестов приведет к уточнению всего логическо-

го условия. Для рассматриваемого примера уточнение результата любого

из тестов Т2, Т3 или Т4 (их значения будут или S–, или S+) приведет к уточнению результата всего логического условия, а уточнение результата теста Т1 – нет. Поэтому целесообразнее дополнительное изучение соответст-

вующего учебного материала (лекций № 1–3) и повторная сдача одного из тестов Т2, Т3 или Т4 по указанным выше соображениям, а которого из них, – необходимо решить, проведя сравнение по выбранным критериям (например, сложность изучения, важность материала для дальнейшего обучения, сложность организации дополнительного тестирования и т.п.).

В табл. 2.5 занесены примеры сочетаний 4 разных вариантов логических условий тестов, определено общее логическое условие (столбец «Результаты») и сделан вывод (столбец «Выводы»).

Вариант № 1 относится к событию N1 (точное принятие решения), вариант № 2 – к событию N0 (невозможное сочетание условий), вариант № 3 –

к событию N* (не все элементы определены), вариант № 4 – к событию N** (все элементы не определены).

На практике предложенный алгоритм моделирования реализуется по

конкретным (полученным в процессе реального тестирования) данным о результатах тестового диагностирования. Для предварительной оценки корректности составления таблицы диагностирования (например, чтобы

избежать ситуации, когда точно определить результат можно будет лишь в малом количестве случаев (PТПР близко к 0 в формуле (2.38)) разработана программа имитационного моделирования.

С использованием разработанного метода предлагается применять ус-

ловный алгоритм поиска нЭДК. Первый шаг алгоритма:

–реализация всех тестов;

–дешифрация их результатов для определения реакции каждого ЭДК на контролирующие тесты;

–ранжирование результатов;

–формирование логических условий для каждого теста;

–формирование общего логического условия;

–определение множества подозреваемых в недостаточном уровне ос-

воения ЭДК (множество нЭДК);

–выбор тестов, результаты которых нужно скорректировать (и соответствующих фрагментов учебного материала, который нужно дополнительно изучить).

Второй шаг алгоритма – реализация корректирующих мероприятий

идополнительных тестов, получение, дешифрация и логический анализ

91

результатов по этапам, аналогичным этапам первого шага, и т.д. Количество шагов алгоритма регламентируется заданными ресурсными ограничениями (временными, организационными, нормативно-методическими, кадровыми, материально-техническими и т.д.).

Задачи моделирования представляют собой отдельное направление исследования. Указанный класс задач в полном объеме для большеразмерных таблиц эффективно и качественно может быть решен только в рамках автоматизированной информационной системы, алгоритмическое и программное обеспечение которой разрабатывается в настоящее время.

Верификация метода анализа логических условий с помощью разработанного программного инструментария в среде Visual Basic for Applications и его апробация в учебном процессе. Для исследования возможностей и доказательства корректности предложенного алгоритма дешифрации результатов тестового диагностирования по разработанному

методу анализа логических условий использовано моделирование. Поэтому была разработана программа имитационного моделирования в сре-

де Visual Basic for Application (VBA), интегрированной в пакет Microsoft

Excel. Исходными данными является заданная таблица диагностирования, в которой фиксируются количество ЭДК, тестов и покрытие таблицы.

Программа позволяет промоделировать и проанализировать все варианты

результатов тестов, определить логические условия точного определения

уровня освоения ЭДК или необходимость уточнения. Результаты работы

программы моделирования для заданной таблицы диагностирования (табл. 2.4) подробно представлены на рис. 2.3. Алгоритм работы программы следующий.

1.Задается таблица диагностирования ЭДК (Эi) и тестов (Тj), в том числе расчет покрытия Wj (для каждого теста указывается, какие ЭДК он контролирует).

2.Определяется общее количество вариантов результатов тестов в со-

ответствии с (2.35). Это необходимо в рамках данной программы модели-

рования для доказательства адекватности предлагаемых алгоритмов.

3.Моделируются (методом полного перебора) все сочетания логических условий для каждого теста (столбец «L1»–«L4»), определяется ре-

зультат в виде логической булевой функции (столбец «L»).

4.Проводится минимизация полученного результата (столбец «Lmin»).

5.Анализируется полученный результат на предмет принадлежности его к состояниям N1, N0, N*, N** по формуле (2.37).

6.Рассчитывается вероятность точного принятия решения по фор-

муле (2.38).

92

7. Выделяются варианты с неточным результатом для выявле-

ния тех ЭДК, уровень которых не определен (выделены красным цветом), для дальнейшего (пока неавтоматизированного) подбора мини-

мально достижимого варианта, который бы определил уровень освоения всех ЭДК.

Рис. 2.3. Экранная форма программы моделирования

Результаты моделирования для заданной таблицы диагностирования:

– общее количество вариантов результатов теста (сочетаний зон):

N = 384;

– количество невозможных сочетаний результатов тестов: N0 = 250;

93

– количество сочетаний в виде логического условия, для которых необходимо уточнение результатов N* = 12 и N** = 24.

Определим количество сочетаний, по которым можно точно принять решение:

N1 = N – N0 – N* + N** = 384 – 250 – 12 – 24 = 98.

Вероятность точного принятия решения по сочетанию результатов всех поданных тестов определяется следующим образом:

PТПР = N1 / (N – N0) = 98 / 134 0,73,

что означает, что с вероятностью примерно 73 % результат тестового диагностирования не потребует уточнения дополнительными тестами или повторной проверки.

Для вариантов, по которым требуется уточнение результатов, необхо-

димо провести анализ получившегося логического условия, выбор элементов, уровень освоения которых нужно уточнить, а затем – выбор тестов

(одного или нескольких), которые решат эту задачу. Некоторые результаты

моделирования приведены в табл. 2.8, соответственно после нее рассмотрен пример анализа результатов тестирования.

Результаты сравнения разработанного и традиционного подходов к количественной оценке результатов обучения, представленных в компетентностном формате. Количественная оценка результатов обучения, представленных в компетентностном формате, – задача новая и не-

достаточно отраженная в научно-методических публикациях. Поэтому

предлагаемый подход, метод и алгоритм сравнивался с двумя возможными

существующими традиционными подходами. Результаты сравнения при-

водятся ниже.

1.Формирование простого (индивидуального) теста для каждого ЭДК. Недостатками данного подхода являются большое (избыточное) количест-

во тестов и сложность подбора индивидуально теста для формулировки

конкретного ЭДК.

2.Усреднение результатов диагностирования – оценка за тест, контролирующий несколько ЭДК, отождествляется с каждым из них. Недос-

татками данного подхода являются возможность компенсации внутри теста, а также отсутствие анализа неопределенности в принятии решения, ко-

гда разные тесты дают разные результаты по одному и тому же ЭДК.

Для рассмотренной в примере дисциплины были построены средства контроля по всем трем способам, проведено тестирование, обработаны результаты и сделан вывод, что предлагаемый подход позволяет с большей точностью и по меньшему количеству тестов определить уровни освоения контролируемых ЭДК.

94

Для апробации предлагаемых метода, алгоритма и программы выбра-

ны дисциплины профессионального цикла образовательных программ подготовки бакалавров и магистров по направлениям «Управление в техниче-

ских системах» и «Инфокоммуникационные технологии и системы связи». Для реализации в конкретной дисциплине разработанных подхода, метода

иалгоритма были выполнены следующие виды работ:

1.Сформирована контролепригодная (с учетом выбранных для дисциплины средств тестирования) компонентная структура частей компетенций, реализуемых в рассматриваемой дисциплине (дисциплинарных компетенций) на уровне элементов «знать», «уметь», «владеть».

2.Построены матрицы формирования и диагностирования уровня освоения элементов дисциплинарных компетенций, заданы их покрытия,

определены тестовые наборы для проверки уровня освоения каждого элемента.

3.Проведена проверка освоения заявленных элементов дисциплинарных компетенций (тестирование) студентов в течение учебного семестра, результаты занесены в индивидуальные матрицы диагностирования.

4.Выполнены необходимые расчеты с использованием разработанных метода анализа логических условий, алгоритма дешифрации результатов тестирования и программы имитационного моделирования; сделаны выводы об освоении/не освоении студентами заявленных элементов дисциплинарных компетенций; при выявлении недостаточного уровня освоения определены соответствующие фрагменты тематического плана дисциплины, предложены корректирующие и контролирующие мероприятия (тесты) для

повторной проверки.

Предлагаемый подход к определению уровня освоения элементов

дисциплинарных компетенций в рамках выбранных для апробации учеб-

ных дисциплин позволил:

– выполнить оценку уровня освоения компетенций через элементы их

компонентной структуры, что ранее не проводилось из-за отсутствия соответствующих методик и инструментария;

– дать возможность получить более детализированную информацию,

чем традиционный подход, основанный на усреднении результатов тестирования;

– с помощью программной реализации алгоритма дешифрации оперативно определить темы и разделы дисциплин, недостаточно освоенные конкретным студентом, и выбрать перечень тестов для повторной сдачи. Это особенно важно при общем увеличении объемов и роли самостоятельной работы, особенно для очно-заочного обучения и магистратуры;

95

– студентам самостоятельно промоделировать возможные варианты сочетаний результатов тестирования за счет частичной автоматизации процедуры контроля и оценивания, что вызвало их интерес к новым образовательным технологиям. Это явилось в каком-то смысле дополнительным стимулирующим фактором к изучению дисциплин, что увеличило количество студентов, успешно выполнивших в срок все тестовые задания,

атакже в целом улучшило итоговую успеваемость по ним.

Врезультате апробации были определены области применения разработанного метода анализа логических условий:

1. Автоматизация процедур обработки информации, принятия решения и указания последующих корректирующих действий для студента и преподавателя, что особенно важно при увеличении размерности решаемой задачи (количества контролируемых элементов и тестов).

2. Использование для многоуровневых шкал оценивания.

3. Учет неравнозначности критериев (составляющих интегральной оценки).

4. Применение предлагаемого подхода для оценки уровня освоения компетенций и их составляющих вне дисциплинарного поля (в рамках разделов образовательной программы – практики, НИР, государственная итоговая аттестация).

5. Портация предлагаемого подхода на задачи определения уровня ос-

воения компетенций в целом (по результатам освоения всей программы). 6. Решение задач оценки качества образовательного процесса с исполь-

зованием других формальных аппаратов; проведение сравнительного анализа предлагаемых и традиционных подходов по ряду основных критериев.

Выводы по главе

В настоящей главе предложены и проанализированы квалиметрические методы оценки результативности программ подготовки специалистов, построенные на основе математического аппарата алгебраической логики.

1.Выполнен анализ формата интегро-дифференциального критерия, который позволил определить условия влияния дифференциальных оценок

на интегральный результат. Это дало возможность решить задачу определения фрагментов учебного материала дисциплины (видов АРС и СРС)

исоответствующих им дифференциальных оценок, необходимых для

улучшения интегральной оценки уровня освоения ЭДК. Для этого были проанализированы условия и ограничения применения, а также приведены иллюстрирующие практические примеры.

2.Предложен подход к количественной оценке результатов реализации теста и его применение в рамках разработанного метода анализа логи-

96

ческих условий, который позволяет выполнить дешифрацию результатов одного диагностического теста проверки уровня освоения ЭДК.

3.Разработан алгоритм дешифрации результатов реализации полной группы тестов, заданных в таблице диагностирования дисциплины, с использованием предложенного метода анализа логических условий, показан пример и анализ результатов реализации алгоритма дешифрации в рамках апробации на реальной учебной дисциплине.

4.Разработана программа и приведены результаты имитационного

моделирования предлагаемого алгоритма реализации метода анализа логи-

ческих условий в среде Visual Basic for Application (VBA), интегрирован-

ной в пакет Microsoft Excel, что позволило подтвердить применимость метода, алгоритма дешифрации и корректность выполненных оценок, а также

провести автоматизацию процедур анализа результатов обучения и выработки корректирующих действий.

Предложенные подходы эффективно алгоритмизируются и используются в составе информационного и программного обеспечения проектируемой автоматизированной системы управления и контроля качества подготовки.

97

ГЛАВА 3. КВАЛИМЕТРИЧЕСКИЙ МЕТОД ДЕШИФРАЦИИ И ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПОДГОТОВКИ, ПОСТРОЕННЫЙ

НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ

3.1. Применение аппарата нечеткой логики для контроля результатов обучения, заданных в компетентностном формате

Для современной науки характерна диверсификация методов решения сложных задач в смежных областях науки, техники и технологии. Это позволяет найти нетривиальные решения актуальных задач, которые оказываются более эффективными, чем известные и апробированные подходы. Так, например, при решении ряда проблем в социальных и экономических системах находят применение такие «неклассические» для указанных отраслей научные направления, как теория информации, теория автоматического управления, техническая диагностика, теория вероятности, теория систем массового обслуживания, аппарат нечеткой логики, принципы нейронных сетей и т.д. Это позволяет адаптировать отработанные механизмы

иалгоритмы к новым объектам и процессам, дать эффективные решения, особенно для многопараметрических и слабоформализуемых задач.

Внастоящем разделе предложены подходы к решению задач контроля результатов обучения, заданных в компетентностном формате, с использованием математического аппарата и методов нечеткой логики [61]. Аппа-

рат нечеткой логики был применен, в частности, для решения задач автоматического управления объектами, для которых отсутствует или сложнореализуемо математическое описание [135]. Объекты управления и контроля в рамках системы образования попадают именно под такое описание из-за «человеческого фактора». Также имеется большое количество взаимувязанных недетерминированных параметров, учесть которые коррект-

ной математической моделью невозможно.

Возникающие неопределенности, например, на этапе дешифрации результатов контроля предлагается разрешать при помощи методов нечеткого вывода, с последующим преобразованием и приведением к четкому выводу [158]. Это позволит, в частности, получить необходимую информацию о результатах контроля, которую можно использовать для оценки, аттестации, определения недостаточно освоенных вопросов, формирования перечня корректирующих мероприятий и других действий по управлению

иконтролю качества обучения. Предлагаемые подходы и алгоритмы могут быть использованы в составе методического, информационного и алго-

98

ритмического обеспечения автоматизированной системы управления и контроля качества обучения. Указанная система находится на этапе проектирования в Пермском национальном исследовательском политехническом университете.

Основные понятия аппарата нечеткой логики применительно к предметной области контроля результатов обучения. Нечеткую логи-

ку эффективно применять в тех ситуациях, когда нет точного математического описания объекта управления и/или контроля, а также нет детерминированного описания исходных данных (используется интервальное задание области значений переменных). Указанная особенность применения полностью подходит для рассматриваемой предметной области, в которой объектом контроля является совокупность элементов дисциплинарных компетенций (ЭДК), а предметом контроля – уровень (степень) их освое-

ния в соответствии с заданной шкалой оценивания.

Введем основные определения аппарата нечеткой логики применительно к рассматриваемой предметной области. Для этого выберем про-

стейшую задачу контроля – один ЭДК (Э) проверяется индивидуальным (простым) тестом (Т).

Универсальное множество (универсум) в данном случае представляет

собой совокупность возможных значений результатов тестирования (оценки за тест) О(Т), обозначаемую далее также через Т (примем, что оценка нормализована в диапазоне [0; 1]). Выходная лингвистическая переменная

определяет уровень освоения ЭДК, т.е. принадлежность результата к опре-

деленному уровню заданной шкалы оценивания (примем двухуровневую шкалу оценивания – по положению результата тестирования относительно заданного порогового значения принятия решения Опор) с использованием

функции принадлежности. Выходная лингвистическая переменная может быть выражена через терм-множество, состоящее, в частности, из двух

термов: {«ЭДК не освоен» (Э); «ЭДК освоен» (Э)}.

Функция принадлежности каждого терма может быть представлена

линейной зависимостью (рис. 3.1) (по результатам моделирования) и опи-

сана так:

Характер функции принадлежности для терма «ЭДК не освоен» обусловлен принятой моделью снижения степени «неосвоения» ЭДК от 1 до 0.

Характер функций принадлежности для терма «ЭДК освоен» обусловлен принятой моделью повышения степени «освоения» ЭДК от 0 до 1. Дадим

99

комментарии по некоторым значениям результата тестирования и соответствующим им значениям функции принадлежности (табл. 3.1) для заданного Опор (например, выберем Опор = 0,6). Можно интерпретировать Опор следующим образом: менее 60 % ответов на тестовые задания правиль-

ные – ЭДК не освоен; 60 % и более ответов на тестовые задания правиль-

ные – ЭДК не освоен. Значение функции принадлежности в самой точке Опор = 0,6 может быть отнесено к любому из термов (для упрощения расчетов и без существенной потери общности результата будем рассчитывать точку Опор в обоих термах).

100