Квалиметрические модели методы и алгоритмы контроля дешифрации и оц

Теперь можно записать логические условия для составляющих подмножеств S*– и S*+, каждая из которых представляет собой подмножество подозреваемых на недостаточный уровень освоения ЭДК (нЭДК).

Задание логических условий для подмножеств результатов де-

шифрации. В подмножестве S*– для зоны Sh,h–1, при попадании результата теста в которую делается вывод о том, что не освоены либо h ЭДК, либо (h–1) ЭДК, формулируется следующее логическое условие:

В сформулированном логическом условии каждый терм показывает вариант распределения освоенных и неосвоенных ЭДК в зависимости от расположения на рис. 2.2 рассматриваемого участка (индексов подмножества S*–). В результате минимизации логической функции получается следующий результат:

h h

Sh,h 1 Эk .

j 1 k 1, k j

Проанализировав все варианты подмножества S*–, можно сделать вывод, что логическое условие для произвольного значения i Sh,...,i (i [1; h–1]) записывается как дизъюнктивная нормальная форма (ДНФ). Термы ДНФ представляют конъюнкцию из i неосвоенных элементов, каждый из

которых обозначается инверсной формой записи ( Эk ). Число сочетаний

(термов) определяется в соответствии законами комбинаторики (для принятой двухуровневой шкалы оценивания):

Запишем логическое условие для произвольного значения i с уче-

том (2.30):

где Uj – совокупность индексов для j-го сочетания.

Пример 2.4. Для h = 4, i = 2 множество сочетаний U состоит из N4,3,2 = = C42 = 6 вариантов по i = 2 индекса: U = {Uj, j [1; 6]} = {1, 2; 1, 3; 1, 4; 2, 3; 2, 4; 3, 4}, а логическое условие S4,3,2 определяется следующим образом:

81

Вподмножестве S*+ для зоны S0,1, при попадании результата теста

вкоторую делается вывод о том, что не освоены либо 0 ЭДК, либо 1 ЭДК, формулируется следующее логическое условие:

Проанализировав все варианты подмножества S*+, можно сделать вывод, что логическое условие для произвольного значения i S0,...,i (i [1; h–1]) записывается как дизъюнктивная нормальная форма. Термы ДНФ представляют конъюнкцию из (h–i) освоенных элементов, каждый из которых обозначается прямой формой записи (Эk). Число сочетаний (термов) определяется в соответствии законами комбинаторики:

Запишем логическое условие для произвольного значения i с уче-

том (2.32):

где Uj – совокупность индексов для j-го сочетания.

Пример 2.5. Для параметров h = 4, i = 1 множество сочетаний U состоит из N0,1 = C44–1 = C43 = 4 вариантов по i = 4 – 1 = 3 индекса: U = {Uj, j [1; 4]} = {1, 2, 3; 1, 2, 4; 1, 3, 4; 2, 3, 4}, а логическое условие S0,1 опре-

деляется следующим образом:

Доказательство правильности формул (2.30)–(2.33) может быть вы-

полнено, например, методом индукции (направленного перебора) и вследствие большого объема рутинных расчетов не приводится.

Введем обобщенные характеристики (тест Тj контролирует Wj элемен-

тов) на основании анализа графической иллюстрации зонного разбиения на рис. 2.2:

82

где Nj – количество вариантов результата теста (мощность множества S); Nj+– – количество вариантов точного принятия решения (все контролируемые тестом элементы не освоены или все контролируемые тестом элементы освоены, т.е. суммарная мощность подмножеств S– и S+); Nj* – количество вариантов, требующее уточнения дополнительными тестами, т.е. мощность подмножества S* = S*– + + S*+.

Следующей задачей является применение разработанного метода анализа логических условий в основе алгоритма дешифрации результатов реализации тестового набора (совокупности диагностических тестов поиска) для безусловного или одного (с произвольным номером) шага условного алгоритма диагностирования.

Пример формирования логических условий для диагностического теста с заданными характеристиками. Запишем логические условия для сформулированных утверждений применительно к тесту, контролирующему h = 3 ЭДК. Обозначим контролируемые элементы Э1, Э2 и Э3. В со-

ответствии с (2.29) мощность множества S и составляющих его подмножеств определяется так:

|S| = 2h = 2·3 = 6;

|S–| = 1; |S+| = 1; |S*–| = |S*+| = h – 1 = 3 – 1 = 2; |S*| = 2(h–1) = 4.

Укажем состав подмножеств: S*– = {Sh,h–1 = S3,2; Sh,h–1, h–2 = S3,2,1}. Запишем логические условия для подмножеств:

h = 3 контролируемые тестом ЭДК не освоены.

2. S Э1 Э2 Э3 – условие уверенного принятия решения, что все

h = 3 контролируемые тестом ЭДК освоены.

3. Для Sh,h–1 = S3,2 логическое условие будет состоять из трех термов

(в соответствии с (2.30) и (2.31) для h = 3 и i = 2 количество сочетаний

C32 = 3), каждый из которых представляет собой конъюнкцию из i = 2 элементов в инверсной форме записи (с учетом выполненной минимизации логической функции):

S3,2 Э1 Э2 Э1 Э3 Э2 Э3 .

Приведенное условие показывает: или все три контролируемые тестом элементы не освоены, или какие-либо два из трех элементов не освоены.

4. Для Sh,h–1,h–2 = S3,2,1 условие будет состоять из трех термов (в соответствии с (2.30) и (2.31) для h = 3 и i = 1 количество сочетаний C31 = 3),

каждый из которых представляет собой i = 1 элемент в инверсной форме записи (с учетом выполненной минимизации логической функции):

83

S3,2,1 Э1 Э2 Э3 .

Приведенное условие показывает: или все три контролируемые тестом элемента не освоены, или какие-либо два из трех элементов не освоены, или какой-либо один из трех элементов не освоен.

5. Для S0,1 условие будет состоять из 3 термов (в соответствии с (2.32) и (2.33) для h = 3 и i = 1 количество сочетаний C33–1 = 3), каждый из которых представляет собой конъюнкцию из h – i = 3 – 1 = 2 элементов в прямой форме записи (с учетом выполненной минимизации логической функции):

S0,1 Э1 Э2 Э1 Э3 Э2 Э3 .

Приведенное условие показывает: или все три контролируемые тестом элемента освоены, или какие-либо два из трех элементов освоены (что то же самое – или нет неосвоенных элементов, или один неосвоенный элемент).

6. Для S0,1,2 условие будет состоять из 3 термов (в соответствии

с (2.32) и (2.33) для h = 3 и i = 2 количество сочетаний C33–2 = 3), каждый из

которых представляет собой конъюнкцию из h – i = 3 – 2 = 1 элемента в

прямой форме записи (с учетом выполненной минимизации логической

функции):

S0,1,2 Э1 Э2 Э3 .

Приведенное условие показывает: или все три контролируемые тестом элементы освоены, или какие-либо два из трех элементов освоены, или какой-либо один из трех элементов освоен (что то же самое – или нет неосвоенных элементов, или один неосвоенный элемент, или два неосвоен-

ных элемента).

Варианты 3–6 не дают точной информации о результате освоения контролируемых тестом элементов и нуждаются в уточнении дополнительными тестами поиска.

Апробация метода анализа логических условий проводится при его применении в основе разработанного алгоритма дешифрации результатов

тестового диагностирования уровня освоения ЭДК. Он дает возможность определить общее логическое условие, которое характеризует состояние

(освоение или не освоение) по всем контролируемым элементам дисциплинарных компетенций. После этого проводится анализ общего логическо-

го условия с целью выявления, достаточно ли информации для принятия решения об уровне освоения каждого элемента дисциплинарной компетенции. При необходимости производится переход к последующим шагам алгоритма, а именно: определяется перечень тестов для повторной или до-

84

полнительной проверки, а также список корректирующих мероприятий,

учебно-методической литературы для подготовки и т.п.

Предлагаемый метод анализа логических условий и построенный на его основе алгоритм дешифрации реализован в разработанном программ-

ном инструментарии, позволяющем автоматизировать процедуру оценивания результатов обучения, заданных в компетентностном формате. Указанные подходы, методы и алгоритмы планируется применить в разрабатываемой автоматизированной системе сопровождения учебного процесса (управления и контроля качества обучения). Последовательность разработки и применение предлагаемого алгоритма дешифрации результатов тестового диагностирования подробно описаны далее.

2.4. Алгоритм дешифрации результатов диагностических тестов уровня освоения элементов компетенций

Задачи разработки методик и алгоритмов взаимоувязанных процедур формирования, контроля и оценивания качества реализации компетентно- стно-ориентированных образовательных программ являются важным ин-

струментом повышения качества процесса обучения. Одним из возможных направлений исследований является применение адаптированных к рассматриваемой предметной области аппарата и методов смежных, в том числе технических наук, которые могут дать эффективные, алгоритмизируемые и автоматизированные решения.

Важным этапом, предваряющим оценивание уровня освоения ЭДК,

ДК или всей компетенции в целом, является процедура дешифрации результатов контроля. Выше был представлен разработанный метод анализа логических условий, построенный на основе аппарата алгебраической логики [51, 119]. Он позволяет использовать формальный аппарат булевой ал-

гебры для определения логических условий, по которым принимается ре-

шение об уровне освоения формируемых и контролируемых в данной дис-

циплине компетенций, их компонентов и элементов. Целью данного раздела является разработка и исследование алгоритма дешифрации результатов

тестового диагностирования на основе метода анализа логических условий. Он даст возможность принять решение об уровне освоения заданного

набора компетенций и их составляющих, определить недостаточно проработанные студентом темы и разделы учебных дисциплин, а также вырабо-

тать список корректирующих мероприятий и необходимых для повторной реализации диагностических тестов.

Количественные и вероятностные характеристики алгоритма де-

шифрации. Формируемые в учебной дисциплине элементы дисциплинар-

85

ных компетенций (ЭДК) проверяются совокупностью средств контроля (тестов обнаружения или поиска). Они вводятся преподавателем при разработке рабочей программы дисциплины. Информация об этом заносится в таблицу диагностирования (соответствия), которая позволяет задать

иопределить покрывающие свойства ЭДК и тестов:

–какими тестами контролируется каждый ЭДК;

–какие ЭДК проверяет каждый тест.

После реализации всех заданных тестов (при безусловном алгоритме

поиска ЭДК с недостаточным уровнем освоения) или на очередном шаге проверки (при условном алгоритме поиска ЭДК с недостаточным уровнем освоения) необходимо проанализировать результаты диагностирования. Для этого предлагается предложенный выше метод анализа логический условий.

Он позволяет формулировать условия точного определения уровня освоения совокупности ЭДК по принятой двухуровневой шкале оценивания.

Утверждение 2.4. Если совокупность из h ЭДК контролируется H

тестами, и каждый тест контролирует Wj элементов, то общее количество вариантов результатов всех тестов:

Доказательство. Мощность множества Sj N = 2Wj. Поскольку сочетание всех возможных вариантов оценивается через операцию произведения, следовательно, выражение для Nо справедливо.

Общее логическое условие, описывающее результаты реализации всех

заданных тестов, определяется по конъюнкции логических условий соответ-

ствующих вариантов:

где S – общее для всех результатов логическое условие, показывающее ре-

зультат освоения (освоен или не освоен) каждый из контролируемых тестами ЭДК; Sj – логическое условие для j-го теста (j [1; H]).

Общее логическое условие S в виде булевой функции в результате

расчета и минимизации может быть представлено в одном из следующих

вариантов.

Вариант № 1. Один терм, представляющий конъюнкцию всех H контролируемых совокупностью тестов ЭДК, что свидетельствует о возмож-

ности точного принятия решения (обозначим количество таких вариантов, полученных в результате моделирования, N1).

Вариант № 2. 0, что свидетельствует о невозможности появления данного сочетания условий для составляющих общее логическое условие

86

логических условий соответствующих тестов (обозначим количество таких вариантов, полученных в результате моделирования, N0).

Вариант № 3. Один терм, представляющий конъюнкцию части кон-

тролируемых совокупностью тестов ЭДК, что свидетельствует о невозможности точного принятия решения для всех ЭДК и необходимости уточнения результатов по не вошедшим в терм ЭДК (обозначим количество таких вариантов, полученных в результате моделирования, N*).

Вариант № 4. Несколько термов, что свидетельствует о невозможности точного принятия решения для всех ЭДК и необходимости уточнения результатов по ЭДК, не вошедшим ни в один терм или вошедшим в несколько термов (обозначим количество таких вариантов, полученных в результате моделирования, N**).

Общее количество вариантов равно сумме указанных вариантов:

j 1

Вероятность точного принятия решения по сочетанию результатов всех поданных тестов определяется следующим образом:

В частном случае, когда все тесты контролируют одинаковое количество

элементов, т.е. Wj = const = W, формула (2.35) имеет следующий вид: (2W)H.

Для того чтобы определить различные варианты дешифрации для анализа заданной таблицы соответствия ЭДК и тестов, предлагается следующий алгоритм моделирования.

1.Задать формат таблицы соответствия ЭДК и тестов размера h H.

2.Задать покрытие таблицы диагностирования (указать для каждого теста, какие ЭДК он контролирует).

3.Определить по каждому тесту количество контролируемых им эле-

ментов Wj, j = (1, H).

4.Определить общее количество вариантов результатов тестов.

5.Определить количество вариантов с неопределенными значениями.

6.Промоделировать каждое сочетание результатов с целью определить набор элементов, уровень освоения которых требуется уточнить.

7.Для каждого требующего уточнения сочетания результатов теста определить, какой раздел дисциплины нужно дополнительно изучать и какой соответствующий тест пересдать (при условии минимального (не ниже заданного порогового значения) уровня освоения других ЭДК).

Пример выполнения алгоритма дешифрации. Ниже приведен при-

мер использования предлагаемого алгоритма для контроля освоения заданных элементов дисциплинарной компетенции в одном из модулей дис-

87

циплины «Общая теория связи» профессионального цикла образовательной программы подготовки бакалавров по направлению 11.03.02 «Инфокоммуникационные технологии и системы связи».

Исходные данные:

–дисциплина «Общая теория связи»;

–модуль № 5 «Помехоустойчивое кодирование в системах передачи

данных»;

–формируемая в модуле дисциплинарная компетенция ДК5: «Способность рассчитать параметры и реализовать процедуры кодирования/декодирования избыточных помехоустойчивых кодов»;

–формируемые ЭДК (здесь и далее нумерация приведена внутри мо-

дуля № 5, формирующего и контролирующего ДК5):

• Э1: «Знать методы расчета параметров и оценки вероятностных ха-

рактеристик помехоустойчивых кодов»;

•Э2: «Уметь применять способы и алгоритмы кодирования, а также выполнять аппаратно-программную реализацию кодирующих устройств помехоустойчивых кодов»;

•Э3: «Уметь применять способы и алгоритмы декодирования, а также выполнять аппаратно-программную реализацию декодирующих устройств помехоустойчивых кодов»;

– виды аудиторной работы, в рамках которых формируются ЭДК:

•лекция № 1 «Способы построения и расчета помехоустойчивых кодов»;

•лекция № 2 «Способы реализации и алгоритмы работы кодирующих устройств помехоустойчивых кодов»;

•лекция № 3 «Способы реализации и алгоритмы работы декодирую-

щих устройств помехоустойчивых кодов»;

•практическое занятие № 1 «Построение кодирующих устройств помехоустойчивых кодов»;

•практическое занятие № 2 «Построение декодирующих устройств

помехоустойчивых кодов»;

•лабораторная работа № 1 «Исследование алгоритмов кодирования/декодирования и способов аппаратно-программной реализации кодирующих/декодирующих устройств помехоустойчивых кодов»;

– виды самостоятельной работы, в рамках которых формируют-

ся ЭДК:

•индивидуальное задание по тематике практического занятия № 1;

•индивидуальное задание по тематике практического занятия № 2;

•индивидуальное задание по лабораторной работе № 1;

– средства контроля (тесты):

88

•Т1: тестовое задание по проверке знания методов расчета параметров, принципов построения и функционирования кодирующих и декодирующих устройств помехоустойчивых кодов;

•Т2: проверка выполнения индивидуального задания по тематике практического занятия № 1;

•Т3: проверка выполнения индивидуального задания по тематике практического занятия № 2;

•Т4: проверка выполнения индивидуального задания по лабораторной работе № 1.

Зададим общие параметры решаемой задачи: количество элементов

h = 3; количество тестов H = 4, Опор = 0,5; таблица диагностирования

(табл. 2.4):

Общее количество вариантов результатов тестов:

При помощи разработанной программы имитационного моделирования проанализируем некоторые варианты сочетаний логических условий для каждого теста (табл. 2.5). В табл. 2.5 приняты следующие условные обозначения столбцов:

–№: порядковый номер строки, показывающий вариант распределения результатов тестирования для конкретного студента;

–Тj: диагностический тест (j [1; H]);

–Rj: результат реализации теста Тj (Rj [0; 1]);

–Sj: состояние (подмножество), которому принадлежит результат тес-

та Тj; определяется по распределению зон на рис. 2.2 или по табл. 2.3, по-

строенным для свойств (количество и перечень контролируемых данным

тестом ЭДК, заданное Опор);

– Lj: логическое условие, соответствующее подмножеству, которому

принадлежит результат теста Тj (введено ранее).

В табл. 2.5 занесены примеры сочетаний 4 разных вариантов логических условий тестов, определено общее логическое условие (столбец «Результаты») и сделан вывод (столбец «Выводы»).

89