Квалиметрические модели методы и алгоритмы контроля дешифрации и оц

успеваемости по конкретной дисциплине, но и важно для организации эффективного самоконтроля студентами самостоятельной работы, объем и роль которой в современных образовательных программах значительно увеличились.

Оценка результатов обучения, представленных в компетентностном формате, – сложная задача, поскольку производится на протяжении всех этапов обучения (компетенция в общем случае может формироваться в нескольких дисциплинах и разделах образовательной программы). Поэтому важно получить адекватные (валидные) оценки составляющих частей компетенций по результатам их промежуточного, рубежного и итогового в рамках каждого шага. Для формирования количественной оценки каждого уровня (элементов, компонентов, дисциплинарных компетенций, компетенций) предложено использование аддитивного интегро-дифференци- ального критерия оценки (АИДКО), построенного по результатам тестового диагностирования указанных объектов контроля. Линейный формат АИДКО требует анализа влияния каждой дифференциальной оценки (результата реализации конкретного теста) на интегральную оценку (уровень освоения ЭДК). При этом возникает задача анализа путей достижения желаемых (заданных, пороговых, граничных и т. п.) результатов освоения фрагментов учебного материала (и соответствующих проверок) для достижения необходимого (заданного) уровня освоения ЭДК. В настоящем разделе предложены общие подходы (в рамках предложенного ИДК) к количественной оценке результатов тестового диагностирования уровня обучения, заданных в компетентностном формате [53].

2.1.1. Анализ обобщенной структуры АИДКО уровня освоения компетенций и их составляющих

Вданном разделе решаются следующие частные задачи количественной оценки результатов тестирования и применения аддитивного интегродифференциального критерия оценки уровня освоения ЭДК:

– оценка влияния дифференциальных составляющих на интегральную оценку;

– определение путей повышения интегральной оценки за счет коррекции дифференциальных оценок после реализации корректирующих мероприятий и повторной сдачи тестов.

Всоответствии с аддитивным интегро-дифференциальным критерием оценки компетенций и их составляющих уровень освоения элемента определяется как линейная свертка результатов дешифрации подачи тестов

ив общем виде может быть представлена следующим образом:

61

где О(Эi) = Оi – результат освоения элемента Эi; λij – весовой коэффициент результата теста Тij (показатель важности, который показывает вклад данного результата в общую интегральную оценку; если тест Тj не участвует в контроле элемента Эi, то весовой коэффициент λij = 0); О(Тij) = Оij – результат проверки элемента Эi тестом Тj; H – количество тестов, контролирующих элемент Эi. Для весовых коэффициентов АИДКО уровня освоения одного ЭДК выполняется условие нормирования:

j 1

Примем, что интегральная функция является функцией H независимых переменных (результатов соответствующих независимых проверок), поэтому по каждой переменной можно определить частную производную:

что соответствует смыслу весового коэффициента – характеристика (скорость) изменения интегральной оценки при изменении одной дифференциальной оценки. Можно также указать, что весовой коэффициент λij (с учетом введенного условия нормирования (2.2) показывает, какую долю занимает дифференциальная оценка Оij в интегральной оценке Оi на данном множестве тестов {Тj}.

После проведения тестирования, дешифрации результатов, построения АИДКО и расчета интегральных оценок уровня освоения ЭДК проводится их анализ на соответствие заданным уровням шкалы оценивания. В простейшем случае может быть использована двухуровневая шкала – ЭДК освоен или не освоен. В случае отрицательного итогового результата требуется его улучшение за счет реализации корректирующих мероприятий (дополнительные занятия, самоподготовка и т.д.), после чего проводится повторное тестирование. При этом важно определить подходящее (например, точки зрения количества пересдаваемых тестов, организационной или технической сложности пересдачи, временных затрат студента и/или педагога

ит.д.) количество и вид тестов. Указанная задача относится к сложным

ислабоформализуемым задачам, решаемым при помощи полного перебора. Ниже предлагается способ сокращения полного перебора, позволяющий снизить вычислительную сложность алгоритма поиска решения.

Определение 2.1. Полное приращение (изменение) Оi есть разность между новым результатом освоения элемента Эi, полученным после реали-

62

зации всех корректирующих мероприятий и повторной сдаче тестов (Оi*), и результатом освоения элемента Эi, полученным после первичной реализации всех тестов (Оi):

Определение 2.2. Частное приращение (изменение) Оij есть разность между новым результатом проверки освоения элемента Эi тестом Tj, полученным после реализации необходимых корректирующих мероприятий и повторного проведения теста Тj (Оij*), и текущим результатом проверки элемента Эi тестом Tj, полученным после первичной реализации и дешиф-

причем Оij > 0 является улучшением, а Оij < 0 – ухудшением результата.

определив таким образом зависимость изменения интегральной оценки от изменения каждой составляющей ее дифференциальной оценки. Значение полного приращения является объектом анализа, на основании которого принимается решение о необходимости улучшения уровня освоения ЭДК, определяются составляющие, качество освоения которых необходимо повысить, и далее проводится выбор соответствующих корректирующих мероприятий. Алгоритм сокращения полного перебора основывается на выборе количества и конкретных дифференциальных составляющих (соответствующих определенным разделам, темам дисциплины, видам занятий и т.д.), уровень освоения которых необходимо улучшить.

Для анализа результата итоговой оценки можно сформулировать три подхода к решению поставленной частной задачи, уменьшающих вычислительную сложность алгоритма полного перебора (с учетом заданных (определенных, назначенных) значений весовых коэффициентов и соответствующей системы ограничений).

1. Проводятся все контролирующие мероприятия, анализ текущего итогового результата освоения элемента и, при необходимости, принятие

63

решения о его коррекции. Затем задается желаемое значение полного приращения Оi и путем моделирования (методами подбора, перебора или расчета) определяется, какими Оij можно это обеспечить, какие корректирующие мероприятия должны быть проведены и какие ресурсы для этого должны быть задействованы, какие средства контроля должны быть использованы.

2. Задаются значения Оij (одно или несколько) и путем моделирования (расчета) определяется, как изменения различных дифференциальных

и определяет направленность перебора – очевидно, чем он больше, тем существеннее повлияет изменение данной дифференциальной оценки на интегральную. Это может быть учтено при выборе оценки, которую необходимо скорректировать для максимального эффекта в увеличении итогового результата. При этом учитывается только «математическая эффективность», а ведь возможны дополнительные ограничения – например, время дополнительных занятий, занятость преподавателя, загруженность машинного класса для тестирования и т. д., которые также формализуются или оцениваются экспертно. Эти ограничения могут привести к отказу от выбора коррекции максимально значимой оценки и перехода к анализу других, менее важных, но проще корректируемых с организационно-техни- ческой точки зрения оценок.

3. Выбирается наименее ресурсоемкий вид дополнительных занятий (требующий наименьших ресурсных затрат), соответствующие ему средства контроля, рассчитывается (прогнозируется) изменение Оij, затем Оi и, наконец, результат Оi. Это позволяет решить проблему, указанную в п. 2, но может потребовать коррекции не одного, а нескольких менее значимых с точки зрения важности (весовых коэффициентов), но и менее ресурсоемких результатов проверки. Причем для преподавателя и студента рассматриваются разные ресурсы.

При реализации указанных подходов необходимо учитывать, что для каждой дифференциальной оценки должно быть задано минимальное пороговое значение, ниже которого результат не может быть принят. Это означает организационное введение мультипликативности в аддитивный интегро-дифференциальный критерий и при подборе учитывается как необходимое условие.

64

Сложность решения поставленной частной задачи вызывает задание системы ограничений, поскольку учитывается достаточно большое количество слабоформализуемых параметров (технических, кадровых, временных и т.п. ресурсов). Указанные задачи могут быть решены преподавателем вручную, но для полноценного и эффективного решения необходимо учитывать эти факторы (ограничения) экспертными поправками весовых коэффициентов (λij*) в составе информационного обеспечения автоматизированной системы сопровождения учебного процесса.

2.1.2. Формализованная оценка влияния дифференциальной составляющей (результата теста) на интегральный результат, характеризующий уровень освоения ЭДК

Дадим количественную оценку влияния одного результата тестирования Оij на оценку уровня освоения соответствующего элемента Оi. Если Оij = Оij* – Оij есть частное приращение (изменение) результата проверки тестом Тj элемента Эi, тогда полное приращение (изменение) Оi результата определения уровня освоения элемента Эi при изменении результата проверки тестом Тj и фиксированных значениях результатов других тестов ( l ≠ j Оil = 0) определяется так:

Таким образом, можно моделированием (расчетом) при заданном значении коррекции результата тестирования Оij рассчитать новую оценку О*i, или наоборот, определить, насколько нужно изменить (улучшить) результат Оij, чтобы изменить (улучшить) оценку О*i на заданную величину.

Определим min и max значения результата О*i в предположении, что от повторной проверки он не ухудшится ( О ≥ 0):

(О*ij max = 1).

Для решения задач моделирования при прогнозировании результатов применения интегро-дифференциального критерия можно задавать желаемое или оценивать имеющееся изменение результатов дифференциальных составляющих (в разах – K > 0 или в процентах – K% > 0), а затем рассчитать, как это скажется на интегральной функции (с обязательной проверкой выполнения условий нормирования в заданном диапазоне). Например,

65

Моделирование и прогнозирование наиболее эффективно только в рамках применения автоматизированной системы сопровождения учебного процесса.

Как было показано выше, результат теста может быть использован при расчете АИДКО уровня освоения ЭДК только при превышении заданного порогового значения θ (условие организационной мультипликативности). В этом случае будем считать результат теста положительным (Оij ≥ θ), а в противном случае – отрицательным (Оij < θ). С учетом АИДКО (1) минимальное значение интегрального результата Оi min при минимально допустимых значениях дифференциальных результатов (Оij min = θ; j [1; H]) определяется так:

Таким образом, допустимое для анализа значение оценки уровня освоения ЭДК Оi [θ; 1]. Оговорим, что указанное пороговое значение θ может отличаться от порогового значения принятия решения о степени освоения ЭДК η, поскольку они могут иметь разный физический смысл. Например, минимально допустимый положительный результат теста θ = 0,25 показывает, что учебный материал, контролируемый данным тестом, должен быть освоен минимум на 25 % (более четверти ответов на тестовые задания должны быть правильными). В свою очередь, решение, освоен ЭДК или нет, может приниматься по заданному пороговому значению η = 0,5. С учетом изложенного для коррекции интегрального результата выбираются те фрагменты учебного материала, которые соответствуют отрицательным результатам тестов, и среди них выполняется направленный перебор.

Пример 2.1. Предположим, что элемент Э1 контролируется тестами Т1, Т2, Т3. Уровень освоения элемента Э1 определяется в соответствии с (2.1) следующим образом:

О1 = λ11·О11 + λ12·О12 + λ13·О13.

Пусть весовые коэффициенты определены, например, способом, предложенным в [62] и равны: λ11 = 0,2; λ12 = 0,5; λ13 = 0,3. Тогда ИДК оценки уровня освоения элемента Э1 представлен в виде

О1 = 0,2О11 + 0,5О12 + 0,3О13.

66

Заданные пороговые значения: θ = 0,3 (тест дает положительный результат, если результат теста превышает 0,3); η = 0,6 (ЭДК считается освоенным, если ИДК превышает 0,6).

Предположим, в результате проведения тестирования (например, применения безусловных или условных алгоритмов диагностирования [3]) и декомпозиции результатов тестов были получены и зафиксированы в таблице диагностирования следующие результаты проверки, обозначенные как реакция ЭДК Эi на тест Тj – rij: О11 = 0,1; О12 = 0,4; О13 = 0,2. Тогда ИДК определяется следующим образом:

О1 = 0,2·0,1 + 0,5·0,8 + 0,3·0,2 = 0,48.

Поскольку О1 < η (0,48 < 0,6), то делается вывод о недостаточном уровне освоения элемента Э1. Очевидно, что указанный вывод сделан из-за отрицательных результатов тестов Т1 и Т3. Для повышения оценки до положительной необходимо проведение корректирующих мероприятий, и затем – пересдача одного или нескольких соответствующих контролирующих тестов.

Для коррекции уровня освоения ЭДК Э1 до минимального положительного результата нужно, чтобы для нового значения оценки О1* выполнялось условие О1* = η. Следовательно, по (2.9) О1 = О1* – О1 = 0,6 –

– 0,48 = 0,12. Рассмотрим, как должны быть измены (скорректированы) результаты каждого теста для заданного минимального значения О1, а затем проанализируем возможности применения приведенных выше вариантов алгоритмов коррекции уровня освоения ЭДК. При этом в рамках изложенных в п. 2 общих подходов к решению задачи коррекции интегральной оценки путем изменения дифференциальных оценок возможны следующие варианты организации (с целью сокращения) перебора:

а) из тестов с отрицательными результатами выбирается тест с са-

мым большим весовым коэффициентом, поскольку его результат, а также соответствующие и контролируемые им виды АРС и СРС вносят максимальный вклад в общую оценку уровня освоения контролируемого ЭДК (в нашем примере Т3):

О1 = λ13· О13 = 0,3 О13 = 0,12О13 = 0,12/0,3 = 0,4;

O13* = О13 + О13 O13* = 0,2 + 0,4 = 0,6;

K = O13*/О13 = 0,6/0,2 = 3; K% = (K – 1) 100 = = (3 – 1) 100 = 200 %.

67

Вывод: для того чтобы считать ЭДК Э1 освоенным, необходимо провести корректирующие мероприятия по дополнительному изучению фрагмента дисциплины, контролируемого тестом Т3, а затем провести повторное тестирование с результатом О13* ≥ 0,6 (это означает, что уровень освоения соответствующего фрагмента дисциплины нужно поднять в K = 3 раза, т.е. на K% = 200 %: например, вместо 2 правильных ответов из 10 после повторной сдачи правильных ответов должно быть не менее 6). При этом примем, что результаты остальных тестов сохраняются неизменными.

Примечание. В рассматриваемом примере коррекции одного результата тестирования недостаточно, поскольку результат реализации теста Т1 тоже отрицательный (О11 = 0,1 < θ = 0,3). Значит, его тоже нужно улучшать, повторно изучив соответствующий фрагмент учебного материала. В этом случае можно подобрать (вручную или с использованием автоматизированной системы) такие значения О11 и О13, что в результате будут выполняться следующие условия: О11* ≥ θ, О13* ≥ θ, О1* ≥ η ( О1 ≥ 0,12);

б) из тестов с отрицательными результатами выбирается самая низкая оценка, повторно изучается соответствующий фрагмент учебного материала и пересдается только данный тест (в нашем примере Т1):

О1 = λ11· О11 = 0,2 О11 = 0,12 О11 = 0,12/0,2 = 0,6; O11* = О11 + О11 O11* = 0,1 + 0,6 = 0,7;

K = O11*/О11 = 0,7/0,1 = 7; K% = (K – 1) 100 = = (7 – 1) 100 = 600 %.

Вывод: для того чтобы считать ЭДК Э1 освоенным, необходимо провести корректирующие мероприятия по дополнительному изучению фрагмента дисциплины, контролируемого тестом Т1, а затем провести повторное тестирование с результатом О11* ≥ 0,7, это означает, что уровень освоения соответствующего фрагмента дисциплины нужно поднять в K = 7 раз, т.е. на K% = 600 %). При этом примем, что результаты остальных тестов сохраняются неизменными (с учетом примечания к варианту а);

в) для повторной пересдачи выбирается тест, соответствующий наименее ресурсоемкому фрагменту дисциплины (например, с точки зрения количества повторно изучаемого материала, наличия свободного времени для дополнительных занятий у отвечающего за данную часть учебного курса преподавателя, ресурсов лабораторной базы, организации тестирования и т.п.), осуществляется подготовка и пересдача;

г) в случае если в соответствии с (2.10) и (2.11) повторного изучения материала и коррекции соответствующего одного теста недостаточно, то выбираются два теста (и контролируемые ими фрагменты дисциплины), три

68

и т. д. по соображениям, приведенным в п. а, б, в. Также здесь необходимо учитывать соображения, связанные с индивидуальными возможностями студента. Например, для повышения интегральной оценки до порогового значения η выбранный для коррекции по вариантам а, б или в результат теста требуется повысить до 1, что означает 100 % выполнение тестового задания. Если это трудновыполнимая задача даже для хорошо подготовленного студента, то в данном случае реальным выходом является вариант коррекции результатов нескольких (начиная с двух) тестов и дополнительное изучение соответствующих им фрагментов учебного материала.

В завершение отметим, что решение поставленной задачи тем сложнее, чем больше вводится дополнительных ресурсных ограничений (временных, материально-технических, кадровых, организационных и т.п.). Также необходимо, чтобы все результаты проверки уровня освоения каждого ЭДК на всех тестах были не ниже заданного минимального (порогового) уровня. Предлагаемые соотношения, методы и алгоритмы позволяют формализовать процедуру корректной оценки результатов текущего и рубежного контроля уровня освоения ЭДК и являются необходимым компонентом при разработке методического, информационного и алгоритмического обеспечения автоматизированной информационной системы управления и контроля качества учебного процесса.

2.2. Анализ и количественная оценка результатов реализации образовательных программ с использованием диагностических тестов

Ориентирование образовательных программ на формирование и контроль компетенции, их компонентов и элементов требует новых подходов к взаимоувязанным способам формирования и средствам контроля уровня их освоения. Для решения данной большеразмерной и слабоформализуемой проблемы предлагается привлечение аппарата и методов технических наук, решающих сходные задачи для технических объектов, с учетом свойств и особенностей предметной области образования. Так, автором исследуются и предлагаются подходы к привлечению математического аппарата, методов и алгоритмов технической диагностики, теории автоматического управления, аппарат детерминированной и нечеткой логики и т.д. Это позволяет найти подходы к автоматизации процедуры обнаружения и поиска элементов компетенций с недостаточным уровнем освоения (нЭДК), что является обязательным этапом оценивания результатов реализации образовательных программ.

Одним из основных и важных шагов является дешифрация результатов тестового диагностирования уровней освоения элементов дисципли-

69

нарных компетенций в рамках дисциплины (раздела). Сформулируем ряд частных задач определения уровня освоения элементов дисциплинарных компетенций.

1.Количественная оценка результатов реализации диагностического

теста.

2.Выбор математического аппарата для формализованного описания

ирешения задач дешифрации и оценивания результатов тестового диагностирования.

3.Разработка методов дешифрации и анализа результатов реализации диагностического теста.

4.Разработка методов дешифрации и анализа результатов реализации группы диагностических тестов с целью определения уровней освоения всей совокупности формируемых и контролируемых элементов дисциплинарных компетенций.

5.Автоматизация процедур контроля, дешифрации и оценивания результатов тестового диагностирования.

Целью данного раздела работы является решение частной задачи разработки подхода к количественной оценке результатов реализации диагностического теста уровня освоения группы элементов дисциплинарных компетенций.

Основные термины и определения предлагаемого подхода. Ранее показана возможность применения ряда положений и методов технической диагностики, в частности алгоритмов безусловного и условного поиска неисправных объектов, применительно к проверке уровня освоения ЭДК. Речь идет о решении комплексной задачи оценки уровня освоения результатов обучения по компетентностно-ориентированным образовательным программам. При этом важным этапом диагностирования является дешифрация результатов тестов с заданной точностью – определение уровня освоения каждого из совокупности контролируемых ЭДК в соответствии с заданной шкалой оценивания.

Вданном разделе предложен алгоритм дешифрации результатов тестирования и определения ЭДК с недостаточным уровнем освоения (нЭДК) для одного сложного (контролирующего несколько ЭДК) диагностическо-

го теста с использованием двухуровневой шкалы оценивания и аддитивного интегро-дифференциального критерия оценивания (АИДКО). Введем ос-

новные термины и определения [51]:

h – общее количество проверяемых и оцениваемых сложным тестом ЭДК;

все ЭДК равнозначны (равновероятны) с точки зрения их важности, сложности изучения, трудоемкости освоения и т.п. Отметим, что для не-

70