Квалиметрические модели методы и алгоритмы контроля дешифрации и оц

свой ЭДК (участие теста в контроле других ЭДК отсутствует либо игнорируется));

–с единичным покрытием элементов (еПЭ) и неединичным покрытием тестов (неПТ) (h > H, табл. 1.9, обозначение «еПЭ & неПТ»: каждый ЭДК контролируется одним тестом, но тест может контролировать несколько ЭДК);

–с неединичным покрытием элементов (неПЭ) и единичным покрытием тестов (еПТ) (h < H, табл. 1.10, обозначение «неПЭ & еПТ»: каждый тест контролирует один ЭДК, но ЭДК может контролироваться несколькими тестами).

Вариант 1. Полное единичное покрытие. Предполагается построение таблицы диагностирования с единичным покрытием каждого теста (Wj = 1, j [1; H], где H – количество тестов) и каждого элемента (Vi = 1, i [1; h], где h – количество элементов). Пример формата полного единичного покрытия приведен в табл. 1.8.

Достоинства:

–каждый тест относится к определенной категории – ТЗ, ТУ или ТВ, поэтому реализуются прямые методы измерений;

–ИДКО уровня освоения каждого ЭДК составляется из результата реализации соответствующего теста, что не требует расчета весовых коэффициентов, исключает явление «компенсации» одних результатов другими (отличие интегральной оценки от одной или нескольких дифференциальных) и, таким образом, позволяет максимально точно определить оценку [62].

Недостатки:

–для тестов умений и владений, которые, как правило, являются «видовыми», т.е. привязанными к определенному виду АРС или СРС, сложно выделить только один контролируемый им элемент и игнорировать участие в контроле других элементов;

51

–однозначная зависимость количества тестов и элементов может привести к необоснованному разрастанию компонентной структуры. Например, если предусмотрено 8 практических занятий с соответствующими индивидуальными заданиями, то необходимо сформулировать 8 ЭДК «уметь» (вместо рекомендованных нормативными документами вуза 2–3 на одну ДК).

Область целесообразного применения:

–количество средств контроля (тестов), совпадающее с количеством ЭДК;

–соответствие каждому ЭДК индивидуального теста (или участие которого в проверке других ЭДК игнорируется);

–наличие в составе средств контроля простых тестов;

–как правило, для проверки знаний.

Вариант 2. Единичное покрытие элементов и неединичное покрытие тестов. Предполагается построение таблицы диагностирования с единичным покрытием каждого элемента (Vi = 1, i [1; h], где h – количество элементов). Пример формата единичного покрытия элементов и неединичного покрытия тестов приведен в табл. 1.9.

Таблицу диагностирования с единичным покрытием элементов и соответствующую ей компонентную структуру дисциплинарной компетенции можно получить, проведя декомпозицию ЭДК и синтез составных тестов из простых. Пример преобразования приведен в табл. 1.9, построенной из табл. 1.8. В ней Э1 (см. табл. 1.8) декомпозирован на Э1' и Э4' (см. табл. 1.9), а Э2 (см. табл. 1.9) декомпозирован на Э2' и Э5' (см. табл. 1.9). В данном случае затрудняется (усложняется) процедура локализации дефекта в каждом из покрываемых тестом элементов, что приводит к необходимости дополнительной дешифрации результатов тестирования. Это сводится либо к дешифрации результатов тестирования, либо к декомпозиции тестов (для примера, в табл. 1.9 Т1' декомпозируется на Т11, проверяющий Э1', и Т14, проверяющий Э4'; Т2' – на Т22 и Т25). Таким образом, происходит формальное увеличение общего количества тестов (в рассматриваемом примере до значения H = H + (h – H)) = 3 + (5 – 3) = 5), что сводит данный вариант к варианту 1 с указанными для него достоинствами и недостатками.

Достоинства:

–позволяет под частично заданные средства контроля выбрать наиболее детализированные и соответствующие формулировки ЭДК;

–первоначальное количество тестов сравнительно небольшое. Недостатки:

–необходимость дешифрации общего результата теста на результаты относительно каждого из контролируемых им ЭДК, которые при единичном покрытии элементов и будут ИДКО их уровня освоения;

52

–тесты должны быть составными или сложными. Область целесообразного применения:

–достаточно детализированные формулировки ЭДК, что вызывает необходимость контроля составными (сложными) тестами;

–количество тестов, меньшее количества ЭДК (небольшое число средств контроля для расширенной компонентной структуры ДК);

–наличие в составе средств контроля составных и сложных тестов;

–как правило, для проверки умений и владений;

–текущий контроль с помощью условных процедур диагностирова-

ния [67].

Вариант 3. Неединичное покрытие элементов и единичное покрытие тестов. Предполагается построение таблицы диагностирования с единич-

ным покрытием каждого теста (Wj = 1, j [1; H], где H – количество тестов). Пример формата неединичного покрытия элементов и единичного покрытия тестов приведен в табл. 1.10.

Таблицу диагностирования с единичным покрытием тестов и соответствующую ей компонентную структуру дисциплинарной компетенции можно получить, проведя объединение ЭДК. Пример преобразования приведен в табл. 1.10, построенной из табл. 1.8. В ней Э2 и Э3 (см. табл. 1.8) объединены в Э2'' (см. табл. 1.10). Каждый тест покрывает (контролирует) только один элемент, при этом часть элементов проверяется несколькими тестами (пример приведен в табл. 1.10 – элемент Э2). При этом очевидно, что тесты контролируют разные составляющие (свойства, части содержания или структуры и т.п.) элемента, следовательно, необходима декомпозиция элемента (для примера в табл. 1.10 – Э2'' декомпозируется на Э21, проверяемый тестом Т2'', и Э22, проверяемый тестом Т3''). Таким образом, происходит формальное увеличение общего количества элементов (в рассматриваемом примере до значения h'' = h + (H – h)) = 3), что сводит данный вариант к варианту 1 с указанными для него достоинствами и недостатками. Это приводит к искусственному расширению (усложнению) компонентной структуры дисциплинарной компетенции, и не всегда приемлемо. Если не проводить декомпозицию элементов, то это будет означать, что один элемент контролируется несколькими тестами, что в некоторых случаях может быть признано избыточным, а оценка уровня освоения каждого элемента складывается из результатов нескольких контролирующих его тестов с учетом их взаимовлияния (компенсации).

Достоинства:

–тесты простые;

–дешифрация результатов не требуется из-за свойств простых тестов;

–компактная компонентная структура (небольшое количество ЭДК).

53

Недостатки:

–для определения уровня освоения ЭДК требуется построение ИДКО вследствие неединичного покрытия элементов;

–как правило, используются для проверки знаний;

–возникает задача расчета весовых коэффициентов дифференциальных критериев в составе интегрального, одно из возможных решений которой показано в [129].

Область целесообразного применения:

–укрупненные формулировки ЭДК, которые вызывают необходимость их контроля (или контроля их составляющих) несколькими тестами;

–количество тестов, большее количества ЭДК (большое число средств контроля для компактной компонентной структуры ДК);

–наличие в составе средств контроля простых тестов.

Вариант 4. Комбинированное покрытие: для любого соотношения h и H покрытие может превышать единичное.

Обобщенный случай объединяет все особенности вариантов 1, 2 и 3 и является наиболее часто встречающимся на практике при реализации условных процедур поиска нЭДК с требуемым уровнем локализации. Это объясняется тем, что, как было сказано выше, большая часть проверочных заданий привязана к видам аудиторной и самостоятельной работы и является фиксированной (заданной преподавателем при разработке соответствующего раздела рабочей программы дисциплины). Количество элементов (компонентная структура дисциплинарной компетенции) при этом определяется содержанием дисциплины и регламентируется ограничениями, принятыми в вузе. Тогда необходимо применить указанные при анализе вариантов 2 и 3 способы декомпозиции элементов или тестов с учетом введенных ограничений и допущений. При этом важно выбрать объект декомпозиции: элементы или тесты с учетом имеющихся ограничений и с анализом последствий возможных изменений.

Применение разных форматов таблиц диагностирования, преобразование форматов в сочетании с условными или безусловными алгоритмами поиска обусловлено принятыми рекомендациями и ограничениями на компонентную структуру ДК, заданными средствами контроля, а также планируемыми для реализации методами диагностирования уровня освоения ЭДК и в конечном счете определяется преподавателем при формировании контролепригодной структуры ДК. Задание структуры таблиц диагностирования осуществляется в рамках разработанной методики контролепригодного проектирования [128].

54

1.2.3. Разработка общей методики формирования контролепригодной компонентной структуры дисциплинарной компетенции

Для разработки общего подхода к формированию контролепригодной компонентной структуры дисциплинарной компетенции необходимо сформулировать исходные данные и ограничения, а затем дать необходимые рекомендации по использованию. Исходные данные:

–наименование, цель и задачи, общее описание дисциплины, ее место в ОП;

–количество и формулировки компетенций, в формировании которых принимает участие дисциплина, взятые из таблицы отношений компетенций и дисциплин в составе компетентностной модели выпускника;

–количество и формулировки ДК, т.е. частей компетенций, которые формируются данной дисциплиной, взятые из паспортов компетенций;

–трудоемкость дисциплины и ее распределение по видам аудиторной (АРС) и самостоятельной (СРС) работы студентов;

–содержание (тематический план) учебной дисциплины;

–способы формирования (виды АРС и СРС) и требования к средствам контроля (тестам);

–график учебного процесса, включая текущий и промежуточный кон-

троль;

–рекомендации (ограничения) вуза (факультета, кафедры) по количеству и соотношению компонентов и элементов дисциплинарной компетенции, а также количеству дисциплинарных компетенций, в формировании которых участвует дисциплина;

–требования по выбору методов диагностирования, включая формат таблицы диагностирования, ограничения по глубине локализации недостаточно освоенных ЭДК (нЭДК), ресурсные ограничения по реализации алгоритмов поиска, свойства шкалы оценивания и т.п.

Проектирование контролепригодной компонентной структуры дисциплинарных компетенций является слабоформализуемой итеративной задачей, поэтому не имеет единственного тривиального решения. На качество решения влияют имеющиеся ограничения и рекомендации, наличие науч- но-методических публикаций по данной проблематике, квалификация педагога, опыт педагога в разработке компетентностно-ориентированных образовательных программ и т.д. Задача разработки контролепригодной компонентной структуры дисциплинарной компетенции – определить необходимое количество и формулировки ЭДК, увязанные с построением тестов

55

и выбранными методами диагностирования уровня освоения ЭДК. При этом предлагается придерживаться следующих этапов общего итеративного подхода [128].

1.Проанализировать тематический план дисциплины, выделить основные разделы, а в них – темы и выполнить их предварительное распределение по формируемым в рамках данной дисциплины ДК.

2.В рамках выбранных тем для каждой дисциплинарной компетенции распределить фрагменты тематического плана (темы и закрепленные за ними виды АРС и СРС) по компонентам ЗУВ. Данная процедура имеет итеративный характер, и ее результаты могут быть скорректированы после выбора и оценки средств контроля и методов диагностирования.

3.Определить, какие и сколько предусмотренных тематическим планом средств контроля задано в рабочей программе дисциплины для тем, соответствующих каждой дисциплинарной компетенции и ее элементам (ЗУВ).

4.Выбрать метод (методы) диагностирования (алгоритмы безусловного и/или условного поиска ЭДК с недостаточным уровнем освоения – нЭДК [67, 129]) и с их учетом сформировать требования к компонентной структуре ДК (варианту формата таблицы диагностирования).

5.Определить количество и формулировки ЭДК каждой дисциплинарной компетенции. При выборе количественных показателей реко-

мендуется придерживаться соотношения: Nз > Nу > Nв (как правило, ЭДК «знать» Nз, как правило, больше ЭДК «уметь» Nу, которых, в свою очередь, больше ЭДК «владеть» Nв). Данная процедура имеет итеративный характер, и ее результаты могут быть скорректированы в процессе разработки требуемых средств контроля и выбора методов диагностирования.

6.Проверить количественные показатели компонентной структуры (число, соотношения и формулировки ЭДК) каждой дисциплинарной компетенции на соответствие рекомендациям и ограничениям, при необходимости ввести коррекцию в количество и формулировки ЭДК.

7.Разработать процедуру условного и/или безусловного поиска нЭДК

сзаданной глубиной локализации, т.е. мощностью конечного множества подозреваемых нЭДК.

8.Выбрать вариант покрытия и построить таблицу диагностирования.

9.Проанализировать таблицу диагностирования на соответствие требованиям и рекомендациям, а также выбранным методам диагностирования (количество и соотношение ЭДК разных компонентов, свойства и покрывающая способность тестов и т.п.), при необходимости ввести коррек-

56

цию в количество и формулировки ЭДК, тесты обнаружения и поиска нЭДК, а также изменить структуру и формат таблицы диагностирования (этапы 7 и 8).

10.Проверить количественные показатели компонентной структуры каждой дисциплинарной компетенции, характеризующие избыточность, отсутствие дублирования, покрытие всех тем дисциплины (раздела), равнозначность формулировок ЭДК и т.д., при необходимости ввести коррекцию в количество и формулировки ЭДК.

11.При изменении тематического плана, трудоемкости, видов АРС

иСРС и других исходных данных пересмотреть компонентную структуру дисциплинарных компетенций (изменение количества и формулировок ЭДК, перераспределение видов АРС и СРС, отвечающих за формирование ЭДК, а также тестов, отвечающих за контроль уровня освоения ЭДК, и т.п.).

Рассмотрим детализированную пошаговую реализацию этапов общего итеративного подхода к разработке контролепригодной компонентной структуры дисциплинарных компетенций. При этом раскроем некоторые ограничения, выполнение которых проверяется на определенных шагах процедуры проектирования.

Шаг № 1 – составляется таблица диагностирования, в которую заносятся заданные структурой АРС и СРС дисциплины средства контроля (например, рефераты, индивидуальные задания по темам практических занятий, защита отчетов по лабораторным работам, защита курсового проекта и т.д.). По ним реализуется полное единичное покрытие, для чего выбираются количество и формулировки ЗУВ для соответствующих средств контроля (с учетом, например, рекомендаций по выбору наиболее эффективных средств контроля для каждого вида компонентов ЗУВ). Для не заданных в явном виде средств контроля формируется первоначальный вариант соответствующих ЗУВ с учетом имеющихся требований и рекомен-

даций (например, Nз Nу Nв) – этапы 1–6.

Шаг № 2 – выбираются методы диагностирования (безусловные и/или условные процедуры поиска ЭДК с недостаточным уровнем освоения), что может потребовать пересмотра компонентной структуры и таблицы диагностирования (разработка методов и условий их применения – отдельное направление исследования); применяется инструментарий моделирования для проверки полноты покрытия и глубины локализации нЭДК (аналог рассматриваемой в технической диагностике «обратной задачи», которая заключается в синтезе теста, обнаруживающего заданную неисправность объекта контроля) – этап 7.

57

Шаг № 3 – трансформируется таблица диагностирования: консолидируются (объединяются) схожие по формулировкам ЭДК либо, наоборот, декомпозируются (дробятся) ЭДК для перераспределения средств контроля; из простых тестов строятся составные и сложные тесты, что требует переформатирования компонентной структуры; вводятся новые ЭДК и/или тесты под выбранные методы диагностирования и т.д. – этапы 8–9.

Шаг 4 – проверяется выполнение требований и ограничений, накладываемых нормативно-методической документацией Министерства образования и науки РФ, Учебно-методического объединения вузов по образованию в определенной области науки и техники, вуза, факультета, кафедры и т.д. – этап 10.

При изменении исходных данных (в зависимости от характера изменений) проводится возврат на соответствующий шаг – этап 11.

Выводы по главе

В главе приведено описание предложенных способов управления качеством на этапе проектирования программ подготовки.

1.Проанализированы основные положения технической диагностики

сцелью анализа возможности ее применения для контроля результативности подготовки. Предложено применение аппарата и методов технической диагностики в качестве методологической основы для разработки алгоритмов диагностирования уровня освоения компетенций; указаны условия использования и ограничения.

2.Разработаны алгоритмы безусловного и условного поиска недостаточно освоенных элементов компетенций, что в условиях увеличения объема и значимости самостоятельной работы позволяет повысить организованность и эффективность самоподготовки обучаемых за счет индивидуализации траектории подготовки.

3.Предложен алгоритм реализации и дешифрации результатов безусловной и условной процедур тестирования, приведены примеры расчетов и анализа результатов, показаны варианты реализации, проанализированы их достоинства, недостатки и условия применения. Это позволило провести апробацию одного из предлагаемых алгоритмов в процессе обучения. Разработан программный инструментарий в среде Visual Basic for Application (VBA), подтвердивший правильность работы алгоритма и корректность результатов моделирования, а также позволивший выполнить автоматизацию процедуры тестового диагностирования.

58

4.Разработана методика проектирования контролепригодной компонентной структуры дисциплинарной компетенции, учитывающая запланированные методы диагностировании и свойства средств контроля (тестов). Проведен анализ вариантов построения таблиц диагностирования элементов дисциплинарных компетенций, который позволил сформулировать варианты для обеспечения свойства контролепригодности у соответствующей компонентной структуры, показаны достоинства, недостатки

иобласть применения каждого формата.

5.Предложен общий итеративный подход к формированию контролепригодной компонентной структуры дисциплинарной компетенции; выделены основные этапы разработанного подхода.

59

ГЛАВА 2. КВАЛИМЕТРИЧЕСКИЙ МЕТОД ДЕШИФРАЦИИ И ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПОДГОТОВКИ, ПОСТРОЕННЫЙ

НА ОСНОВЕ АППАРАТА АЛГЕБРАИЧЕСКОЙ ЛОГИКИ

Инженерное образование требует применения самых современных и инновационных подходов и технологий. Международный и российский опыт модернизации системы высшего образования признает важность проблемы контроля и оценивания промежуточных и итоговых результатов обучения для эффективного управления качеством образования. Для этого привлекаются различные средства и технологии: многоуровневое и адаптивное тестирование, case-технологии, метод проектов, дистанционные образовательные технологии, портфолио и т.д.

На основании результатов оценивания ЭДК определяется степень освоения вышележащих уровней (компонентов, дисциплинарных компетенций, компетенций), например, с использованием аддитивного интегродифференциального критерия. Таким образом, от точности результатов оценивания ЭДК зависит точность принятия решения по всем результатам реализации образовательной программы.

Основным отличием предлагаемых методов от известных (например, [1, 10, 11, 14, 81]) является анализ и учет рисков неправильного принятия решения за счет анализа неопределенности результата диагностирования в рамках разработанных процедур дешифрации и оценивания. Предлагается использование методов математической (алгебраической и нечеткой логики), их сравнительный анализ, возможность взаимного дополнения и область целесообразного применения.

2.1. Разработка методики анализа количественной оценки результатов подготовки, представленных

в компетентностном формате

Проблема выбора эффективных способов формирования и особенно средств и методов контроля уровня освоения результатов обучения является на сегодняшний момент актуальной и нерешенной вследствие большой размерности, взаимовлияния многих факторов и сложности формализованного представления задачи. Решение указанных задач позволит разработать и внедрить в составе соответствующей автоматизированной информационной системы формализованный аппарат описания методов и средств управления и контроля качества обучения. Это не только актуально для реализации текущего, промежуточного и рубежного контроля

60