Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Квалиметрические модели методы и алгоритмы контроля дешифрации и оц

..pdf
Скачиваний:
12
Добавлен:
15.11.2022
Размер:
16.62 Mб
Скачать

Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Пермский национальный исследовательский политехнический университет»

В.И. ФРЕЙМАН

КВАЛИМЕТРИЧЕСКИЕ МОДЕЛИ, МЕТОДЫ

ИАЛГОРИТМЫ КОНТРОЛЯ, ДЕШИФРАЦИИ

ИОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПОДГОТОВКИ СПЕЦИАЛИСТОВ

Монография

Издательство Пермского национального исследовательского

политехнического университета

2015

1

УДК 004.9:378.1 Ф86

Рецензенты:

доктор технических наук, профессор С.А. Федосеев (ЗАО «Геликон Про», г. Пермь);

доктор технических наук, профессор Ю.Н. Хижняков (Пермский национальный исследовательский политехнический университет)

Фрейман, В.И.

Ф86 Квалиметрические модели, методы и алгоритмы контроля, дешифрации и оценки результативности подготовки специалистов: моногр. / В.И. Фрейман. – Пермь: Изд-во Перм. нац. исслед. политехн. ун-та, 2015. – 140 с.

ISBN 978-5-398-01539-3

Монография посвящена исследованию актуальной темы разработки, исследования и применения квалиметрических моделей, методов и алгоритмов контроля, дешифрации и оценки результативности подготовки специалистов. Ее основной показатель – компетентность – является в соответствии с требованиями стандартов серии ISO 9000 одним из самых важных и значимых факторов обеспечения качества продукции.

Предложены методы оценки результативности подготовки, основанные на различных математических аппаратах: технической диагностики, алгебраической и нечеткой логики. Представлены модели, методы применения в процессе подготовки, доведенные до уровня алгоритмов, программный инструментарий.

Монография предназначена для ученых, аспирантов, студентов и специалистов по проектированию и реализации программ подготовки специалистов.

УДК 004.9:378.1

ISBN 978-5-398-01539-3

© ПНИПУ, 2015

2

ОГЛАВЛЕНИЕ

 

Введение...................................................................................................................

6

Глава 1. КВАЛИМЕТРИЧЕСКИЕ МОДЕЛИ, ПРОЦЕДУРЫ

 

И АЛГОРИТМЫ КОНТРОЛЯ РЕЗУЛЬТАТИВНОСТИ

 

ПОДГОТОВКИ, ПОСТРОЕННЫЕ НА ОСНОВЕ АППАРАТА

 

И МЕТОДОВ ТЕХНИЧЕСКОЙ ДИАГНОСТИКИ.............................................

10

1.1. Разработка квалиметрических методов, процедур

 

и алгоритмов диагностирования уровня компетентности

 

с использованием адаптированного математического аппарата

 

и методов технической диагностики.......................................................

11

1.1.1. Применение положений и аппарата технической

 

диагностики к решению задач контроля

 

и оценки результатов освоения

 

программ подготовки специалистов ..............................................

11

1.1.2. Проектирование таблиц диагностирования

 

совместно с выбранной процедурой обнаружения

 

и поиска нЭДК..................................................................................

16

1.1.3. Классификация алгоритмов обнаружения и поиска.....................

21

1.1.4. Разработка и исследование алгоритмов

 

безусловного поиска элементов компетенций

 

с недостаточным уровнем освоения...............................................

24

1.1.5. Разработка, реализация и верификация алгоритма

 

условного поиска элементов компетенций

 

с недостаточным уровнем освоения...............................................

30

1.2. Разработка и применение методики контролепригодного

 

проектирования компонентной структуры

 

дисциплинарной компетенции................................................................

46

1.2.1. Проектирование контролепригодной компонентной

 

структуры дисциплинарной компетенции.....................................

47

1.2.2. Анализ вариантов построения таблиц

 

диагностирования элементов дисциплинарных

 

компетенций......................................................................................

50

1.2.3. Разработка общей методики формирования

 

контролепригодной компонентной структуры

 

дисциплинарной компетенции........................................................

55

3

Глава 2. КВАЛИМЕТРИЧЕСКИЙ МЕТОД ДЕШИФРАЦИИ

 

И ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПОДГОТОВКИ,

 

ПОСТРОЕННЫЙ НА ОСНОВЕ АППАРАТА

 

АЛГЕБРАИЧЕСКОЙ ЛОГИКИ............................................................................

60

2.1. Разработка методики анализа количественной оценки

 

результатов подготовки, представленных

 

в компетентностном формате...................................................................

60

2.1.1. Анализ обобщенной структуры АИДКО уровня освоения

 

компетенций и их составляющих...................................................

61

2.1.2. Формализованная оценка влияния

 

дифференциальной составляющей (результата теста)

 

на интегральный результат, характеризующий

 

уровень освоения ЭДК.....................................................................

65

2.2. Анализ и количественная оценка результатов реализации

 

образовательных программ с использованием

 

диагностических тестов............................................................................

69

2.3. Разработка и применение метода анализа логических

 

условий с целью дешифрации результатов

 

диагностического теста уровня освоения

 

элементов компетенций............................................................................

78

2.4. Алгоритм дешифрации результатов

 

диагностических тестов уровня освоения

 

элементов компетенций............................................................................

85

Глава 3. КВАЛИМЕТРИЧЕСКИЙ МЕТОД ДЕШИФРАЦИИ

 

И ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ ПОДГОТОВКИ,

 

ПОСТРОЕННЫЙ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ....................................

98

3.1. Применение аппарата нечеткой логики для контроля

 

результатов обучения, заданных в компетентностном формате..........

98

3.2. Разработка метода дешифрации результатов тестового

 

диагностирования с использованием нечеткой логики.......................

102

3.3. Применение нечеткой логики для определения

 

интегральных оценок результативности подготовки..........................

108

3.3.1. Аналитическая модель решения задачи

 

при использовании методов нечеткой логики.............................

109

3.3.2. Моделирование принятия решения

 

для разных шкал оценивания........................................................

111

3.3.3. Преимущества применения нечеткой логики..............................

113

4

3.3.4. Общие рекомендации и выводы

 

по выбору шкалы оценивания.......................................................

115

3.3.5. Расчет интегральной оценки на примере одного

 

из видов аттестационных испытаний с использованием

 

алгебраических методов расчета..................................................

117

3.3.6.Расчет интегральной оценки на примере одного из видов аттестационных испытаний с использованием

методов расчета, основанных на нечеткой логике .....................

120

Заключение............................................................................................................

125

Список литературы...............................................................................................

126

5

ВВЕДЕНИЕ

Основной задачей экономики является производство продукции (продуктов и услуг) [27]. Для обеспечения высокой конкурентоспособности предприятий или организаций, ориентированных на выпуск продуктов или предоставление услуг, необходимо поддерживать и постоянно улучшать качество представляемой на рынок продукции. Качество продукции определяется многими факторами: научно-техническим уровнем проектов и разработок; характеристиками материалов и комплектующих элементов; уровнем оснащения и технологической подготовки производства; использованием системы менеджмента качества; применением систем автоматизации и интеллектуализации производства и т.д. При наличии у современных предприятий и организаций сходных (соизмеримых) по количественным и качественным характеристикам способов и условий построения производства важную, а зачастую и определяющую роль играет наличие соответствующей компетентности (квалификации) специалистов. Наличие профессиональной подготовки требуется для создания и сопровождения продукции на всех этапах ее жизненного цикла (маркетинг, НИОКР, материально-техническое снабжение, подготовка и разработка производственных процессов, непосредственно производство, контроль, испытания и обследование продукции в процессе производства и выходной контроль, упаковка и хранение готовой продукции, реализация и распределение, монтаж и эксплуатация, техническая помощь в обслуживании, утилизация после использования [31]). Соответствующие требования к продукции на каждом этапе жизненного цикла задаются стандартами разного уровня и условиями договоров, а степень соответствия реализации требованиям определяет качество продукции.

Невозможно дать точную априорную количественную оценку влияния уровня компетентности на выпускаемую продукцию, можно лишь абсолютно уверенно утверждать, что создавать конкурентоспособные продукты могут только высококвалифицированные специалисты. Это особенно актуально в условиях экономических проблем, импортозамещения и повышения конкуренции в разных секторах экономики.

Для формирования требований к компетентности персонала разрабатываются и внедряются следующие нормативные документы:

профессиональные стандарты для оценки соответствия уровня компетентности персонала предприятий и организаций;

федеральные государственные образовательные стандарты для оценки уровня освоения заданных компетенций выпускниками учебных заведений систем среднего специального и высшего образования;

6

государственные требования, например, к профессиональной переподготовке, повышению квалификации и стажировке государственных гражданских служащих Российской Федерации (утверждено Постановлением Правительства РФ от 6 мая 2008 г. № 362);

требования организаций профессионального сообщества (объединения работодателей);

внутренние (локальные) стандарты образовательных учреждений, предприятий и организаций.

При этом стандартами и иными нормативными документами не предлагаются методы и инструментарий для оценивания уровня компетентности. Поэтому актуальной является задача разработки и внедрения общей методологии оценки компетентности (результативности подготовки) специалистов. Она является основой для создания интегрированной системы управления качеством продукции, поскольку объединяет заданные требования к трудовым функциям, методы проектирования и реализации подготовки, методы контроля, дешифрации и количественной оценки результативности подготовки (компетентности).

Методология представляет собой совокупность методов, позволяющих спроектировать, реализовать и оценить результативность программы подготовки специалистов для разных этапов жизненного цикла продукции,

аименно:

1)методы проектирования и реализации программы, построенные на основе взаимного учета требований системы менеджмента качества, выбранного вектора развития науки, техники и технологии; квалификационных требований работодателей, сформулированных на основании своих потребностей с учетом профессиональных стандартов;

2)методы разработки и алгоритмизации (автоматизации) проектирования основной документированной информации по программе подготовки (компетентностная модель, учебный план, фонды оценочных средств и т.п.);

3)модели и методы количественной оценки результативности подготовки, представленной в компетентностном формате;

4)алгоритмы и процедуры контроля результативности подготовки;

5)методы дешифрации результатов контроля результативности;

6)методы автоматизации и стандартизации процесса подготовки специалистов.

Внастоящей работе приведены решения задач разработки, исследования и применения квалиметрических моделей, методов и алгоритмов контроля, дешифрации и оценки результативности подготовки специалистов как одного из наиболее важных и значимых факторов обеспечения качества продукции.

7

Проблема управления качеством подготовки специалистов продолжает оставаться актуальной. Системный и методологический подход к управлению системами образования разрабатывался такими учеными, как А.М. Новиков, Д.А. Новиков, H.A. Селезнева, С.И. Архангельский, Н.В. Кузьмина, В.М. Соколов, Э.М. Короткое, В.И. Загвязинский, Н.Н. Матушкин и др. (например, [36, 37, 71, 79, 80, 90, 98]). Внедрению компетентностного подхода в образовании посвящена профессиональная деятельность В.И. Байденко [9, 84], A.C. Белкина [8], Э.Ф. Зеера [93, 39, 40], И.А. Зимней [41, 42, 43], A.B. Хуторского [47, 136] и др. На решение проблем менеджмента качества продукции (в частности, в области образования) ориентированы исследования Г.Г. Азгальдова, A.B. Гличева, В.А. Азарьевой, В.И. Круглова, В.М. Кутузова, С.А. Степанова, В.В. Ященко, Д.В. Пузанкова, В.С. Соболева, И.В. Степанова, Е.Г. Семеновой, А.Г. Варжапетяна, Г.И. Коршунова, В.Н. Васильева, А.А, Шехонина, Л.С. Лисицыной, В.П. Беспалько, А.И. Субетто, В.М. Кларина,

В.М. Соколова, Ю.Г. Татура и др. (например, [4, 5, 11, 14, 15, 68, 70, 74, 103, 104, 106, 112, 113]), а также зарубежных ученых Б. Блума, У.Э. Деминга, Дж. Харрингтона и др. [143, 144, 150, 152, 153]. Непосредственно задачи педагогической квалиметрии решались в работах B.C. Аванесова, М.Б. Звонникова, А.Н. Майорова, Н.Ф. Талызиной, М.Б. Челышковой, Н.Ф. Ефремовой, К. Ингенкамп, Е.А. Михайлычева, В.C. Черепанова,

Ю.А. Шихова и др. (в частности, [1, 2, 34, 35, 38, 139, 140, 141]). Пробле-

мами обеспечения качества профессионального образования занимаются представители ведущих вузов РФ, например, А.И. Чучалин, А.А. Александров, С.В. Коршунов, Ю.Б. Цветков, Е.Л. Кон, А.А. Южаков и др. [6, 45, 118, 137, 138].

При достаточно высокой степени разработанности темы исследования не нашли достаточно подробного и конкретизированного решения вопросы организации и реализации программ подготовки специалистов, построенных на основе стандартов, определяющих требования к качеству продукции, образовательных и профессиональных стандартов, системы менеджмента качества. Важной и актуальной остается задача разработки алгоритмов диагностирования, квалиметрических методов оценивания компетентности через оценки составляющих ее компонентов и элементов, а также влияния результативности подготовки на качество продукции. Актуальной и не доведенной до уровня нормативно-методической документации является проблема разработки и внедрения методик определения количественных дифференциальных и интегральных показателей качества на разных стадиях реализации процесса подготовки, увязанных с форматом требований потребителей и системы менеджмента качества. Традиционно

8

важной является задача автоматизации наиболее сложных и слабоформализуемых этапов проектирования, реализации и оценивания результативности и эффективности программ подготовки специалистов. Решение указанных проблем требует разработки комплексного системного подхода, позволяющего эффективно решать актуальные и важные задачи управления качеством подготовки как значимого фактора обеспечения качества продукции, что обусловливает актуальность представленных результатов исследований.

9

ГЛАВА 1. КВАЛИМЕТРИЧЕСКИЕ МОДЕЛИ, ПРОЦЕДУРЫ И АЛГОРИТМЫ КОНТРОЛЯ РЕЗУЛЬТАТИВНОСТИ

ПОДГОТОВКИ, ПОСТРОЕННЫЕ НА ОСНОВЕ АППАРАТА И МЕТОДОВ ТЕХНИЧЕСКОЙ ДИАГНОСТИКИ

Проблема контроля и оценки уровня освоения компетенций и их составляющих, разработки методик создания фондов оценочных средств является для системы высшего профессионального образования (ВПО) России недостаточно исследованной и формализованной, что затрудняет автоматизацию этого трудоемкого процесса и актуализирует ее решение. В отечественных научных и методических работах в данном направлении указанные вопросы рассматриваются и частично решаются (например, [2, 10, 14, 34, 72, 97, 98, 103, 112]). Однако в них не нашла отражения, на наш взгляд, достаточно подробная и алгоритмизированная проработка вопросов увязки принципов контроля и оценивания со способами формирования элементов дисциплинарных компетенций (ЭДК), конкретные рекомендации и механизмы по применению, анализ ограничений и т.д. Поэтому одной из актуальных проблем является разработка методологической основы контроля и оценивания результатов освоения образовательных программ (ОП) с применением системного подхода и соответствующего математического и алгоритмического аппарата. В решении указанной проблемы существенную помощь, по нашему мнению, может оказать применение хорошо проработанного и апробированного аппарата и методов технической диагностики с адаптацией их к рассматриваемым объектам исследования (компетенциям и их составляющим) и предметам исследования (алгоритмам контроля и оценивания) [50]. Важно также отметить, что возможность и условия применения указанных процедур и алгоритмов необходимо рассматривать с учетом особенностей человеческого фактора у проверяемого субъекта – студента. Это нашло отражение в модели объекта контроля, а также в ограничениях и условиях использования предлагаемых методик.

Целью данного раздела является анализ возможности применения аппарата и методов технической диагностики для контроля и оценки результатов освоения основных образовательных программ, сформированных в соответствии с требованиями ФГОС ВО на базе компетентностного подхода к образовательному процессу, а также выработке соответствующих рекомендаций по применению.

10