4. Использование квалиметрических методик для оценки качества образования в кинематографии

Количественные методики оценки качества образования в России, основанные на экспертных методах и математической обработке измерительной информации [40], получили широкое распространение в 1990-е годы.

Модели функциональной квалиметрии, рассмотренные в Главе 3, также могут быть целесообразны при разработке методик оценки качества подготовки специалистов и количественной оценке качества образования в кинематографии.

4.1.Методика количественной оценки качества подготовки специалиста

При разработке и последующей сертификации системы менеджмента качества высшего учебного заведения в соответствии с рекомендациями международных стандартов необходимо использовать количественные критерии и методики оценки качества подготовки выпускников. Поскольку цели оценки качества могут быть разными (внутренний аудит системы качества; сертификация разработанной системы качества; аттестация, аккредитация и лицензирование вуза; представление системы качества на конкурс), различным может быть и перечень оцениваемых частных критериев, характеристик, однако методика оценки может иметь универсальный характер и ее основой в любом случае должны являться методы экспертной квалиметрии.

Актуальность вопросов, связанных с разработкой методов и моделей количественной оценки качества образовательного процесса является очевидной и в значительной степени определяется рекомендациями международных стандартов по разработке и последующей сертификации систем менеджмента качества в высших учебных заведениях. Решение этих вопросов не является простым и однозначным.

Решение данного круга задач невозможно без предварительного выбора объекта оценивания: содержания образования, качества методов обучения, качества подготовки специалиста и т.д. Предлагаемая в работе модель квалиметрической оценки предполагает итоговую интегральную оценку качества подготовки специалиста, в этом случае все остальные элементы образовательного процесса могут рассматриваться как влияющие факторы, частные параметры.

Однако даже в этом случае перечень частных характеристик, определяющих качество подготовки специалиста, также не может быть определен однозначно, поскольку квалиметрические экспертизы могут преследовать различные цели:

- если оценка проводится в форме внутреннего аудита системы качества, она может быть основана на разработанной в учебном заведении собственной структуре критериев оценки;

- если целью оценки является сертификация системы менеджмента качества, в этом случае структура квалиметрических показателей должна учитывать рекомендации международных или европейских стандартов;

- при аттестации, аккредитации, лицензировании учебного заведения, необходимо иметь в виду достаточно жесткий перечень квалиметрических характеристик общероссийской системы оценки качества образования;

- при представлении системы качества вуза на различные конкурсы, как правило, перечень оцениваемых показателей разрабатывается соответствующим экспертным советом и т.д.

Таким образом, невозможность однозначной постановки задачи, связанной с количественной оценкой качества образовательного процесса, приводит к необходимости синтеза универсальной квалиметрической модели [41], позволяющей менять структуру частных параметров, входящих в модель, в зависимости от целей проводимой количественной квалиметрической экспертизы.

Для того чтобы данная модель могла быть использована для решения различных практических задач, она должна отвечать определенным требованиям:

- модель должна позволять проводить квалиметрическую оценку при любой сложности структуры квалиметрических параметров, могла быть применена на любом иерархическом уровне системы показателей;

- модель должна позволять учитывать степень влияния частных или обобщенных параметров на интегральную квалиметрическую оценку;

- параметры, входящие в модель, должны определяться в результате вероятностно- статистического анализа и обработки результатов квалиметрических экспертиз;

- желательно, чтобы модель позволяла учитывать возможность обменных соотношений между частными или обобщенными параметрами;

- в связи с актуальностью вопросов, связанных с классификацией, ранжированием, присвоением градаций и т.д. желательно, чтобы квалиметрическая модель позволяла формировать классификационную многомерную интегральную шкалу.

В наибольшей степени поставленным требованиям отвечает статистическая модель, описываемая характеристическими функциями, на основе которой формируется интегродифференциальный показатель.

Методика количественной оценки качества подготовки специалиста [42], включает определенные этапы.

A.Формирование структуры выходных квалиметрических характеристик, критериев. Как правило, эта структура имеет иерархический характер, причем, количество уровней может быть любым. Минимальное количество иерархических уровней -3. В этом случае, нижний уровень – это частные характеристики, средний – обобщенные, являющиеся результатом влияния частных, верхний уровень – интегральная оценка качества. Очевидно, что перечень оцениваемых характеристик зависит от целей проводимой оценки: либо он предусмотрен соответствующими нормативными документами, либо формируется в результате экспертного опроса.

B. Формирование требований к проведению субъективной квалиметрической экспертизы, учитывающих особенности формирования группы экспертов с точки зрения степени согласованности их мнений, позволяющих обеспечить условия репрезентативности полученной выборки, достоверности полученных результатов, компетентности экспертов.

C. Разработка оценочной системы количественных оценочных шкал. Итоговой количественной шкалой для каждой частной характеристики должна быть нормированная относительная шкала, только на ее основании может быть рассчитана интегральная оценка. Для получения относительной шкалы можно использовать преобразование шкал от порядковых (категорий, заметности ухудшений) к относительной шкале. Если конечной целью проводимой квалиметрической экспертизы является отнесение полученной интегральной оценки к какому-то классу, градации, присвоение определенной категории, то итоговой должна являться соответствующая классификационная (например, лингвистическая) шкала.

D. Определение коэффициентов весомости частных и обобщенных характеристик, например, с использованием таких методов, как метод парных сравнений или метод анализа иерархий и приоритетов альтернатив.

E.Определение возможности обменных соотношений между частными и обобщенными характеристиками (возможности компенсации одних характеристик другими) на основе расчета парных коэффициентов корреляции между коэффициентами весомости характеристик.

F. Расчет статистических параметров результатов субъективных квалиметрических экспертиз: математических ожиданий коэффициентов весомости, их дисперсий, оценку значимости или ничтожности коэффициентов корреляции.

G. Расчет интегрального качества подготовки специалиста с использованием модели интегрального показателя. Данная методика предполагает использование интегродифференциального показателя, представляющего собой функцию случайной переменной (коэффициента весомости). Преимущества данного критерия по сравнению с другими комплексными и интегральными моделями заключаются в том, что он позволяет учитывать стохастичность результатов субъективной квалиметрической экспертизы, весомость отдельных характеристик, возможные обменные соотношения между характеристиками, может быть использован на любом иерархическом уровне системы характеристик.

H. Разработка методик представления полученных результатов в зависимости от целей проводимой квалиметрической оценки.