Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Экономика качества (основы экономического управления качеством в университете). Учебное пособие
.pdf
где r – оценка коэффициента корреляции, полученная по наблюдаемым данным; tтабл остается прежним.
1.4. Методические рекомендации для оценки качества деятельности
кафедры университета
Исследование качества деятельности университета должно включать
оценку качества деятельности кафедры как наиболее важной основной структурной единицы, определяющей большинство целевых характеристик университета в области качества.
Для построения квалиметрической модели оценки уровня качества деятельности кафедры университета, по отношению к базовому уровню, в том
числе включая обязательные требованиям федеральных государственных образовательных стандартов (ФГОС) [127], приведем последовательность этапов на
основе методики представленной в подразд. 1.3, с применением математического и статистического аппаратов, учитывая специфику деятельности университетов в современных условиях.
В самом общем виде методические рекомендации для оценки уровня качества включают три основных этапа:
1) определение набора наиболее важных показателей, характеризующий
уровень качества деятельности кафедры и показателей удовлетворённости
заинтересованных сторон;
2) определение базовых (плановых) показателей качества, включая
сигнальные показатели требований ФГОС;
3) определение удельных весов единичных показателей качества.
Первый этап, по мнению автора, наиболее важный. Набор показателей
можно определить на основе выявления основных видов деятельности кафедры
и их составных частей.
Основными видами деятельности кафедры являются:
образовательная (педагогическая);
методическая;
научная;
международная;
воспитательная (научная деятельность студентов).
Детализируя каждое направление, автор выделил 27 показателей:
1) для педагогической – образовательной деятельности – общая квалифи-
кация педагогических работников, высшая квалификация педагогических работников, повышение квалификации педагогических работников, доля дипломов с отличием, доля дипломных работ по заявкам предприятий, доля студентов из других вузов, использование сетевой формы взаимодействия, использование сетевой формы
взаимодействия;
41
2) для методической деятельности – обеспеченность дисциплин рабочими
программами, обеспеченность учебно-методическими комплексами (УМК) по образовательным программам (ОП), обеспеченность дисциплин методическими разработками по интерактивным формам занятий, обеспеченность дисциплин методическими разработками по СРС, обеспеченность дисциплин контрольно-измерительными материалами (КИМ) фонда оценочных средств (ФОС), доля преподавателей,
использующих личные кабинеты для реализации дистанционных технологий, активность использования интернет-тренажеров, использование балльно-рейтинговой
системы оценивания (БРС);
3) для научной деятельности – активность по монографиям и статьям реко-
мендованных ВАК, выполненный объем работ по НИР, внешняя научноисследовательская активность, творческая активность, подготовка кандидатов наук,
подготовка докторов наук;
4) для международной деятельности – научные и образовательные между-
народные семинары, конференции и другие мероприятия, проведенные на базе кафедры, международная образовательная активность;
5) для студенческой научной деятельности – активность НИРС обучающихся,
эффективность представления результатов НИРС.
Выделенные показатели, по мнению автора, являются обязательными,
однако такой набор может быть значительно расширен с учетом специфики деятельности конкретного университета.
Обобщающим, независимым показателем качества может выступать показатель удовлетворенности. Как известно, показатели удовлетворённости заинтересованных сторон могут определяться многообразными методами,
например: наблюдений, различных видов опросов (прямых и косвенных, устных и письменных, телефонных и анкетирования и любых других). В мировой
практике распространено достаточное количество подходов оценки удовлетворённости. Категория удовлетворённости рассмотрена только в теоретическом
аспекте и для практического использования принимается в упрощенном виде с
предположением, что удовлетворенность может быть измерена только одним
комплексным показателем, показывающим степень удовлетворённости от 0 до
1, фактически отражающим результирующее качество деятельности.
Второй этап характеризует установление базы или плановых показателей.
Для определения показателя качества важна база для сравнения (принятый эталон). В отношении детальности кафедры можно использовать несколько
подходов, применяющих в качестве базы, исходя из стратегической линии конкретного университета.
Для стратегии поддержания качества:
– для показателей, составляющих обязательные требования федеральных
стандартов, можно использовать минимально возможное значение показателя
(например, минимально возможное количество объема НИР на одного препо-
42
давателя, или минимально возможное количество преподавателей, которые
должны иметь степень и ученое звание и т. д);
– для показателей, не входящие в базу обязательных требований, можно
использовать среднестатистические значения показателей достигнутые в данной ОО.
Для стратегии опережающего качества:
– для всех показателей можно использовать значения, которые максимально возможны для достижения в данной образовательной организации, т. е.
показатели, значительно превышающие минимальные и средние значения.
В методике, представленной в приложении А, базовые значения показателей качества установлены как рекомендованные (обязательные) плановые значения. Однако автор в данном случае не детализирует методы их определения и
принимает как заданную величину. В практическом использовании в большинстве случаев удобно привязывать показатели качества к численности ППС кафедры, количеству утвержденных дисциплин и другим плановым значениям. В
своем исследовании автор выбирает базовую величину, которая является установленной величиной в таких единицах измерения, в которых измеряется единичный объект качества. Таким образом все показатели приводятся к одной
размерности. В данном случае полное выполнение плана будет характеризоваться «единицей», невыполнение – величиной меньше единицы, перевыполнение – величиной больше единицы.
По мнению автора, в квалиметрическую модель оценки качества необходимо внести условия обязательных требований ФГОС ВО третьего поколения
[127], т. е. должны быть выделены так называемые сигнальные показатели, не
выполнение которых ведет к нарушению требований и отзыву лицензии. Такими показателями в выбранной совокупности будут «общая квалификация педагогических работников» и «обеспеченность дисциплин рабочими программами», и
их пороговое значение составит определенную величину, а именно общая квалификация педагогических работников должна быть не меньше 0,6 и обеспеченность дисциплин рабочими программами не меньше 1, в противном случае деятельность таких кафедр должна быть в кротчайшие сроки реорганизована и
подкорректирована.
Третий этап – установление удельных весов единичных показателей может быть проведен с использование статистических методов, представленных в
подразд. 1.3.
В табл. 1.10 приведены 27 показателей деятельности кафедры универси-
тета, являющиеся факторами, влияющими на уровень качества и отражающие
требования всех заинтересованных сторон, а также представлены значения рангов этих показателей по уровню значимости их влияния на общий результат,
полученные на основе опроса экспертов. Каждый специалист ранжировал переменные по степени их влияния на исследуемый целевой признак – качество
43
Факторы, влияющие на показатель качества деятельности
кафедры университета
Оценка экспертов, ранги
1
Э
2
Э
3
Э
4
Э
5
Э
6
Э
7
Э
8
Э
9
Э
10
Э
Общая квалификация педагогических работников,
1
X
7 7 8 7 7 7 7 7 6
8
Высшая квалификация педагогических работников,
2
X
14
14
13
14
14
15
14
14
14
13
Повышение квалификации педагогических работников,
3
X
9 9 9 9 8 9 9 8 10
9
Повышение квалификации педагогических работников,
4
X
1 1 2 1 1 2 1 1 1
2
Доля дипломов с отличием, Х5
13
13
12
12
13
12
11
13
13
11
Доля дипломных работ по заявкам предприятий,
6
X
19
19
19
18
19
19
19
19
18
19
Доля студентов из других вузов,
7
X
27
26
27
27
27
27
27
27
26
27
Количество базовых кафедр,
8
X
25
25
25
24
25
25
25
26
27
25
Использование сетевой формы
взаимодействия,
9
X
26
27
26
26
26
26
26
25
25
26
Обеспеченность дисциплин рабочими программами,
10
X
11
10
10
10
11
10
10
11 9 10
Полная обеспеченность учебнометодическими комплексами
(УМК) по образовательным программам (ОП),
11
X
2 2 1 2 2 1 2 2 2
1
Обеспеченность дисциплин методическими разработками по
интерактивным формам занятий,
12
X
22
23
22
20
22
22
22
22
22
22
Обеспеченность дисциплин методическими разработками по
СРС,
13
X
23
22
23
23
23
23
23
24
24
23
деятельности кафедры как степени удовлетворенности всех заинтересованных
сторон.
Т а б ли ца 1.10. Экспертная оценка факторов
44
Факторы, влияющие на показатель качества деятельности
кафедры университета
Оценка экспертов, ранги
1
Э
2
Э
3
Э
4
Э
5
Э
6
Э
7
Э
8
Э
9
Э
10
Э
Обеспеченность дисциплин контрольно-измерительными материалами (КИМ) фонда оценочных средств (ФОС),
14
X
24
24
24
25
24
24
24
23
23
24
Доля преподавателей, использующих личные кабинеты для
реализации дистанционных технологий,
15
X
18
18
18
19
18
18
20
18
19
18
Активность использования интернет-тренажеров,
16
X
10
11
11
11
10
11
12
10
11
12
Использование балльнорейтинговой системы оценивания (БРС),
17
X
21
20
21
21
21
21
21
21
20
21
Активность по монографиям и
статьям, рекомендованных ВАК,
Х18
3 4 4 3 3 4 3 3 4 6 Выполненный объем работ по
НИР, Х19
5 6 5 5 6 5 4 5 7
4
Внешняя научноисследовательская активность,
Х20
8 8 7 8 9 8 8 9 8
7
Творческая активность, Х21
12
12
14
13
12
13
13
12
12
14
Подготовка кандидатов наук, Х22
17
17
17
17
17
17
17
16
17
16
Подготовка докторов наук, Х23
20
21
20
22
20
20
18
20
21
20
Научные и образовательные
международные семинары, конференции и другие мероприятия,
проведенные на базе кафедры,
Х24
6 5 6 6 5 6 6 6 5
5
Международная образовательная активность, Х25
16
15
16
15
16
16
15
17
16
17
Активность НИРС обучающихся, Х26
4 3 3 4 4 3 5 4 3
3
Эффективность представления
результатов НИРС, Х27
15
16
15
16
15
14
16
15
15
15
Окончание табл. 1.10
45
Эксперты.
Фактор
1
m
ij
i
r
1
m
ij
i
ra
2
1
m
ij
i
ra
Х
10
102
-38
1444
Х
20
80
-60
3600
Х
3
89
-51
2601
Х
18
37
-113
12769
Х
19
52
-88
7744
Х
11
17
-123
15129
Х
16
109
-31
961
Х
5
123
-17
289
Х
21
127
-13
169
Х
1
71
-69
4761
Х
2
139
-1
1
Х
4
13
-127
16129
Х
26
36
-104
10816
Х
24
56
-74
5476
Х
25
159
19
361
Х
22
168
28
784
Х
27
152
12
144
Х
6
188
48
2304
Х
7
268
128
16384
Х
9
259
119
14161
Х
8
252
112
12544
Х
12
219
79
6241
Х
13
231
91
8281
Х
14
239
99
9801
Х
15
184
44
1936
Х
17
208
68
4624
Х
23
202
62
3844
Итого
3780
0
163298
Оценим степень согласованности мнений экспертов. Для этого вычислим
значение коэффициента конкордации по формуле, представленной в подразд.
1.3. Данные приведены в табл. 1.11.
Т а б ли ца 1.11. Расчет отклонений
Так как средняя сумма рангов совокупности признаков составляет
, то S = 163 298, тогда коэффициент конкордации равен
46
Эксперты.
Фактор
Сумма ранговых мест
Средний ранг
Относительный ранг
Х
10
102
10,2
10
Х
20
80
8,0
8
Х
3
89
8,9
9
Х
18
37
3,7
4
Х
19
52
5,2
5
Х
11
17
1,7
2
Х
16
109
10,9
11
Х
5
123
12,3
12
Х
21
127
12,7
13
Х
1
71
7,1
7
Х
2
139
13,9
14
Х
4
13
1,3
1
Х
26
36
3,6
3
Х
24
56
5,6
6
Х
25
159
15,9
16
Х
22
168
16,8
17
Х
27
152
15,2
15
Х
6
188
18,8
19
Х
7
268
26,8
27
Х
9
259
25,9
26
Х
8
252
25,2
25
Х
12
219
21,9
21
Х
13
231
23,1
23
Х
14
239
23,9
24
Х
15
184
18,4
18
(1.18)
.
W = 0,996. По полученному коэффициенту можно сделать вывод: согласован-
ность мнений экспертов довольно высокая.
Оценим значимость коэффициента конкордации по критерию хи-квадрат:
Можно сделать вывод, что полученное значение коэффициента конкордации статистически значимо.
Полученные результаты экспертных оценок подвергнем обработке по методу Борда (табл. 1.12) с целью выявить наилучшие факторы, влияющие на
уровень качества подготовки обучающихся в вузе.
Т а б ли ца 1.12. Определение рангов
47
Эксперты.
Фактор
Сумма ранговых мест
Средний ранг
Относительный ранг
Х
17
208
20,8
21
Х
23
202
20,2
20
Окончание табл. 1.12
Данные исследования экспертных оценок можно использовать для построения квалиметрической модели по предлагаемой автором так называемой
поэтапной методике. На первом этапе можно учесть укрупненные экспертные
критерии для различных видов деятельности. Так, автором в ходе своей практической работы в отделе менеджмента качества установлено, что общий
удельный вес конкретной деятельности, показывающий укрупненную значимость вида деятельности в общем результате, составляет:
0,3 – для педагогической;
0,2 – для методической;
0,3 - для научной деятельности преподавателей;
0,1 – для международной;
0,1 – для воспитательной (научная деятельность студентов).
Для определения единичных весов для всех 27 показателей, с учетом
ранжирования, представленных в табл. 3.3, и соблюдения укрупненных удельных весов по видам деятельности, можно принять правило, что для рангов:
с 1-го по 5-й – устанавливается единичный вес показателя – 0,065;
с 6-го по 10-й – соответственно 0,055 – 0,05;
с 11-го по 20-й – соответственно 0,035–0,03;
с 21-го по 27-й – соответственно 0,02–0,015.
В приложении А приведены величины удельных весов единичных пока-
зателей деятельности кафедры, их критерии и пример расчета.
Дальнейшее исследование удельный весов значимости в квалиметрической модели предполагает установление тесноты связи факторов с результирующим показателем качества деятельности.
Ввиду многочисленности факторов проведено исследование наиболее
значимых первых трех факторов, которыми являются факторы 4, 11, 26, т. е.
эффективность деятельности педагогических работников, обеспеченность дисциплин методическими материалами, активность НИРС.
Исследуем зависимость уровня качества деятельности кафедры для трех
значимых факторов. Результативным признаком будем считать показатель удовлетворенности заинтересованных сторон деятельности университета, а именно: студентов и преподавателей, который может быть определен в условных
единицах от 0 до 1. Зависимость между результативным признаком и входными
факторами есть функция, которая имеет следующий вид:
Y = f(X4, X11, X26), (1.19)
48
Y
Фактор
Y
Х4
Х11
Х26
Y
1
Х4
0,962 1
Х11
0,987
0,957 1
Х26
0,884
0,839
0,893
1
0
a
1
a
2
a
3
a
где
– качество деятельности кафедры университета как степень удовле-
творенности заинтересованных сторон;
Х4 – эффективность деятельности педагогических работников;
Х
– полная обеспеченность учебно-методическими комплексами (УМК) по
11
образовательным программам (ОП);
Х
– активность НИРС.
26
Исходными данными для исследования будут служить статистические
данные университета. В результате обработки статистических данных деятельности различных кафедр университета получена выборка, содержащая 35 сопряженных значений, представленных в приложении Б. Величину У автор
определял на основе укрупненного устного и телефонного опроса студентов и
преподавателей кафедр, позволяющих установить степень их удовлетворённости качеством деятельности кафедр в условных единицах от 0 до 1. Показатели
Х4, Х11, Х26 были определены на основе методики приложения А.
С помощью классических методов корреляционно-регрессионного анализа используем матрицу парных коэффициентов корреляции для предварительного отбора факторов для включения их в уравнение регрессии. Матрица парных коэффициентов корреляции рассчитана с помощью средств программы
IBM SPSS. Результаты расчетов приведены в табл. 1.13.
Т а б ли ца 1.13. Коэффициенты парной корреляции
Таким образом, дается ответ, что все факторы значимы.
Далее была рассмотрена линейная форма многофакторных связей как
наиболее простая и как форма, описывающая большинство социальноэкономических процессов. При условии, что в модель включены три фактора,
то линейная модель принимает вид
где
Y = a0 + a1 × X4 + a2 × X
,
,
,
– коэффициенты уравнения регрессии.
+ a3 × X26. (1.20)
11
По исходным данным с помощью средств программы IBM SPSS были
определены параметры уравнения регрессии (табл. 1.14).
49
Фактор
Коэффициент
Стандартная ошиб-
ка
t-статистика
P-значение
Y
-0,135
0,027
-4,941
0,000
Х4
0,233
0,100
2,329
0,027
Х11
0,815
0,124
6,568
0,000
Х26
0,032
0,061
0,517
0,609
Множественный R
0,989
R-квадрат
0,977
Нормированный R-квадрат
0,975
Стандартная ошибка
0,0216
Наблюдения
35
. (1.22)
Т а б ли ца 1.14. Показатели множественной регрессии
По результатам вычислений было составлено уравнение множественной
регрессии:
Y = -0,135 + 0,233 × X4 + 0,815 × X
+ 0,032 × X26. (1.21)
11
Таким образом, получили математическую модель зависимости уровня
качества подготовки выпускников от минимально возможного Y = f(X4, X11,
X26). Далее были определены коэффициенты множественной корреляции и
множественной детерминации. Результаты расчетов приведены в табл. 1.15.
Т а б ли ца 1.15. Регрессионная статистика
По данным табл. 3.6 был сделан вывод, что зависимость Y от X4, X11 и
X26 характеризуется как тесная, в которой 97,7 % вариации уровня качества деятельности кафедры определяются вариацией учтенных в модели факторов:
эффективности деятельности педагогических работников, полной обеспеченности
учебно-методическими комплексами по образовательным программам, активности
НИРС.
Далее была проведена проверка гипотезы о статистической значимости
уравнения регрессии и показателя тесноты связи:
В результате можно сделать заключение о статистической значимости
уравнения в целом и показателя тесноты связи, которые сформировались под
неслучайным воздействием факторов X4, X11, X26.
50
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]