Глава 2. Экспериментальная оценка эффективности реализации образовательных проектов на основании интегральной модели

2.1. Интегральная модель оценки эффективности реализации проекта по разработке и внедрению образовательной программы

В данном параграфе мы проведем конкретизацию предлагаемой интегральной модели оценки эффективности реализации образовательного проекта (далее – интегральной оценки) для проекта по разработке и внедрению образовательной программы дополнительного образования. Для проведения расчетов может быть написана специальная программа на одном из высокоуровневых языков программирования. Однако в рамках данной работы мы ограничиваемся созданием шаблона расчетов в MS EXCEL. Данный выбор объясняется следующими соображениями:

• MS EXCEL установлен практически повсеместно;

• MS EXCEL достаточно прост в использовании и не требует от пользователя специального образования;

• Проведение расчетов в MS EXCEL наглядно, благодаря чему пользователь может вносить коррективы в шаблон в зависимости от специфики своего проекта.

Конкретизация интегральной модели эффективности подразумевает формирование перечня специализированных показателей результативности и уточнение остальных показателей в зависимости от специфики проекта.

Поясним расчет оценки экономической эффективности.

Выручка от внедрения новой образовательной программы складывается из оплаты обучения. Таким образом, выручка зависит от стоимости курса, частоты проведения курсов и численности групп.

Затраты складываются из постоянных затрат (аренды помещения, покупки необходимого оборудования, программного обеспечения, рекламных затрат) и переменных затрат (в основном, оплаты труда преподавателей).

Значения финансовых показателей PI и PP зависят от нормы дисконтирования. При расчетах будем использовать норму дисконтирования в размере темпов инфляции в текущем году (источник информации – региональная база статистических данных «Кировская область» [Базы]).

Шаблон для расчета показателей PI, PP и IRR и оценки экономической эффективности представлен в Приложении 1.

Для расчета оценок нефинансовых результатов и затрат необходимо провести операцию нормирования исходных показателей, находящихся на низшем уровне иерархии. Для этого указываются нормативные максимальное и минимальное значение показателей. Выход за рамки этих значений автоматически означает, что проект должен быть признан неэффективным.

Цель проекта по разработке и внедрению образовательной программы заключается в подготовке высококвалифицированных и востребованных кадров для региона. Эта цель определяет систему специфических показателей результативности проекта. Оценка степени достижения указанной цели может оцениваться по следующим направлениям:

• Оценка качества образовательной программы.

• Оценка качества подготовленных специалистов.

• Дополнительные показатели внутреннего функционирования образовательного учреждения.

Оценка качества программы может осуществляться на основании субъективных и объективных показателей. Субъективные показатели отражают оценку программы (входящих в нее дисциплин, рассматриваемых тем, количества занятий, которые планируется проводить в специально оборудованных лабораториях и т.п.) сотрудниками и преподавателями учебного заведения и потенциальными работодателями. К объективным показателям качества программы относиться степень ее соответствия требованиям образовательных стандартов, а также доля преподавателей-практиков, которых планируется привлечь для чтения лекций и проведения семинарских (лабораторных) занятий. После внедрения подобного проекта к субъективным показателям качества программы добавляется ее оценка слушателями (студентами).

Подробный перечень показателей приводится в таблице 5.

Таблица 5

Показатели оценки качества образовательной программы

1. Оценка качества образовательной программы
Показатели	до внедрения	после внедрения	значения	направление
Оценка потенциальных работодателей (на основании анкеты)	да	да	1--5	Пол
Оценка выпускников (на основании анкеты)	нет	да	1--5	Пол
Соответствие образовательным стандартам	да	да	0 и 1	Пол
Доля преподавателей-практиков	да	да	0%--100%	Пол
Доля интерактивных занятий	да	да	0%--50%	Пол
Доля занятий, проводимых в специализированных лабораториях, с выходом на предприятия и в организации, являющиеся местом потенциального трудоустройства выпускников	да	да	Максимальный показатель определяется в зависимости от специфики программы	Пол

Оценка качества программы потенциальными работодателями и выпускниками определяется как средняя оценок, указанных в анкетах.

Шаблон для расчета оценки качества программы представлен в Приложении 2.

Оценка качества подготовленных специалистов может осуществляться только после внедрения программы. Субъективно качество подготовки выпускников оцениваться на основании опроса работодателей и выпускников (среднее арифметическое оценок, указанных в анкете). К объективным показателям оценки качества подготовленных специалистов относятся оценки уровня сформированности общекультурных и профессиональных компетенций, результаты государственной итоговой аттестации, показатели участия студентов (слушателей) в олимпиадах, конкурсах и т.п.

Подробный перечень показателей приводится в таблице 6.

Таблица 6

Показатели оценки качества подготовленных специалистов

Оценка качества подготовленных специалистов
Показатели	до внедрения	после внедрения	значения	направление
Оценка работодателей	нет	да	1--5	пол
Оценка выпускников (на основании анкеты)	нет	да	1--5	пол
Результаты итоговой аттестации	нет	да	средний балл	пол
Оценка сформированности общекультурных и профессиональных компетенций	нет	да	0-100 баллов	пол
Участие студентов (слушателей) в олимпиадах, конкурсах и т.п. по тематике программы	нет	да	0%--50%	пол

Шаблон для расчета оценки качества подготовленных специалистов представлен в Приложении 3.

К показателям внутреннего функционирования образовательного учреждения можно отнести те результаты, которые свидетельствуют о положительном влиянии внедренной программы на образовательный процесс: количество научных работ студентов (слушателей) или преподавателей по тематике образовательной программы, количество проведенных научных конференций и круглых столов, установление дополнительных связей с другими образовательными организациями, предприятиями (организациями) как местами практики и будущего трудоустройства выпускников, органами власти и т. п.

Подробный перечень показателей приводится в таблице 7.

Таблица 7

Дополнительные показатели внутреннего

функционирования образовательного учреждения

Дополнительные показатели внутреннего функционирования образовательного учреждения
Показатели	до внедрения	после внедрения	Значения	направление
наличие научных работ студентов и преподавателей по тематике программы	да	да	0 и 1	пол
возможность создания сетевой программы	да	да	0 и 1	пол
установление дополнительных связей с образовательными организациями	да	да	0 и 1	пол
установление дополнительных связей с органами власти	да	да	0 и 1	пол
установление дополнительных связей с предприятиями и организациями, потенциальными местами трудоустройства будущих выпускников	да	да	0 и 1	пол
организация научных и научно-практических конференций, круглых столов и т.п. по тематике программы	Да	да	фактическое значение	пол

Шаблон для расчета оценки дополнительных показателей функционирования образовательной организации представлен в Приложении 4.

Востребованность программы может оцениваться до и после внедрения проекта. Субъективные показатели востребованности программы базируются на результатах опроса работодателей, студентов (слушателей), а также потенциальных слушателей. Объективные показатели могут опираться на нормативные документы, статистические данные и т.п.

Перечень показателей приводится в таблице 8:

Таблица 8

Показатели востребованности программы

Показатели востребованности программы
Показатели	до внедрения	после внедрения	значения	направление
наличие в регионе образовательной организации, реализующей данную программу	да	да	0 и 1	отр
наличие программ развития предприятий и организаций региона, в рамках которых предусмотрена подготовка специалистов по данной программе	да	да	0 и 1	пол
наличие соглашений между образовательной организацией и предприятиями и организациями для обучения их сотрудников	да	да	0 и 1	пол
мнение работодателей о недостаточной подготовке сотрудников в вопросах, затрагиваемых в программе	да	да	Доля опрошенных, считающая, что подготовка недостаточная	пол
численность студентов (слушателей)	да	да	фактическое значение	пол
Продолжение таблицы 8
доля обучающихся по программе по собственной инициативе от общего числа слушателей	Да	да	0% – 100%	пол
доля обучающихся по программе из других регионов от общего числа слушателей	Да	да	0% – 100%	пол
доля студентов (слушателей) образовательной организации, желающих получить дополнительное образование по данной программе	Да	да	0% – 10%	пол
наличие обращений в приемную комиссию (отдел дополнительного образования, на сайт и т.п.) по поводу наличия данной образовательной программы	Да	Да	0–1	пол
наличие документально подтвержденной потребности в необходимости подготовки кадров по данной программе для региона	Да	Да	0–1	пол

Шаблон для расчета оценки востребованности программы представлен в Приложении 4.

Затраты на разработку и внедрение образовательной программы целесообразно оценивать с точки зрения имеющихся ресурсов. Материально-технологические затраты включают в себя сведения о наличии необходимых площадей, специализированных помещений, специального оборудования или программного обеспечения, а также своевременного получения информации об изменениях внешней среды, о ходе работ по разработке и внедрению проекта и т.п.

Перечень показателей затрат, связанных с человеческим потенциалом, приводится в таблице 9:

Таблица 9

Показатели материально-технологических затрат

Материально-технологические затраты
Показатели	до внедрения	после внедрения	значения	направление
наличие помещения	да	да	0 и 1	пол
Наличие оборудования	да	да	0 и 1	пол
Наличие программного обеспечения	да	да	Фактическое значение	пол
Возможность получения регулярной информации	да	да	0 и 1	пол

Шаблон для расчета оценки материально-технологических затрат представлен в Приложении 5.

В таблице 10 приводится перечень показателей затрат, связанных с человеческим потенциалом:

Таблица 10

Показатели затрат, связанных с человеческим потенциалом

Показатели затрат, связанных с человеческим потенциалом
Показатели	до внедрения	после внедрения	значения	направление
наличие преподавателей практиков для преподавания специальных дисциплин	да	да	0-100%	пол
наличие преподавателей (не практиков) для преподавания общих и специальных дисциплин	да	да	0-100%	пол
Доля штатных преподавателей	да	да	0-100%	пол
Продолжение таблицы 10
Процент остепененности преподавателей	да	да	0-100%	пол
Процент преподавателей, которым необходимо пройти дополнительное обучение	да	да	0-100%	отр
Готовность персонала к внедрению проекта	да	да	0-1	пол

Шаблон для расчета оценки затрат, связанных с человеческим потенциалом, представлен в Приложении 6.

С точки зрения количественной оценки нефинансовых затрат сложность может вызывать оценка готовности персонала к внедрению проекта. Представляется целесообразным оценить масштаб необходимой работы с персоналом модели ADKAR. Смысл данной модели состоит в том, что для успешного внедрения нововведения (новой программы) сначала необходимо способствовать изменениям каждого конкретного человека. В модели ADKAR выделяются 5 составляющих:

• Awareness – Осведомленность и понимание

• Desire – Желание и готовность

• Knowledge – Знание

• Ability – Возможность

• Reinforcement – Подкрепление

Эффективные изменения описывается мультипликативной моделью:

A×D×K×A×R,

где каждый из множителей оценивается в пределах от 0 до 1 (или от 0% до 100%). Основное свойство модели – если хотя бы по одной из составляющих не достигнут определенный допустимый уровень, существенных изменений не произойдет. Таким образом, для оценки готовности коллектива к внедрению проекта, нужно оценить каждую из пяти составляющих.

После введения показателей, находящихся на нижнем уровне иерархии (исходных данных) и коэффициентов значимости расчет оценок на высших уровнях иерархии производится автоматически. Шаблон для расчета интегральной оценки эффективности реализации проекта представлен в Приложении 7.