7.10. Оценка уровня качества исследования

По результатам проведения исследований СУ целесообразно определять их научную и практическую эффективность. Вместе с тем, очевидно, что итоги исследовательских работ во многом зависят от качества проведенного исследования.

Уровень качества исследований СУ — относительная совокупная «характеристика исследовательских работ, связанных с изучением управляющей подсистемы социально-экономической системы организации (предприятия) и сопоставлением достигнутой результативности, методов, средств и ресурсов исследования с установленными требованиями. Он может определяться на основе соответствия выполненного исследования требованиям ТЗ на проведение ИСУ или сложившемуся мировому научно-техническому или другому уровню.

Для того чтобы оценить уровень качества ИСУ, следует избрать номенклатуру показателей, которая в общем случае должна:

• характеризовать соответствие результатов исследований их назначению и целям проведения;

• определять значимость и достоверность научных и практических результатов исследования;

• характеризовать научно-технический уровень проведенных исследований;

• представлять возможность контролировать и оценивать эффективность результатов проведенных исследований.

Следует отметить, что результаты исследования в ряде случаев могут быть отрицательными, но это еще не говорит о низком уровне их качества, включая ценность самой результативности (потому что отрицательный результат — тоже результат определенной ценности и значимости).

Номенклатура показателей, определяющих уровень качества исследований, должна как минимум отражать:

• целевую направленность исследований (разработка новых методов управления, исследования, технологических процессов управления, НТД, НМД, стандартов, повышение качества и конкурентоспособности продукции и услуг, улучшение функциональных взаимосвязей и т.п.);

• достижение целей исследований (достижение всех запланированных целей, достижение основных запланированных целей, достижение не всех запланированных целей исследования);

• новизну результатов исследований (создание новых моделей СУ, методов расчета численности персонала, моделей управленческих процессов, новых технологических процессов; составление новых алгоритмов, программ управления и т.п.), определяемую на основе патентоспособности, способности лицензирования, новых принципиальных изменений, а также существенно дополняющих, систематизирующих и обобщающих теорию и практику системного управления или только уточняющих существующие направления совершенствования СУ;

• научно-технический уровень исследований (использование прогрессивных оригинальных методов и методик исследования, соответствие мировому или отечественному уровню исследований СУ);

• предполагаемый масштаб реализации (внедрения) результатов исследований (на международном, национальном, отраслевом уровнях или уровне организации, подразделения);

• сроки выполнения исследований (выполнение досрочно, в установленные сроки, с нарушением установленных сроков);

• объемы реализации (внедрения) результатов исследований (полностью или частично),

• качество оформления проведенных исследований (в соответствии с требованиями или с нарушениями требований стандартов);

• измеряемость абсолютными, относительными и удельными величинами (например, прибыль, рентабельность товара и производства, удельная цена товара);

• охват всех аспектов СУ (функциональных, целевых, обеспечивающих, ресурсных и др.);

• эффективность реализации (внедрения) результатов исследований.

При выборе последней группы показателей крайне важно руководствоваться принципами определения эффективности исследований СУ.

При проведении оценки уровня качества ИСУ выбор показателей можно осуществлять из их определенной совокупности (табл. 7.2). Непосредственно процедура выбора во многом зависит от цели оценки.

Таблица 7.2

Показатели, используемые при оценке уровня качества исследования систем управления

Показатель	Сущность и диапазон оценки
1	2
Достижение целей исследования	Достигнуты все запланированных цели Достигнуты основные запланированные цели. Достигнуты не все запланированные цели
Сроки выполнения исследований	Выполнено досрочно Выполнено в установленные сроки
Ценность результатов	Очень высокая Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует (критический показатель)
Уровень новизны результатов	Высокий (результаты новые) Средний (отдельные результаты не новые) Не высокий (значительная часть результатов не новая) Низкий (новые результаты отсутствуют, критический показатель)
Актуальность и значимость исследования	Очень высокая Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует (критический показатель)
Возможный масштаб внедрения (реализации) результатов	Межгосударственный Государственный (межотраслевой) Отраслевой Несколько предприятий Одно предприятие
Общественное признание исследования	Количество медалей, дипломов, премий и тп на международных, всероссийских, отраслевых выставках, конкурсах и т.п.
Технический уровень исследования	Соответствие используемых технических средств современным достижениям техники
Научно-методологический уровень исследования	Соответствие используемых методов, принципов и т п. современным достижениям науки
Методический уровень исследования	Соответствие используемых методик современным достижениям науки
Предпосылки реализации (внедрения) результатов	Очень высокая Высокая Значительная Не высокая Низкая Очень низкая Практически отсутствует
Наличие публикаций	Количество публикаций (монографий, статей и т.п.) за рубежом Количество публикаций (монографий, статей и т п)в РФ
Качество оформления проведенных исследований	Соответствие требованиям стандартов
Объемы реализации (внедрения) результатов	Полностью внедрены Частично внедрены Не внедрены
Эффективность реализации (внедрения) результатов	Очень высокая Высокая Не высокая Не эффективная

Оценка может осуществляться дифференциальным, комплексным либо смешанным методами, которые достаточно широко освещены в литературе. Базовую численную величину каждого из рассматриваемых показателей в зависимости от цели оценки следует принимать равной 1. Можно все показатели распределить по группам и для каждой группы рассчитать коэффициенты весомости.

Следует отметить, что при наличии любой критической оценки по любому показателю (при не выполнении требования по тому или иному нормативному ограничению на показатель или группу показателей) дальнейшее рассмотрение вопросов оценки уровня качества исследования становится бессмысленным, т.е. нецелесообразным.