Тема 3 оценочные системы

Значительная роль при проведении процедур многокритери­ального экспертного оценивания принадлежит оценочным сис­темам.

Приведем их описание.

Структура оценочной системы

Оценочная система, используемая при многокритериаль­ном экспертном оценивании, включает такие важные состав­ляющие, как:

перечень критериев, характеризующих объект принятия уп­равленческого решения;

оценка сравнительной важности критериев;

шкала для оценки проектов по критериям;

формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечис­ленных выше составляющих либо недостаточное качество ка­кой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений,

Остановимся подробнее на каждой из составляющих оце­ночной системы.

Формирование перечня критериев

Перечень критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого ре­шения, должен удовлетворять ряду естественных требований.

Как уже говорилось выше, само понятие "критерий" тесно связано с таким понятием, как "цель". ЛПР привычно рассу­ждает в терминах стоящих перед ним целей. Например, целью может быть повышение доходности предприятия.

Однако степень достижения цели может быть измерена лишь с помощью специальных критериев. В качестве таких критериев могут быть использованы экономические критерии:

поток платежей, прибыль, срок окупаемости, внутренняя нор­ма окупаемости и т. д.

Нередко наряду с критериями чисто экономического харак­тера приходится учитывать и критерии другой природы:

критерий, характеризующие технические возможности про­дукции, выпуск которой становится осуществимым благо­даря реализации проекта;

критерии, характеризующие экологическую безопасность производства;

критерии, характеризующие степень риска при реализации проекта, и т. д.

Основная цель использования многокритериальной оценки состоит в переходе от таких понятий, как "полезность объек­та принятия управленческого решения", "ценность", "важ­ность", которые, как правило, достаточно сложны при прак­тической работе с ними, к более понятным критериям, харак­теризующим указанные понятия и гораздо более пригодным для оценки экспертами.

Сформулированная ЛПР цель может оказаться неоценива­емой количественно.

Как правило, цель, стоящая перед организацией, или то бо­лее общее понятие, которое мы используем для оценки объе­кта принятия решения, заменяется совокупностью критериев.

К этой совокупности критериев предъявляется ряд требова­ний. Как уже говорилось выше, лишь совокупность критери­ев, удовлетворяющая необходимым требованиям, может вхо­дить в состав оценочной системы.

К числу таких требований относится полнота совокупности критериев, иными словами, совокупность критериев должна всесторонне характеризовать цель. В частности, при выборе проекта должны оцениваться такие критерии, как возмож­ность успешной реализации проекта, полезность проекта и т. д., т. е. должен адекватно характеризоваться объект экспертизы.

Так, например, критерий "срок окупаемости" недостаточно полно характеризует экономическую целесообразность проекта.

Если мы его дополним критерием "прибыль за рассматри­ваемый период", картина будет более полной.

А как мы помним, совокупность критериев полна, если по оценкам их значений ЛПР может адекватно судить о степени достижения цели.

При этом формируемая оценочная система должна быть удобной для практического использования и, следовательно, не слишком громоздкой. Поэтому совокупность критериев должна определять основные характеристики объекта экспер­тизы.

Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т. е. должна иметься воз­можность оценки любого рассматриваемого объекта эксперти­зы по каждому из критериев.

Отметим, что не все критерии могут допускать объектив­ную оценку, хотя все критерии должны быть измеримыми.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объек­тов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально-числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собст­венности, "имидж фирмы", "социальная значимость проекта" и другие, могут быть измерены лишь субъективно.

Отметим в то же время, что многие из объективных крите­риев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объ­емы производства продукции, которые станут возможными по­сле реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания яв­ляется формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к со­вокупности критериев, включаемых в состав оценочной сис­темы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную про­цедуру. Это могут быть 2—3-туровые экспертизы, когда пред­варительно сформулированный перечень критериев уточняет­ся экспертами [2].

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим мо­жет быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной систе­мой.

К этой проблеме, нередко возникающей при формирова­нии оценочной системы, примыкает и проблема формирова­ния иерархически упорядоченной совокупности критериев. Иерархическая структура критериев отражает, как правило, иерархическую структуру целей, стоящих перед ЛПР, методы формирования которой были обсуждены нами ранее.

Конечно, структурирование целей и критериев можно про­должать, формируя все новые и новые более низкие иерархи­ческие уровни, соответствующие большей степени детализа­ции целей и критериев.

Однако и здесь следует помнить, что в конечном счете фор­мируемая оценочная система лишь удобный инструментарий, позволяющий осуществлять оценку полезности объектов по многим критериям.

Поэтому чрезмерная детализация может привести к проти­воположному результату -- усложнить процесс оценки, что, в свою очередь, не способствует получению адекватной оценки объекта.

Во многих случаях целесообразным при определении состава критериев является использование наряду с методами эксперт­ного оценивания методов, соединяющих возможности экспертно­го оценивания и формализованные математико-статистические подходы.

К числу таких математико-статистических подходов могут быть отнесены факторный и корреляционный анализы.

Дополнительные возможности при определении состава критериев, предназначенных для оценки объектов, возникают при эффективном сочетании методов экспертного оценивания и многомерного неметрического либо метрического шкалиро­вания.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.

Определение сравнительной важности критериев

Когда альтернативы оцениваются не по одному, а по не­скольким факторам, признакам, критериям, сложность анали­за и обработки результатов экспертиз существенно возрастает.

Более трудоемким становится определение их сравнитель­ной предпочтительности, предполагающее знание того, какие критерии и в какой степени влияют на оценку альтернатив при выработке и принятии управленческих решений как при сравнительных оценках альтернатив, имеющих явно выражен­ный количественный характер, так и при их качественных оценках.

После выявления критериев, определяющих оценки альтерна­тив, часто возникает задача формирования обобщенного крите­рия, с помощью которого можно рассчитать оценки альтерна­тив по оценкам значений частных критериев.

Далее будут более детально рассмотрены методы формиро­вания линейных обобщенных критериев и обобщенных крите­риев более сложного вида. В их основе лежат различные пред­положения о природе обобщенных критериев и характере ана­лизируемой информации.