Концептуальная модель сэм

В отличие от модели ИЭМ, где может поступать как от непосредственного контакта с объектом или с его каким-либо "образом" (параметрическая, графическая модели и другие типы моделей), так и от мысленного контакта с объектом, обеспечиваемого информацией из внутренней памяти, в модели СЭМ информацияпоступает на "вход" Э в результате непосредственного контакта со свойствами объекта (процесса) с помощью:

• зрения - визуальное органов оптическое измерение (калорометрия);

• слуха - слуховое органолептическое измерение;

• осязания - тактильное органолептическое измерение;

• вкуса - вкусовое органолептическое измерение (дегустация).

В соответствии с этим в моделях СЭМ как правило, является внутренней информацией, отражает потребности Э и исходит из внутренней памяти Э. Эксперт (Э), измеряя органолептически свойства предъявляемых к оценке качества (ОК) объектов, выступает в роли потребителя. Поэтому в СЭМкак компонента входной информации часто отсутствует. Если же этот вид входной информации применяется, то она обычно отражает сведения об ограничениях на потребности или класс потребностей, для которых предназначен данный объект. Реже используется также такой вид информации, как самооценка или взаимная оценка Э(см. рис. 4.2).

Особенностью СЭМ является формирование "сенсорного" пространства мер качества или психофизического пространства качества в ощущениях ("пространства ощущений")со структурой предпочтений на нем.

Предложенное деление методов экспертной квалиметрии на ИЭМ и СЭМ условно: ощущения играют важную роль и в классе моделей экспертизы типа ИЭМ, однако, если в ИЭМ эта роль вспомогательная, то в СЭМ ощущения оказывают на результаты экспертизы доминирующее влияние. Последняя особенность определяет возрастание значения ОП в СЭМ.

Рассмотренные концептуальные модели ИЭМ и СЭМ поставляют признаки классификации методов экспертной квалиметрии (методов ЭО):

• по субъекту экспертизы; количество экспертов, тип применяемой памяти, тип организации групповой ЭО;

• по входной информации : направленность информации о субъекте ЭО, тип информации о субъекте ЭОтип информации о критериях (основаниях);

• по выходной информации 1: характер выходной информации;

• по оператору экспертизы : размерность сравнений, цикличность экспертизы, количество уровней, количество предпочтений;

• по характеру объекта ЭО: размерность пространства мер качества m. (или пространства качества R).

Классификационная схема методов экспертной квалиметрии с кодами и наименованиями классов отражена на рис.4.4. Коды классификационной схемы мы будем использовать в дальнейшем.

Деятельностный аспект экспертной квалиметрии определяет ее теоретическую декомпозицию на:

- теорию субъекта экспертной квалиметрии;

- теорию объекта экспертной квалиметрии;

- теорию оператора экспертной квалиметрии.

Рис.4.4. Классификация методов экспертного измерения качества (экспертных оценок)

Теория субъекта экспертной квалиметрии базируется на достижениях психологии, инженерной психологии, психофизики, теории потребностей, социологии, социальной психологии. Она направлена на выработку рекомендаций по отбору экспертов, на выработку рекомендации по организации групп экспертов, обеспечения их взаимостимуляции и генерирования необходимой информации, на ОК самих экспертов ("квалиметрию экспертов"). В соответствии с изложенным в теории субъекта, экспертной квалиметрии можно условно выделить: теорию организации субъекта экспертизы (теорию отбора экспертов, организации групп экспертови самого экспертного опроса) и теорию субъективных оценок ишкалирований.

Продолжение рис 4.4

Теория объекта экспертной квалиметрии - это теория качества рассматриваемого объекта и соответственно определенная теоретическая компонента квалитологии- В данном случае она выступает как связующее звено экспертной квалиметрии с общей квалиметрией и квалитологией и определяет решение таких вопросов как классификация свойств и показателей качества (ПК), выбор показателей качества для ЭО и т.п.

Теория оператора экспертной квалиметрии направлена на разработку методов обработки экспертной информации, методов шкалирования и свертывания, на обоснование моделей ОК в процессе экспертизы. Так как оператор экспертизы есть совокупность операций, совершаемых субъектом над объектом ОК, то теория оператора экспертной квалиметрии отражает в себе особенности субъекта и объекта ЭО и в значительной степени связана с остальными теоретическими компонентами экспертной квалиметрии. Так, например, теория субъективных оценок и шкалирований, базирующаяся на психофизике и психологической теории решений, одновременно выступает и неотъемлемой компонентой, теории оператора экспертизы. Однако наряду с этой зависимостью в теории оператора экспертной квалиметрии имеются теоретические компоненты, обладающие "внутренними" источниками саморазвития и опирающиеся на нормативную теорию выбора, математическую теорию шкал, таксономию, кластерный анализ и т.д.

Теория оператора экспертной квалиметрии включает в себя теорию экспертного шкалирования, свертывания и обоснования оценок (мер) качества, теорию проверки адекватности экспертных оценок, теорию комплексирования экспертной информации с эмпирической (внешней) информацией.

На рис.4.5 отражены взаимосвязи теоретических частей экспертной квалиметрии, при этом пунктиром отражено косвенное взаимовлияние частей, а прямыми линиями - прямое влияние. Как видно из рис.4.5, к основным таким теоретическим компонентам относятся:

а) теория организации субъекта экспертизы (теория отбора экспертов и организации экспертного опроса);

б) теория экспертного шкалирования, свертывания и обоснования оценок (мер) качества;

в) теория проверки адекватности экспертных оценок;

г) теория комплексирования экспертной информации(оценок) с эмпирической (внешней) информацией.

Рис. 4.5 Структура экспертной квалиметрии

Приступаем к краткому рассмотрения указанных теоретических компонентов, помня об их связи с делением экспертной квалиметрии и позиций деятельного аспекта.

Теория организации субъекта ЭО признана дать рекомендации по выбору Э, их количеству, организации взаимосвязей между Э (то есть выбору организационной структуры ЭО, см. рис. 4.3), по выбору характера динамики ЭО (одностадийная, двух стадийная, …., многостадийная)^*).

Внешними факторами, детерминирующими организацию субъекта ЭО, при этом выступают:

(а) экономическая организация: отпущенные ресурсы на организацию квалиметрической экспертизы;

(б) временные ограничения: сроки оценки, возможности «отрыва» экспертов от их основной деятельности;

(в) психологическая организация: объем информации, которую может переработать Э, уровень обученности;

(г) оператор (процедура) ЭО;

(д) «объект» ЭО – характер объекта, системы, процесса, качество которых оценивается в процессе управления;

(е) требования руководителя (требования согласования ЭО с руководителем подчеркивается в).

Влияние оператора на организацию ЭО проходит по нескольким линиям: (1) по линии влияния видов памяти Э, что частично нами уже отмечалось выше; (2) по линии организации структуры опроса, что является отражением взаимосвязей "теории объекта экспертной квалиметрии" и 'теории оператора экспертной квалиметрии" (рис. 4.5); (3) по линии влияния методов отработки. Экспертной информации, применяемых методов шкалирования (рис,5).

Оператор единичного Э всегда тесно связан с его информационной емкостью- Согласно известному тезису Шеннона любое кибернетическое устройство не в состоянии увеличить количество введенной в него информации. По отношению к Э данный принцип сформулируем в виде неравенства

Иными словами, достоверность измерений качества, выполняемых единичным Э, зависит как от его текущей информированности так и внутренней информации из памяти. В свою очередь процессы памяти - это процессы опыта и обучения специалиста, в том числе и профессионального обучения Э.

Поэтому возникают такие проблемы экспертной квалиметрии, как проблемы отбора экспертов и их обучения технологии экспертизы и генерирования выходной (эвристической) информации.

Рассмотрит кратко эти проблемы.

Решение проблемы отбора Э включает в себя; организацию групп Э, формирование структуры взаимосвязей в групповой Э и проведение квалиметрии экспертов.

Оценка качества (ОК) экспертов проводится по ряду показателей. К основным из них относятся "компетентность" (соответствие профиля знаний ("памяти") единичного 3 оцениваемому качеству), "конъюнктурность" (соответствие необходимости ОК интересам единичного Э), "конформизм" (степень приспособляемости Э к групповому мнению или мнению ведущего Э в случае обмена информацией об оценках и приоритетах). На рис.6 отражена зависимость качества экспертизы от качества экспертов по одной только линии: достоверность групповой ЭО - компетентность Э. Развитие методов ОК экспертов – одно из важнейших направлений в "теории субъекта экспертной квалиметрии".

ПК экспертов в ИЭМ определяются методами самооценки Э, взаимной оценки и на основе анализа ответов Э (например, на основе статистических оценок), а также индексов о членстве (участии) экспертов в различных ЭО. Отметим, что применение экспертной квалиметрии к такому объекту оценки как качество самих экспертов, представляет собой "отображение отображения", характерное для эргатических систем, т.е. систем с участием человека (человеко-машинных, трудовых, организационных и т.п.).

Обучение экспертов ''экспертной квалиметрии" в процессуальном смысле направлено на повышение экспертного профессионализма с точки зрения методологии построения ЭО, методов шкалирования, свертывания и переработки экспертной информации, методов экспертной квалиметрии самих экспертов. Это обучение проходит через организацию постоянных экспертных служб, групп, экспертно-аналитических или экспортно-оценочных комиссий. Использование ученых, высококвалифицированных специалистов в такого рода экспертных подразделениях способствует процессу обучения Э технологии ЭО, а также более высокому использованию научного (творческого) потенциала страны, появлению мультипликаторных эффектов в использовании этого потенциала.

"Теория оператора экспертной квалиметрии" обращена к формализованным аспектам построения экспертных оценок. Базируясь на "теории субъекта экспертной квалиметрии", она решает вопросы построения процедур экспертного шкалирования, свертывания (агрегирования) экспертных оценок и обработки экспертной информации. С последними задачами тесно связаны вопросы организации опросов, анкетирования и т.п.

Занимая промежуточное положение между теориями субъекта и объекта экспертной квалиметрии, "теория оператора" имеет два вида оснований: "субъективные (психологические, социологические)" основания и основания формально-логические. Это деление распространяется и на теорию экспертного шкалирования, свертывания и обоснования оценок (мер) качества - неотъемлемую часть "теории оператора".

Как и в любой теоретической области в построении оснований находят отражение два подхода: индуктивный, идущий от анализа экспертно-психологической информации к формированию соответствующих гипотез экспертной квалиметрии, и дедуктивный строящийся на основе формально-логических аксиом. Принимаемые системы аксиом (аксиоматики) в свою очередь конструируют гипотетические ситуации применения экспертно - квалиметрических моделей.

Разнообразие аксиом шкалирований частично связано с условиями получения информации от Э, т.е. с алгоритмизацией процедур сравнения. В зависимости от размерности сравнений будем различать: сравнения единичной размерности, т.е. сравнения качеств (свойств) с эталонным качеством, парные сравнения, тройные (тернарные) сравнения, множественные сравнения, ранжирования. Наибольшее распространение получили парные сравнения и ранжирования.

Сформулируем основные квалиметрические модели парных сравнений. Дано К объектов квалиметрии - качеств (свойств). Каждое качество R характеризуется или множеством интенсивности свойств r ("точкой" в многомерном пространстве качества Г), или множеством значений ПК ("точкой" в многомерном пространстве мер качества). На квадрате множеств "качеств", или на квадрате множеств свойств ГГ, или на квадрате множеств мерстроятся предпочтения Э путем парных сравнений каждого из элементов «осей» квадрата. В дальнейшем исходный квадрат, т е. декартово произведение множеств признаков, будем обозначать ГГ. имеетсяn экспертов ("Э"), т.е. размерность группы . Эксперт с номером k делает L повторных сравнении (количество туров экспертизы единичным Э). Единичному акту парного сравнения сопоставляется мера

которая представляет собой характеристическую функцию (индикатор) отношения предпочтения k-гo Э вt-ом туре единичной экспертизы.

Особое место в теории парного сравнения имеет проблема согласования сравнений разных Э и проблема нетранзитивностей (циклических триад), отражающих непоследовательность Э [10]. В решение этих проблем значительный вклад внесли М.Кендэл и Б.Смит [10, 34]. Для оценки совместимости М.Кевдэл и Б.Смит предложили коэффициент совместимости

где d - число обнаруженных циклов предпочтения по трем объектам (циклических триад). Для исчисления количества циклических триад привлекаются отображения отношений предпочтений с помощью графов («турниров»). При d= 0 и r = 1 несовместимость предпочтений отсутствуют и парные ранжировку. Для оценки согласия в групповой используется коэффициент согласия [34]:

здесь число случаев предпочтения RR_j по совокупности оценок Э, очевидно, ;

- число сочетаний;

n - число Э;

K- число оцениваемых качеств (свойств).

Ранжирование представляет собой К- местное отношение где К мощность множества оцениваемых объектов ("качеств" свойств) порождающее "напрямую" порядковое шкалирование. Теория рангов возникла как ответвление теории случайных процессов, но затем приобрела самостоятельное значение, представляя собой удобный аппарат шкалирования. Как процедура ЭО, ранжирование базируется на развитом аппарате теории рангов, поставляющем процедуры оценки согласия мнений Э в групповом ЭО (коэффициент конкордации. коэффициенты ранговой корреляции Кендэла, Спирмена), оценки статистической надежности (существенности) полученных оценок.

Теория проверки адекватности экспертных оценок в настоящее время только поставлена на повестку дня. Можно выделить следующие направления проверки:

1. косвенная проверка адекватности результатов ЭО путем сопоставления оценок, полученных различными методами;

2. проверка адекватности результатов ЭО с оценками, полученными расчетно-аналитическим способом;

3. проверка результатов ЭО путем оценки их точности и неопределенности;

4. проверка согласованности оценок в групповой ЭО.

Примером косвенной проверки адекватности методов ЭО является проверка методов шкалирования. Проверка осуществлялась путем сравнения нескольких методов на соответствие результатов оценки и их эффективности. Результаты проверки показали, что при достаточно близких по точности оценках методы шкалирования значительно различаются в трудоемкостях. В табл.4.1 отражены результаты эксперимента, проведенного автором по сравнению оценок весомостей, полученных "прямым методом назначения , при условиии методом ранжирования. Эксперимент показал достаточную точность применения метода ранжирования для получения кардинальных мер качества на основе сравнения сумм ранг. В то же время ранжирование значительно легче для Э по сравнению с метрическими шкалированиями.

Оценка точности и неопределенности результатов ЭО базируется на дисперсионных, энтропийных и корреляционных методах оценки "близости" и "рассеивания".

Теория комплексированная экспертной информации с эмпирической развивается в плане общей проблематики сочетания априорной информации, в качестве которой в экспертной квалиметрии выступают экспериментальные оценки, и апостериорной информации, к которой относятся расчетно-аналитические, фактографичекие и экспертные данные.

К основным направлениям комплексирования в ЭО качества относятся:

• теория риска ("шанса"), направленная на учет риска при ОК проектных решений, основанной на оценке субъективной вероятности "успеха" при реализации проектных решений [1, 11,17, 18, 48];

• теория Байеса [18, 19].

ЭО риска осуществляется на основе поэлементной декомпозиции риска по этапам, и операциям решения проблемы (построения "дерева риска") и оценки элементов риска путем исчисления субъективных и объективных вероятностей [48]. Примером такой детализации риска является различение рисков при ОК проектов и нововведений в ФРР (авт. Г.Фройденман). Здесь риск делится на:

1. риск, связанным с технической реализацией проекта

2. риск "Серендипа", когда реализация проекта приносит другой непредвиденный результат, который тем не менее имеет ценность;

3. риск, связанный с затратами (риск фактические затраты будут выше, чем расчетные)

4. риск, связанный с временем (риск , что срок осуществления проекта нарушится)

5. риск, связанный с реализацией в проекте нововведений (риск, что нововведения при реализации проекта т принесут долгого экономического- эффекта);

6. риск, связанный с производственными возможностями осуществления проекта.

Принципы введения рисков в комплексную оценку различны. Одним из примеров МОЖЕТ служить ОК нововведений в США [9], осуществляемая на основе раскрытия критерия пригодности в виде неравенства

где - вероятность успеха

- цена нового изделия

- себестоимость изделия.

Если , то это означает, что риск, равный «I – р» очень высок. ПК р определяется экспертно.

Таблица 4.1