Оценка качества проектных решений

Для любого типа систем в иерархическом процессе проектирования очень важно соблюдение условий согласованности отношений (критериев) на 2 смежных уровнях, т.к. только при этом условии возможно достижение качественного решения в конце процесса.

Формальных способов формирования согласования отношений R_i и R_i+1 пока нет. Однако имеются эвристические подходы, например, дихотомия, т.е. при переходе от уровня i к уровню i+1 происходит дробление отношения R_i на 2 части. Этот метод называется декомпозиционным и основан на теореме : любая функция “n” переменных

( f=f(x₁…x_n)) представима в виде : f(x₁…x_n) = φ₁=( x_1; φ₂(x₁; φ₃)…φ_n-1(x_n-1; φ_n)).

Сложное понятие А представляется как объединение двух менее сложных подпонятий: . Каждое их этих понятий, в свою очередь представляется в виде еще более простых понятий: ; . Например качество проекта в целом можно охарактеризовать понятиями социальной и технической значимости:

Общее качество

Социальная значимость Техническая значимость

Эстетичность Целесообразность Технический Экономический

уровень уровень

Используя взаимосвязь понятий естественного языка, можно получить унифицированные струтуры критериальных свойств, обеспечивающие соответствие рассматриваемого объекта его целевому назначению. Однако этот и многие другие подходы обеспечивают оценку или сравнение вариантов решения лишь на конечном иерархическом уровне разработки проектного решения, когда что-либо изменить практически невозможно, т.е. оценка имеет констатирующий характер. В САПР оценка качества должна иметь результирующий характер для возможности получения необходимых свойств в ходе процесса проектирования.

В процессе архитектурно-строительного проектирования специалистам неоднократно приходится обращаться к процедуре оценки сформированных решений. Эта процедура может выполняться как формальными, так и интуитивными методами. Целью оценки является выбор наилучшего решения из многих вариантов или установление достигнутого уровня качества по определенным свойствам.

Цель – идеализированный образ того, что человек или группа людей хотят достигнуть. При этом необходимо иметь представление о характерных свойствах объекта/процесса, на основе которых формируется мнение о нем. Любой объект обладает практически бесконечным количеством свойств, составляющих в целом его качество, т.е. пригодность к использованию в соответствии с назначением. Поэтому задача оценки качества объекта/процесса рассматривается с точки зрения человека. При этом каждому свойству надо сопоставить некоторое понятие. Так как нельзя рассматривать бесконечное число свойств, то необходимо из этого количества выделить лишь те, которые в данный момент представляют интерес для оценки в соответствии с поставленной целью. Выделение исходного для оценки набора понятий является очень важным и ответственным моментов, так как от того, под каким углом зрения мы будем рассматривать реальную действительность, зависит возможность получения содержательных результатов. Однако ни одна система понятий не может быть законченной и абсолютно замкнутой, так как отражает лишь часть бесконечного числа свойств и аспектов действительности. К тому же понятия должны отражать те свойства объектов/процессов, которые могут быть установлены объективным способом и описаны конечным набором цифр, слов, знаков.

Для сравнения объектов между собой используются различные шкалы. К ним относятся:

1. Шкала наименований

2. Шкала порядка

3. Шкала интервалов

4. Шкала отношений

5. Шкала разностей

6. Шкала абсолютная

Универсального метода, который определял бы весомость или важность отдельных критериев в комплексном показателе, не существует, т.к. весомость критериев – понятие переменное, зависящее от множества внешних причин (среды, времени, политики). В настоящее время применяются следующие критерии:

- стоимостной (все критерии – через стоимость)

- статистический (имеется достаточная выборка проектов; корреляционно-регрессионный анализ)

- экспертный

- ранжирование

- парное сравнение

- непосредственная оценка.

Ранжирование – процедура упорядочивания объектов экспертом. Могут быть случаи, когда осуществляется строгое упорядочивание, т.е. < 0, >, где «» - объект 0_i более предпочтителен, чем 0_j (0_i0_j). Строгое упорядочивание и ранжирование производится в шкале порядка: самому предпочтительному критерию присваивается ранг 1 (r_i(0_i)=1) и т.д. по ряду натуральных чисел.

Для эквивалентных объектов среди оцениваемых (т.е 0₁0₂0₃~0₄~0₅0₆) ранг присваивается в виде числа, равного средеарифметическому от суммы занимаемых ими мест в последовательности порядков (0₁0₂0₃~0₄~0₅0₆). При групповой экспертной оценке каждый эксперт i присваивает объекту j ранг r_ij. В результате получается матрица ||r_ij||_nxm, где m – число экспертов, n – число объектов. Для ранжирования применяют осреднённое мнение экспертов.

Ранги устанавливают порядок объектов, но не величину их различия. Достоинства: простота осуществления процедуры, но при множестве объектов > 15 ÷ 20 практически невозможно упорядочивание.

Парное сравнение – процедура установления предпочтения объектов при сравнении всех возможных пар.

При этом используются шкалы порядка, эквивалентности и отношений.

Метод Анализа Иерархии. Шкала отношений.

	O1	O2	O3	O4
O1	1	2	3	7
O2	1/2	1
O3	1/4		1
O4	1/7			1

, ; ;

При некоторых условиях согласованности матрицы A из уравнения ||A-λE|| = Ø находится max λ и соответствующий ему собственный вектор , удовлетворяющий условию A = λ_max*. Тогда компоненты вектора будут представлять веса уровней качества оцениваемых объектов или критериев.

Непосредственная оценка – процедура приписывания объектам числовых значений в шкале интервалов, при которой эксперты каждому объекту сопоставляют число в пределах [0;1]; [0;100]; [0;10]. для [0;1].

На основании экспертного опроса могут быть определены весомости критериев, в т.ч. с учётом компонентности экспертов. Для этого каждый эксперт оценивает возможность включения в группу экспертов с учётом их компонентности на основе своего суждения о них. В итоге получится матрица X = ||x_ij||, где x_ij = . (1 – при согласии эксперта о включении в группу). В результате опроса можно определить коэффициент компонентности любого порядка по рекуррентной формуле:

, где m – общее число экспертов

h – номер порядка коэффициента компонентности.

Следовательно, коэффициент компонентности первого порядка – относительное число голосов, поданных за i-го эксперта.

, т.е. необходимо произвести нормировку результатов.

Весомость критериев без учёта компетентности экспертов определяется как среднее арифметическое:

где - коэффициент относительной весомости i-го критерия, данного j-ым экспертом, m – число экспертов.

где - коэффициент компонентности

- коэффициент весомости.

Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

Дисперсионный и энтропийный коэффициенты конкордации (согласия).

Дисперсионный метод:

W = Ø соответствует ситуации, Когда все ранги одинаковы;

W = 1 – нет совпадений рангов.

||r_ij|| i = 1…..n

j = 1…..m

Если нет связанных рангов, т.е. одинаковых оценок по разным объектам, то

где ; ;

; .

При наличии связанных рангов:

где - показатель связанности рангов в j-ой ранжировке;

H_j – число групп равных рангов j-ой ранжировке;

h_k – число равных рангов в k-ой таблице от j-го эксперта.

	1	2	3	4	5
1	1	2	1,5	1	2
2	2,5	2	1,5	2,5	1
3	2,5	2	3	2,5	3
4	4	5	4,5	4,5	4
5	5	4	4,5	4,5	5,5
6	6	6	6	6	5,5

Энтропийный коэффициент конкордации:

где

, где P_ij – оценка вероятностей j-го ранга, присваемого i-тому объекту;

m_ij – количество экспертов, приписавших объекту 0_i ранг j;

m – общее число экспертов.

Чем меньше коэффициент согласия, тем выше несогласованность экспертов.