Оценка результатов экспертного анализа

При использовании всех рассмотренных выше методов возникает естественный вопрос: насколько можно доверять результатам оценки коэффициентов С_ij, полученным из субъективных мнений экспертов? Достоверность результатов экспертного анализа чаще всего характеризуется степенью согласованности данных ими оценок. Для количественной оценки степени согласованности часто используется коэффициент конкордации [5]:

(6.11)

где

(6.12)

r_ij – место, которое заняло i-e свойство в ранжировке j-м экспертом.

Коэффициент W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 ≤ W ≤ 1, причем W = 0 означает полную противоположность, a W = 1 – полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7÷0,8.

На основе рассмотренных методов могут быть определены значения коэффициентов C_ij (i = 1, 2, ..., т; t = 1, 2, ..., n), по которым будут вычислены коэффициенты b_i, линейной формы интегрального критерия. При использовании такого подхода к формированию интегрального критерия в дальнейшем считается, что единица измерения каждого свойства системы, отраженного в соответствующем частном критерии, выбрана по принципу «чем больше, тем лучше». Отсюда следует, что качество решения по выбору альтернативы тем лучше, чем больше значение показателя эффективности.

Так как критерии q_i могут иметь различную размерность, то при использовании их в качестве аргументов функции Е необходимо провести нормирование, т. е. привести их к общей размерности, и в частности к безразмерному виду.

Для придания равномерности влияния каждого из критериев на значение интегрального критерия необходимо выровнять диапазоны изменения значений критериев путем масштабирования и сведения их к диапазону [0; 1].

Проведение преобразований типов нормирования и масштабирования требует, чтобы для каждого из критериев были определены понятия «негодного» и «идеального» объектов, а это означает, что должны быть заданы допустимые области изменений значений критериев q_i, q_iн < q_i ≤ q_iв. В этом случае самым простым масштабирующим и нормирующим преобразованием является линейное преобразование следующего вида:

(6.13)

где q_i^отн, q_iн, q_iв - относительное, нижнее и верхнее значения критерия q_i соответственно.

В случае такого преобразования чувствительность шкалы изменения q_i во всем диапазоне изменений q_i постоянна. Если же разработчика особенно интересуют альтернативы в окрестности некоторой точки q_i*, то можно повысить разрешающую способность частного критерия в окрестности этой точки за счет использования соответствующих нелинейных преобразований [5].

После проведения операций нормирования и масштабирования область годных альтернатив окажется заданной в виде n-мерного единичного куба, причем

_(6.14)

В результате проведенных преобразований для каждой рассматриваемой альтернативы будет определен вектор q^отн(a), причем аА, где А – множество возможных альтернатив. Оценка интегрального показателя решения по выбору альтернативы производится в соответствии со следующим соотношением:

(6.15)

Заканчивая рассмотрение вопросов, связанных с построением обобщенного критерия эффективности сложных систем на основе метода экспертных оценок, следует еще раз обратить внимание на то, что на многих этапах его построения приходится опираться на субъективные мнения специалистов при выборе:

• наиболее существенных частных критериев;

• процедуры и единицы измерения для критериев;

• «идеального» значения критерия;

• значения, дающего наибольшую разрешающую способность критерия;

• нормирующего и масштабирующего преобразований;

• структуры функции обобщенного критерия;

• значений весовых коэффициентов.

Поэтому решения на каждом из перечисленных этапов должны приниматься на основе усредненного мнения многих специалистов, что повышает объективное содержание критерия. Однако это не исключает таких ситуаций, когда оценки некоторых реальных объектов, полученные с помощью обобщенного критерия, противоречат мнению специалистов. В подобных случаях следует не отказываться от дальнейшего использования данного подхода, а тщательно проанализировать и выявить конкретные причины расхождения, после чего внести соответствующие изменения в критерий.

Как указывалось выше, для оценки СУБД могут использоваться самые разнообразные параметры, которые могут быть сгруппированы следующим образом:

• параметры определения данных;

• физические параметры;

• параметры доступности;

• параметры обработки транзакций;

• утилиты;

• средства разработки... и т.д.

Рекомендуемые параметры (показатели) для оценки СУБД приведены в табл. 6.5 [10].

Таблица 6.5

Наименование группы	Наименование параметра
Определение данных	Расширенная поддержка первичных ключей
	Определение внешних ключей
	Предусмотренные типы данных
	Расширяемость типов данных
	Определение доменов
	Простота реструктуризации
	Средства поддержки целостности данных
	Реализация механизма представлений
	Поддержка словаря данных
	Независимость данных
	Тип базовой модели организации данных
	Поддержка эволюции схемы
Физические параметры	Предусмотренные файловые структуры
	Поддержка определения файловых структур
	Простота реорганизации
	Средства индексирования
	Поля/записи с переменной длиной
	Сжатие данных
	Возможности шифрования
	Требования к памяти
	Требования к устройствам хранения данных
Доступность	Язык запросов: совместимость со стандартами SQL
	Интерфейс для других систем
	Интерфейс для языков третьего поколения
	Многопользовательский доступ
	Защита базы данных: управление доступом к данным, поддержка механизма авторизации
Обработка транзакций	Процедуры резервного копирования и восстановления
	Поддержка контрольных точек
	Средства ведения системного журнала
	Поддерживаемый уровень детализации параллельности
	Возможные стратегии разрешения тупиковых ситуаций
	Поддержка усовершенствованных моделей управления транзакциями
	Параллельная обработка запросов
Утилиты	Измерение производительности
	Настройка производительности базы данных
	Инструменты загрузки/выгрузки данных
	Контроль активности пользователей
	Поддержка процедур администрирования базы данных
Средства разработки	Инструменты, использующие языки четвертого и пятого поколений
	Case-инструменты
	Инструменты для работы с оконным инструментом
	Поддержка хранимых процедур, триггеров и правил
Другие параметры	Способность к модернизации
	Стабильность производителя СУБД
	База пользователей
	Обучение и поддержка пользователей
	Взаимодействие с другими СУБД и прочими системами
	Поддержка работы в Internet
	Утилиты репликации
	Возможности распределенной работы
	Качество и полнота документации
	Требуемая операционная система
	Стоимость
	Оперативная справочная система
	Используемые стандарты
	Управление версиями
	Расширенная оптимизация запросов
	Масштабируемость
	Переносимость
	Требуемое аппаратное обеспечение
	Поддержка работы в сети
	Объектно-ориентированные свойства
	Поддержка двух- или трехуровневой архитектуры «клиент/сервер»
	Производительность
	Пропускная способность при обработке транзакций
	Максимальное количество одновременно работающих пользователей