2.3. Показатели и критерии оценки систем

Искусственные системы создаются, как правило, для реализации одной или ряда операций. Требуемый и реально достигаемый системой результаты могут различаться. Это зависит от условий протекания операции, качества системы, реализующей операцию, и способов достижения требуемых результатов. Поэтому при оценке систем принято различать качество систем и эффективность реализуемых системами процессов.

Эффективность относят не к самой системе, а к выполняемой ею операции. Эффективность, как группа свойств, представляет только качество функционирования системы соответствие требуемого и достигаемого результата.

2.3.1. Виды критериев качества

Соотношение понятий качества и эффективности представлено в табл. 2.4. Для рассмотрения утверждений, приведенных в табл. 2.4, введем ряд понятий.

Таблица 2.4

Соотношение понятий качества и эффективности систем

Параметр	Качество	Эффективность
Определение	Свойство или совокупность системы, обусловливающих ее пригодность (соответствие) для использования по назначению	Комплексное операционное свойство (качество) процесса функционирования системы, характеризующее его приспособленность к достижению цели операции (выполнению задачи системы)
Область применения'	Объекты любой природы, в том числе элементы систем	Только целенаправленные операции, проводимые системой
Основная характеристика	Совокупность атрибутивных свойств системы, существенных для ее использования по назначению	Степень соответствия результатов операции ее цели
Фактор структурного анализа	Строение системы (состав той структура организация)	Алгоритм функционирования, качество системы, реализующей алгоритм, воздействия внешней среды
Размерность	Показатель качества — вектор показателей существенных свойств	Показатели результативности, ресурсоемкости, оперативности по исходу операции и по качеству «алгоритма», обеспечивающего получение результатов
Способ оценивания -	Критерии пригодности, оптимальности, превосходства	Критерии пригодности или оптимальности, определяемые в зависимости от типа проводимой операции (детерминированная, вероятностная или неопределенная)

Каждое i-е качество j-й системы, i = 1, ..., n; j = 1, ..., m, может быть описано с помощью некоторой выходной переменной у^j_i, отображающей определенное существенное свойство системы, значение которой характеризует меру (интенсивность) этого качества. Эту меру назовем показателем свойства или частным показателем качества системы. Показатель у^j_i, может принимать значения из множества (области) допустимых значений .

Назовем обобщенным показателем качества j-й системы вектор , компоненты которого суть показатели его отдельных свойств. Размерность этого вектора определяется числом существенных свойств системы. Обратим внимание на то, что показатель качества именно вектор, а не простое множество частных показателей, поскольку между отдельными свойствами могут существовать связи, которые в рамках теории множеств описать весьма сложно.

Частные показатели имеют различную физическую природу и в соответствии с этим различную размерность. Поэтому при образовании обобщенного показателя качества следует оперировать не с «натуральными» показателями, а с их нормированными значениями, обеспечивающими приведение показателей к одному масштабу, что необходимо для их сопоставления.

Задача нормировки решается, как правило, введением относительных безразмерных показателей, представляющих собой отношение «натурального» частного показателя к некоторой нормирующей величине, измеряемой в тех же единицах, что и сам показатель

где у⁰_i — некоторое «идеальное» значение i-го показателя.

Выбор нормирующего делителя для перевода частных показателей в безразмерную форму в значительной мере носит субъективный характер и должен обосновываться в каждом конкретном случае.

Возможны несколько подходов к выбору нормирующего делителя.

Во-первых, нормирующий делитель у⁰_i можно задавать с помощью ЛПР, и это предполагает, что значение у⁰_i является образцовым.

Во-вторых, можно принять, что нормирующий делитель у⁰_i=max у^j_i.

В-третьих, в качестве нормирующего делителя может быть выбрана разность между максимальными и минимальными допустимыми значениями частного показателя.

Требуемое качество системы задается правилами (условиями), которым должны удовлетворять показатели существенных свойств, а проверка их выполнения называется оцениванием качества системы. Таким образом, критерий качества это показатель существенных свойств системы и правило его оценивания.

Назовем идеальной системой Y^* гипотетическую модель исследуемой системы, идеально соответствующую всем критериям качества, вектор, являющийся показателем качества идеальной системы.

Назовем областью адекватности некоторую окрестность значений показателей существенных свойств. В общем виде область адекватности определяется как модуль нормированной разности между показателем качества Y^доп и показателем качества Y^*:

где  — радиус области адекватности.

На радиус области адекватности накладываются ограничения, зависящие от семантики предметной области. Как правило, определение этой величины является результатом фундаментальных научных исследований или экспертной оценки.

При таком рассмотрении все критерии в общем случае могут принадлежать к одному из трех классов:

1. Критерий пригодности К^приг:

правило, согласно которому j-я система считается пригодной, если значения всех i-х частных показателей у^j_i этой системы принадлежат области адекватности , а радиус области адекватности соответствует допустимым значениям всех частных показателей.

2. Критерий оптимальности К^опт:

правило, согласно которому j-я система считается оптимальной по i-му показателю качества, если существует хотя бы один частный показатель качества уi,, значение которого принадлежит области адекватности , а радиус области адекватности по этому показателю оптимален. Оптимальность радиуса адекватности определяется из семантики предметной области, как правило, в виде ^опт = 0, что подразумевает отсутствие отклонений показателей качества от идеальных значений.

3. Критерий превосходства К^прев:

правило, согласно которому j-я система считается превосходной, если все значения частных показателей качества у^j_i принадлежат области адекватности , а радиус области адекватности оптимален по всем показателям.

Иллюстрация приведенных формулировок приведена на рис. 2.4, где по свойствам у₁ и у₂ сравниваются характеристики пяти систем , имеющие допустимые области адекватности значений .., n, для которых определены оптимальные значения у^опт₁, у^опт₂ соответственно.

Из рис. 2.4 видно, что системы пригодны по свойствам у₁ и у₂. Системы Y¹ и Y³ оптимальны по свойству у₁.

Система Y³ является превосходной, несмотря на то, что имеет место соотношение у⁴₂ > у³₂ поскольку система Y⁴ вообще не пригодна и, следовательно, неконкурентоспособна по сравнению с остальными.

Легко заметить, что критерий превосходства является частным случаем критерия оптимальности, который, в свою очередь, является частным случаем критерия пригодности, поскольку область адекватности по критерию пригодности представляет собой декартово произведение множеств по критерию оптимальности вырождается в двухточечное множество , по критерию превосходства вырождается в точку превосходства. Формально /