Формирование модели

Оценочная модель включает в себя множества (V, P, C, S, E, F, R). Таким образом, для формирования Мо необходимо задать указанные множества. Рассмотрим этот процесс, начиная с основного множества свойств оцениваемого объекта - S.

Формирова­ние перечня свойств объектов

При формировании множества S включайте в него, в основном, свойства, определяемые в результате измерительных процедур или путем наблюдения. Например, при оценке недвижимости - площадь квартиры, вид собственности. Также в множество S могут быть включены вторичные свойства малой степени общности, т.е. вычисляемые на основании простых процедур, трудоемкость которых должна быть существенно меньше, чем, например, трудоемкость процедур моделирования оцениваемых объектов.

Включение во множество S свойств высокой степени общности (то есть свойств, которые определяются на основе простейших свойств) имеет смысл в двух случаях:

• Если процедуры их вычисления опираются на объективные закономерности и не носят выраженный вероятностный характер.

• Если эти свойства слабо формализованы и являются корректно полученными экспертными оценками.

При этом нужно учитывать тот факт, что любые вторичные свойства определяются через первичные и существенно зависят от них. Поэтому множество S желательно формировать из простейших свойств.

Формирование множества S представляется целесообразным производить в несколько этапов.

I этап. Включаем в S все возможные свойства оцениваемого объекта, описывающие его с точки зрения конкретной задачи оценивания. Основной целью на этом этапе является построение наиболее полного описания объектов, исходить при этом следует как из объективных экспериментальных данных, так и из субъективного опыта экспертов. Полученное таким образом множество S, как правило, обладает определенной избыточностью.

II этап. Проводим исследование значимости и информативности свойств из множества S. Инструментами такого исследования могут быть либо методы матстатистики (корреляционный анализ, дисперсионный анализ, регрессионный анализ), либо экспертные оценки.

III этап. Из множества S исключаем свойства, обладающие малой значимостью и информативностью, и свойства, дублирующие другие, более существенные свойства. Если на первом этапе удалось сформировать S максимальной мощности и никакие свойства не были упущены, то все действия третьего этапа сводятся к исключению свойств из множества S. Однако, на практике довольно часто на втором этапе выявляется недостаточность описания оцениваемых объектов. Поэтому на третьем этапе необходимо включить во множество S отсутствующие свойства.

При повышенных требованиях к качеству модели и достоверности оценки этапы два и три могут выполняться итеративно.

Три типа свойств объектов

Говоря о формировании множества S, необходимо обратить внимание еще на один элемент формализации задач оценивания - на типы свойств. Исходя из того, что свойства могут быть количественными и качественными, а также из необходимости идентифицировать оцениваемый объект, целесообразно рассматривать три типа свойств: регистрационные, перечислимые и численные.

Регистрационные свойства

Регистрационные (или паспортные) свойства вводятся в модель для идентификации объектов. К этим свойствам не могут быть предъявлены требования, поскольку они только идентифицируют объект. Примерами таких свойств, скажем, при оценке недвижимости, может быть адрес оцениваемой квартиры, имя владельца, номер телефона.

Численные свойства

Некоторое свойство следует рассматривать как численное, если оно сформулировано так, что может принимать значения из заданного числового промежутка. Например, при оценке недвижимости свойство "Площадь квартиры" может подразумевать любое числовое значение из промежутка, скажем 6 - 200 кв.м.

Перечислимые свойства

Некоторое свойство следует рассматривать как перечислимое, если оно сформулировано так, что может принимать значения из некоторого конечного множества значений. Например, свойство "Собственность" может подразумевать значения "Личная", "Кооперативная", "Ведомственная". Перечислимый тип, как правило, используется для формализации качественных свойств.

Формирова­ние требований к объектам

Необходимым этапом формализации процесса оценивания является формирование множества требований к объекту - V. Именно множество V позволяет конкретизировать цели проводимой оценки и рассматривать только те свойства из S, которые важны.

Формулирова­ние требований

Множество V может формироваться двумя путями.

Во-первых, формулировка тех или иных требований является следствием известных объективных закономерностей. Например, при формировании требований к автоматизированному рабочему месту (АРМ) конструктора цифровой аппаратуры, в их состав войдут такие типовые требования, как "Наличие средств графического ввода и вывода информации", "Высокая системная производительность" и др.

Во-вторых, формулировка требований может отражать субъективное (но оттого не менее существенное) мнение человека, производящего оценку. Для той же задачи формирования требований к АРМу примером могут быть требования: "Конструктивное исполнение системного блока в виде 'Тауэр'", " Хорошая система мультимедиа" и т.п.

Как говорилось ранее, множества V и S обладают определенной самостоятельностью, хотя и взаимосвязаны друг с другом. Поэтому формулировка требований может как совпадать с формулировкой свойств, так и не совпадать.

Формирование требований "один в один"

В этом случае требования к объектам формулируются в терминах их свойств, и каждому требованию соответствует одно свойство.

Формирование требований "один в несколько"

В этом случае требования формулируются более общим образом, и тогда одному требованию соответствуют два и более свойств объекта. Так, например, при оценке недвижимости требование "Удобства" обеспечивается целым рядом свойств: "Туалет", "Ванна" , "Горячая вода" и т.д.

Декомпозиция требований

Включение в V требований высокой степени общности (типа "Чтобы все было хорошо") нецелесообразно, т.к. модель теряет свою конкретность, и задача сводится к построению и исследованию зависимости между свойствами объектов и одним-двумя требованиями высокой степени общности. Поэтому при формировании модели зачастую прибегают к декомпозиции слишком общих требований для повышения конкретности и конструктивности процесса оценивания. К декомпозиции требования также необходимо прибегнуть, если не удается достоверно установить его связи со свойствами объектов. Отметим, что действия по формированию множеств S и V являются слабо формализуемыми шагами. Они, вообще говоря, представляют собой творческие задачи, требующие участия специалистов высокой квалификации - инженеров по знаниям.

Формирование соответствия свойств и требований

После того, как сформированы множества S и V, необходимо задать соответствие между ними - F. Понятно, что каждому требованию должно соответствовать хотя бы одно свойство. При этом не обязательно, чтобы все s_m участвовали в F. Это означает, что свойства, не связанные с какими-либо требованиями, являются для данного оценивания несущественными и в оценке не участвуют. Так, при оценке недвижимости для определения архитектурной ценности существенными будут одни свойства, а при оценке той же недвижимости с целью определения ее сейсмоустойчивости - другие.

На шаге формирования F могут проявиться определенные недостатки сформированных множеств V и S. Так, например, если два требования "следят" за одним и тем же свойством, то это ухудшает модель. В этом случае F не является функцией, и требования оказываются зависимыми друг от друга. Как правило, это говорит об избыточности множества V и целесообразности его корректировки.

Формирование весовых коэффициентов

Важным шагом формирования модели Mo является формирование множества весовых коэффициентов P. Для учета значимости каждого из требований v_n ему приписывается коэффициент p_n, таким образом, мощность множества P равна мощности множества V. Введение весовых коэффициентов дает возможность формализовать определение целей конкретной задачи оценивания и учесть разную важность требований, их относительную значимость. С помощью знака весовых коэффициентов можно учесть положительную или отрицательную значимость свойств. Однако, на практике стараются так формировать V и S, чтобы все требования и свойства имели одну направленность - положительную или отрицательную.

Задача определения весовых коэффициентов, как правило, решается с привлечением значительного числа экспертов. Следует только отметить, что практика показывает целесообразность формирования трех подмножеств требований по критерию величины их весовых коэффициентов. В первое подмножество входят наиболее значимые требования, обладающие максимальным значением весового коэффициента. Во второе подмножество входят требования, весовые коэффициенты которых в два-три раза меньше максимальных. И в третье - требования c весовыми коэффициентами в два-три раза меньшими, чем у требований второго подмножества. Таким образом, усредненная значимость требований из указанных трех подмножеств может быть представлена, например, соотношением 10:3:1.

Модель обладает еще одним механизмом учета влияния каждого из свойств на интегральную характеристику, позволяющим сделать оценку более достоверной. Если одному требованию поставлены в соответствие два или более свойств объектов, то эти свойства могут иметь разную важность по отношению друг к другу. Например, в задаче подбора и расстановки кадров требованию "Хороший специалист" соответствуют свойства "Образование", "Стаж работы по специальности" и "Последняя занимаемая должность". Для каждого из этих свойств можно задать свою меру значимости, ответственности по отношению к требованию "Хороший специалист". Эта цель достигается посредством формирования дуговых коэффициентов r_nm. Коэффициент r_nm приписывается дуге <m-е свойство>-<n-е требование>.

Формирование вектора критичности

Эффективность модели повышается с помощью вектора коэффициентов критичности - С. В том случае, если хотя бы одно критичное требование для некоторого объекта не выполняется, то такой объект оценивается, как полностью не соответствующий цели оценивания (независимо от выполнения других требований). Требование не выполняется, если хотя бы одно свойство, за которым оно “следит”, имеет у оцениваемого объекта нулевую меру выраженности.

Интегральная характеристика носит аддитивный характер, и отсутствие некоторых свойств у объекта может компенсироваться высокой выраженностью других свойств. Для ряда задач это несправедливо, и вектор C предназначен для учета критичности требований. Он позволяет придать интегральной характеристике некоторого объекта значение 0, если этот объект не удовлетворяет хотя бы одному критичному требованию (независимо от того, насколько он удовлетворяет остальным требованиям).

Формирова­ние эталонов

Последним и очень существенным шагом построения оценочной модели M является формирование множества эталонов свойств - E.

Для каждого из свойств необходимо сформировать эталон. Эталон свойства описывает, как влияет изменение данного свойства на интегральную характеристику объекта в целом.

Именно поэтому формирование эталонов свойств осуществляется после того, как сформированы V и S и указано соответствие между ними F.

Каждому значению свойства приписывается своя мера выраженности. Мера выраженности значения свойства показывает:

• В задаче квалиметрии - степень “хорошести” данного значения свойства в рамках решения данной задачи оценивания.

• В задаче классификации - насколько данное значение свойства присуще объектам данного класса (т.е. степень “хорошести” данного значения свойства для данного класса).

Значения меры выраженности w_i для всех возможных значений свойства образуют функцию меры выраженности значений данного свойства F_w. Эталон свойства задается в виде функции меры выраженности значений данного свойства:

w_i = F_w(s_mi),

где s_mi - i-е значение s_m-го свойства.

На основании функции меры выраженности разнородные свойства переводятся в единую систему измерения. В этой системе измерений все свойства выражаются в процентах от максимума меры выраженности свойства. Фактически, эталон задает начало отсчета в формируемом пространстве оценивания.

Эталон численного свойства

Эталон численного свойства представляется в виде непрерывной функции меры выраженности свойства.

Эталон перечислимого свойства

Эталон перечислимого свойства представляется в виде дискретно-непрерывной функции, которая каждому из значений свойства ставит в соответствие меру выраженности.

Два типа эталонов

Как и для множеств V и S, существует два основных подхода к формированию E - субъективный и объективный.

Экспертные эталоны

Эталон некоторого свойства может быть определен субъективно. При этом Вы можете исходить из некоторых установленных нормативов, общепринятых соглашений или просто волевых решений. Так, например, при решении задачи подбора недвижимости, установить эталонное значение свойств "район" или "Вид собственности" можно только исходя из субъективного мнения конкретного клиента.

Эксперт указывает системе, как выглядят эталоны для каждого из свойств. При решении задачи классификации эксперт должен указать эталоны для каждого свойства во всех различаемых классах.

Статистические эталоны

Если изменение “хорошести” некоторого свойства объекта описывается известным объективным законом, то формирование эталона должно опираться на этот закон. Отметим при этом, что закон может иметь физическую и/или статистическую природу. Примером статистического формирования эталона может быть формирование эталона прописной буквы "А" для распознавания ее в рукописных текстах. В основе такого эталона должны лежать наиболее часто встречающиеся значения свойств, отличающие "А" от других букв алфавита.

Для статистического формирования эталонов необходима обучающая выборка.

В задаче квалиметрии ее образует произвольный набор объектов с известными значениями свойств, но без итоговых оценок объектов. Такая выборка должна отражать все разнообразие оцениваемых объектов. Полученные в этом случае по результатам обучения эталоны показывают, как варьируются значения свойств во всем множестве оцениваемых объектов. В процессе формирования эталонов строится функция плотности распределения значений свойств у объектов. Получив эту функцию, эксперт должен ее проанализировать - действительно ли часто встречающиеся значения некоторого свойства можно назвать самыми лучшими с точки зрения конкретной задачи оценивания. Если да, то полученную функцию плотности распределения можно рассматривать как функцию меры выраженности. Если нет, то эталон формируется вручную (может быть, с учетом статистики).

В задаче классификации обучающую выборку образуют объекты, для которых известны значения свойств и достоверно известен класс, к которому относится объект.

Итак, статистическое формирование эталонов существенно зависит от состава и качества обучающей выборки. Наиболее целесообразным статистическое обучение является в задачах классификации. В задачах квалиметрии эксперту, как правило, следует только опираться на полученные статистические закономерности, интерпретируя их соответствующим образом.

Особо внимательно следует подходить к формированию эталона, когда объективный и субъективный подходы дают разные (порой противоречивые) эталонные значения, когда статистика показывает одни эталоны, а эксперты назначают совсем другие. Например, при оценке экологического состояния регионов, статистика показывает, что наиболее часто встречается концентрация углекислого газа порядка 3-5 ПДК. Эксперты же говорят о том, что чем меньше концентрация, тем лучше. В каждом конкретном случае следует руководствоваться целями и задачами конкретного процесса оценивания.

Учет направленности свойства

Важно !

При формировании эталонов необходимо учитывать положительную или отрицательную направленность конкретного свойства, т. е. знак весового коэффициента у требования, "следящего" за данным свойством. Эталонное значение должно быть определено так, чтобы знак весового коэффициента и мера выраженности данного свойства (в процентах к эталону) "работали в одну сторону".

• Эталон свойства с позитивной направленностью. Если свойство имеет положительную направленность (у весового коэффициента соответствующего требования знак "+"), то эталон должен совпадать с наилучшим значением свойства.

• Эталон свойства с негативной направленностью. Если свойство имеет отрицательную направленность (у весового коэффициента соответствующего требования знак "-"), то эталон должен совпадать с наихудшим значением свойства.

Учет неопределенности свойства

Говоря об эталонах свойств, необходимо рассмотреть особое состояние, в котором может находиться значение любого свойства, - неопределенность (отсутствие информации о значении свойства).

Если информация о конкретном значении свойства на момент оценивания отсутствует, при вычислении интегральной характеристики такие свойства участвуют с мерой выраженности 0%.

Такой подход позволяет проводить оценивание в условиях некоторой неопределенности свойств и при анализе полученных оценок формировать множество свойств, значения которых следует определить для повышения достоверности результатов.