5. Управление качеством модели

Основные методы управления базовыми свойствами эвристической модели, влияющими на ее качество:

1. Построение иерархии факторов, позволяющее снизить абстрактность модели, повышая при этом ее достоверность и целостность, но вместе с тем увеличивая ее сложность.

2. введение априорно коррелирующих (избыточных) факторов, позволяющих устранить основные противоречия в модели и обеспечить ее адекватное восприятие за счет некоторого увеличения избыточности.

3. Анализ ортогональных (некоррелирующих) факторов, позволяющих обраружить неполноту модели, ведущую к снижению ее прагматичности.

Учитывая, что по замыслу аналитика и постановщика экспертизы, факторы являются ортогональными, можно сделать вывод, что эксперты также достаточно четко («контрастно») различают их и способны давать независимые оценки технологических задач по каждому отдельному фактору, т.е. оценки тоже должны бать ортогональными. Если оценки экспертов окажутся неортогональными, значит эксперты руководствовались каким-то другим, не учтенным в модели фактором. Несравненно более высокая мощность (вес) этого фактора оказала подавляющее влияние на все остальные факторы, в результате чего получились «зашумленные» оценки.

5. Постановка экспертного опроса

Постановка экспертизы включает:

1. Идентификацию объектов экспертизы, подлежащих оцениванию. Под этим понимают оценивание интенсивности проявления факторов-листьев для каждого из оцениваемых объектов и оценивание относительной важности факторов, т.е. определение весовых коэффициентов.

2. Выбор критерия оценки и формулировка вопроса. По форме различают следующие вопросы:

открытые вопросы (ответ не регламентирован и дается в любой форме) и закрытые (эксперт выбирает один из вариантов ответа);

прямые и косвенные (маскирующие цель исследования).

Источником правил формирования вопроса является механизм распознавания и запоминания информации человеком, исследуемый когнитивной психологией.

3. Разработка и описание шкалы оценок.

Проектирование шкал относится к одному из разделов теории измерения. Измерение – это алгоритмическая операция, которая данному объекту (процессу, явлению, состоянию) ставит в соответствие определенное обозначение (число, номер, символ).

При разработке шкалы существует две проблемы:

Измеримость - определение числовой системы, в которую гомоморфно отображается измеряемая система. Если такая шкала существует, то система измерима.

Единственность – определение множества шкал, в которые может быть гомоморфно отображена измеряемая система. Указанное множество характеризуется видом преобразования, переводящее одну шкалу множества в другую. Шкалы бывают качественные (номинальная, нечеткая, порядковая, гиперпорядка) и количественные (интервальная, разностей, отношений, абсолютная)

4. Выбор способа оценивания.

5. Способы оценивания

6.1. Способы качественного оценивания

Методы классификации. Эксперту предъявляется весь набор объектов и предлагается разбить их на классы. При большом числе объектов эксперту можно предложить лишь часть объектов (например, два). После того, как эксперт справится с задачей, можно предложить новый объект, который он должен отнести в одному из выделенных классов, либо образовать новый класс. Процесс заканчивается, когда классифицируется последний объект.

Метод парных сравнений. Эксперту последовательно предлагаются пары объектов, для каждой из которых предлагается узнать, какой из объектов более предпочтителен или может ли данная пара принадлежать одному классу.

При классификации для каждой пары объектов имогут устанавливаться:

1. факт принадлежности объектов одному классу

2. степень сходства объектов

- степень принадлежности объектаклассу, которому принадлежит()

При указании предпочтительности для каждой пары объектов имогут устанавливаться:

1. Факт предпочтительности одного объекта по отношению к другому:

2. Равенство двух объектов

π_ij- 0.5, еслииравноценны (π_ij= π_ji)/

3. Несравнимость двух объектов π_ij= Ǿ, еслиинесравнимы.

4. Степень превосходства одного объекта над другим.

Результаты оценки предпочтительности представляются в виде квадратной матрицы парных сравнений или графа (правильного многоугольника) предпочтений, дуги которого направлены от более предпочтительного объекта к менее предпочтительному (рис.).

1. Литвак Б.Г. Экспертные оценки и принятие решений. Патент.М.1996.