Товарная экспертиза. Учебное пособие

техническим работником или устно, или письменно в виде пояснительной записки, либо тем и другим способом. В отдельных случаях рекомендуется проведение предварительного, тренировочного опроса. Задаваемые эксперту вопросы не должны иметь двусмысленный характер и требовать дополнительных пояснений. Необходимо использовать общепринятые термины.

Предпочтительное использование стандартизированного интервью. Начало интервью должно быть доверительным, располагать к откровенности. В некоторых случаях для проверки того, насколько эксперт уверен в правильности выносимых им оценок, может оказаться целесообразным спровоцировать эксперта на аргументацию своих оценок путем оспаривания его ответа. Членам рабочей группы следует быстро и

экономно кодировать ответы эксперта.

Методы групповой экспертной оценки. Данные методы основаны на проведении опроса группы экспертов с последующим анализом и обработкой представленной ими информации. Целью является получение групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора служит необходимость принятия сложных решений в ситуации неопределенности либо составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных товаров).

Преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и (или) прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие экспертов позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, по сравнению с информацией любого члена группы. К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше вероятность ошибки принятия в качестве основных факторов и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного и более представительного результата.

111

К недостаткам групповых оценок относятся:

•трудности в получении надежной и согласованной оценки;

•получение неодинаковых ответов на один и тот же вопрос с большим разбросом мнений из-за разной компетентности экспертов;

•получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить;

•большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах;

•возможность конфронтации, когда отдельные эксперты в силу неуверенности или иных причин могут соглашаться с мнением большинства.

Экспериментально установлено, что при соблюдении следующих требований групповая оценка, несмотря на указанные недостатки, более надежна, чем индивидуальная:

•приемлемое распределение оценок, полученных от экспертов, указывающих на независимость их мнений. Может быть рассчитано математико-статистическим методом для выявления грубых погрешностей (ошибок) и их устранения, при этом должны быть установлены причины разных мнений и даны их обоснования;

•групповая надежность, выражающаяся в совпадении или близости конечных результатов, которые получены при обобщении оценок по определенной проблеме двумя подгруппами экспертов, выбранных случайным образом. Групповая надежность оценок во многом определяется индивидуальной степенью надежности экспертов как одного из важнейших критериев их оценки. Под степенью надежности эксперта пони-

мается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, которые впоследствии подтвердились;

• подготовка экспертизы, снижающая систематические и случайные погрешности при ее проведении.

Для получения информации от экспертов используют такие технические приемы, как анкетирование и смешанное ан-

кетирование.

Анкетирование – опрос экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с рабочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.

112

При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, зависящий от специфики и целей экспертизы. От этого зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается. Однако излишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.

Детализация проблемы осуществляется путем включения в анкету тестов с элементами готовых ответов (закрытых вопросов) или без ответов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, однако они ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экспертов новых, порой неожиданных для аналитиков аспектов проблемы.

Конкретный вопрос с определенным набором готовых альтернативных ответов называется признаком анкеты. Набор ответов может носить качественный и количественный характер. При качественном характере набора ответов задача эксперта заключается в выборе из предлагаемых элементов ответов, которые, по его мнению, наиболее полно отражают сущность проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.

Все вопросы в анкете можно разделить в зависимости от их содержания на три группы:

1)объективные анкетные данные об эксперте – возраст, образование, профессия, стаж работы, научное звание, узкая специализация;

2)характеристики, позволяющие оценить мотивы, которыми руководствовался эксперт при оценке исследуемой проблемы;

3)основные вопросы, касающиеся существа исследуемой

проблемы.

Смешанное анкетирование – опрос эксперта с помощью анкет и постоянного контакта с членом рабочей группы.

По информативности наибольшими возможностями обладают методы интервью, интервью-анкета и смешанное анкетирование, а по объективности – анкетирование. Минималь-

113

ная объективность свойственна способу интервью. Однако, исходя из разных целей экспертизы, на практике предпочтение может отдаваться любому из указанных способов:

•при отсутствии ограничений времени проведения опроса целесообразно проводить интервью-анкету или смешанное анкетирование;

•при значительном количестве экспертов и возможности собрать их всех вместе применяют анкетирование;

•при невозможности задать четко сформулированные вопросы, которые будут поняты всеми экспертами однозначно, а также при затруднениях эксперта выразить ответы на задаваемые вопросы в виде числовых оценок применяют смешанное анкетирование.

Для обеспечения четкого и однозначного понимания экспертами характера выполнения операций каждая анкета должна дополняться пояснительной запиской (3–4 страницы),

вкоторой дается постановка задачи, описываются последовательность и методы выполнения операций. Желательно, чтобы пояснительная записка была проиллюстрирована примерами.

Предпочтительнее применение закрытых вопросов, так как они облегчают работу эксперта.

Необходимо стремиться к тому, чтобы все нужные для заполнения данные содержались в пояснительной записке или анкете.

Приветствуется единообразие в составлении анкет и пояснительных записок для облегчения работы с ними.

Желательно придерживаться случайного характера перечисления свойств, которым эксперт обязан дать цифровые оценки, причем эксперты должны быть предупреждены об этом, в противном случае может иметь место бессознательное завышение числовых оценок свойств, стоящих в списке первыми.

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов группового опроса:

•метод Дельфы;

•метод ПАТТЕРН;

•комбинированный метод.

Метод Дельфы (в некоторых источниках – Дельфи – от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона в Древней Греции) – многоэтапный метод опроса экспертов, предусматривающий первоначальное

114

изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.

Метод разработан О. Хельмером, математиком из корпорации «Рэнд» (США), и его коллегами в 50-х гг. ХХ в. Наиболее часто применяется при технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции. Относится к классу количественных методов групповых экспертных оценок. Получаемые посредством данной методики оценки носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам. В зависимости от цели экспертизы для получения экспертных оценок может привлекаться от 10 до 150 экспертов. Качественный подход позволяет оценить специфику каждой конкретной ситуации. Большим недостатком этого метода является чрезмерная субъективность оценок.

Метод Дельфы характеризуется следующими чертами:

•анонимность мнений экспертов;

•регулируемая обработка, обратная связь, которые осуществляются аналитической (рабочей группой) за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;

•отказ от совместной работы экспертов (чтобы избежать конформизма);

•групповой ответ, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы.

Основными этапами проведения опроса являются нижеследующие.

Эт ап 1. Формирование рабочей и экспертной групп. Для

использования метода Дельфы сначала необходимо создать рабочую группу, задача которой заключается в организации процедуры экспертного опроса и статистической обработки полученной информации. Группа экспертов должна включать 10–15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализа уровня реферирования (количества ссылок на работы конкретного специалиста), использования листов самооценки.

Эт ап 2. Формулирование вопросов. Формулировки вопросов должны быть четкими, однозначно трактуемыми и предполагать однозначные ответы.

115

Эт ап 3. Установление желаемого интервала варьирования оценок. Рабочая группа определяет область предпочтительных количественных значений объектов.

Эт ап 4. Проведение опроса. Метод Дельфы предполагает повторение нескольких шагов проведения опроса. Каждый эксперт высказывает свое мнение в анкете без группового обсуждения. Возможно применение и других технических приемов индивидуального опроса, например ответы на вопросы эксперт может вводить в компьютер.

К процедурам опроса предъявляются следующие требования:

•поставленные вопросы должны допускать возможность выражения ответа в виде чисел;

•достаточная информированность экспертов для выставления оценок;

•наличие обоснований эксперта на каждый из заданных вопросов.

Эт ап 5. Подведение итогов опроса. Для проведения первого тура экспертам предлагаются вопросы. Ответы представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Рабочая группа проводит статистическую обработку полученной от всех экспертов информации следующим образом:

•рассчитывается среднее значение исследуемого параметра (Пср) по формуле

n

∑ i

где Пi – значение, придаваемое параметру i-м экспертом; N – количество экспертов в группе.

• определяется медиана (Me) – характеристика группового ответа. Медиана – это величина изучаемого параметра, которая находится в середине упорядоченной совокупности. Половина чисел этой совокупности имеет значения большие, чем медиана, а половина чисел – значения меньшие, чем медиана. Для определения медианы значения параметров, полученных от экспертов, располагают в порядке возрастания (убывания), и каждому значению параметра присваивается порядковый номер n. Значение медианы – это порядковый номер значения параметра.

116

Если количество экспертов в группе нечетное, то медиана определяется по формуле

Ме = 1/2(N+1).

Если количество экспертов в группе четное, то медиана определяется по формуле

Ме = N/2,

где N – количество экспертов в группе;

• определяется область доверительности. Область доверительности исследуемого параметра находится в интервале

(Пmin + КВ) … (Пmax – КВ), где Пmin – минимальное значение параметра, Пmax – максимальное значение параметра; КВ –

квартиль. Когда говорят о квартилях, обычно имеют в виду верхнюю квартиль (q3) и нижнюю квартиль (q1), а второй квартиль (q2) равен медиане. Нижний квартиль – это значение, ниже которого в упорядоченном множестве данных находится четверть данных, а верхняя квартиль – это значение, выше которого в упорядоченном множестве данных находится четверть значений. Таким образом, три точки – нижняя квартиль, медиана и верхняя квартиль – делят выборку на четыре равные части: 1/4 наблюдений лежит между минимальным значением и нижней квартилью, 1/4 – между нижней квартилью и медианой, 1/4 – между медианой и верхней квартилью, 1/4 – между верхней квартилью и максимальным значением выборки. Медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних (между нижней квартилью и медианой и между медианой и верхней квартилью) считаются наиболее предпочтительными. Этот предпочтительный диапазон квартилей является показателем разброса индивидуальных оценок.

Значение квартилей определяется по формуле

КВ = (Пmax – Пmin):4.

Эт ап 6. После первого тура каждому эксперту сообщается значение медианы и размах между крайними квартилями. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мне-

117

ние с мнением всей группы экспертов. Они могут изменить свои мнения или оставить их прежними, выдвинув контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. После проведения второго тура повторяется процедура статистической обработки оценок, результаты которой вновь сообщаются экспертам. Все участники экспертизы во время второго тура должны обосновать свои оценки. Их просят учесть и прокомментировать возражения. Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе. Анонимность опроса позволяет уменьшить конформное и авторитарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи повышает критерий объективности и надежность оценок.

Если по итогам статистической обработки последнего тура опроса выясняется, что предпочтительный диапазон квартилей совпадает с заранее установленным желаемым интервалом варьирования оценок, то опрос экспертов считают завершенным. Медиана окончательных ответов экспертов принимается за оценку, наиболее близкую к единому мнению группы. В результате опроса получается достаточно точная групповая оценка экспертов.

Достоинством метода является повышение критерия объективности за счет анонимности ответов экспертов, благодаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после окончания очередного тура, а также обоснования собственных оценок. Выявление преобладающих мнений позволяет сблизить точки зрения разных экспертов, сформировать групповое, но не единое мнение.

Недостатки метода, проявившиеся на начальном этапе его применения, – нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопросов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок – были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы – Перт и др.). Метод Дельфы стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.

118

При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его недостатки: сложность опроса экспертов и заполнения анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20–40) и заполнением нескольких (3–10) анкет, громоздкость пояснительных записок из-за отсутствия прямого контакта организатора с экспертами. В связи с этим применение метода Дельфы при экспертной оценке качества товаров затруднено, а в ряде случаев и нецелесообразно.

Метод Дельфы имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри группы. Этот метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.

Метод ПАТТЕРН основан на делении сложной проблемы на более мелкие до тех пор, пока каждая подпроблема не сможет быть разносторонне (по различным критериям) и надежно оценена экспертами в количественном выражении. Методика примечательна тем, что сочетает несколько методов анализа, которые могут быть использованы сами по себе – речь идет о построении «дерева целей», присвоения показателям коэффициентов весомости и оценки показателей качества (в количественном выражении).

Название метода складывается из первых букв английских слов, означающих «помощь планированию посредством количественной оценки технических данных». Метод разработан в 60-х гг. ХХ в. в американской фирме для оценки проектов новых систем вооружения.

Метод ПАТТЕРН предусматривает несколько этапов.

Эт ап 1. Формирование рабочей и экспертной групп. Рабочая группа формируется с целью организации процедуры экспертного опроса и статистической обработки полученной информации. В соответствии с методом ПАТТЕРН группа экспертов может включать до 10–15 специалистов в данной области. Компетентность экспертов определяется путем использования эвристических и тестовых методов оценки качества экспертов.

Эт ап 2. Построение «дерева целей». «Дерево целей» – иерархическая структурная схема, связывающая друг с другом проблему, подпроблемы и задачи (единичные и комплексные показатели). «Дерево целей» разрабатывает рабочая группа.

119

Эт ап 3. Выявление критериев оценки показателей и определение их коэффициентов весомости. Критериями являются те закономерности, которые влияют на исследуемые показатели (степень эффективности, финансовые затраты, временной фактор и т.д.). Сумма коэффициентов весомости критериев должна быть в рамках единицы. Данные критерии выявляет и оценивает рабочая группа.

Эт ап 4. Определение результирующих коэффициентов весомости показателей. Экспертным методом присваиваются коэффициенты весомости для каждого единичного и (или) комплексного показателя, при этом эксперты выносят решения после открытого обсуждения в экспертной группе. Такое открытое обсуждение наряду с положительным фактором – взаимодействием экспертов, стремящихся к принятию положительного решения, – имеет и отрицательные последствия из-за конформизма, т.е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.

Эт ап 5. Составление матрицы для определения результирующих коэффициентов весомости исследуемых показателей

(табл. 4.2).

Таблица 4.2. Матрица результирующих коэффициентов весомости

исследуемых показателей

Такие матрицы составляются для каждого уровня «дерева целей».

Результирующий коэффициент весомости каждого показателя (KВПi) определяется по формуле

K ij = ∑n =1 ij K ij , j

где n – количество критериев; KВj – коэффициент весомости j-го критерия; KВПij– коэффициент весомости i-го единичного

120