13. Организация метрологической и стандартизационной экспертизы

© Б.В. Цитович

Определение основных и дополнительных целей экспертизы, постановка задач экспертизы. Участие заказчика в подготовке экспертизы.

Индивидуальная экспертиза, работа группы экспертов. Требования к экспертам, способы оценки квалификации экспертов, выбор экспертов. Особенности подготовки и проведения метрологической и стандартизационной экспертизы. Децентрализованная и централизованная организация метрологической экспертизы и нормоконтроля. Условия обеспечения эффективности экспертизы при ее централизованной и децентрализованной организации. Совместная экспертиза, осуществляемая экспертами и разработчиками. Преемственность при экспертной работе с конструкторской и технологической документацией.

13.1. Подготовка экспертизы

Для рационального проведения экспертизы она должна быть хорошо подготовлена. Подготовку могут осуществлять сами эксперты, но в типовых (стандартных) ситуациях основную тяжесть можно перенести на апробированные методические материалы. Однако в исследовательской работе (а экспертиза – специфический вид исследования) всегда имеются оригинальные моменты, не охваченные трафаретами. Кроме того, нечеткость требований действующих нормативных документов оставляет слишком большую свободу исполнителям и заказчикам.

Подготовка экспертизы достаточно содержательно проработана в квалиметрии, где описано как при необходимости создают рабочую группу, цель которой подготовить проведение экспертизы группой экспертов, включая методику взаимодействия экспертов и выработки общего экспертного заключения.

Первоочередным элементом подготовки является определение основных целей экспертизы. В огрубленном виде альтернативными целями могут быть получение экспертной оценки объекта или выдача развернутого экспертного заключения. Однозначными экспертными оценками объекта метрологической и стандартизационной экспертизы могут быть заключения «Параметры контролепригодны» и «Нормосоответствие обеспечено». Такие заключения могут быть сделаны по результатам метрологического контроля и нормоконтроля на формальном уровне, если существенные дефекты не обнаружены, а вскрытые недостатки устранены разработчиком. В иных случаях экспертизу приходится проводить в несколько этапов (обнаружение дефектов – устранение дефектов – повторная экспертиза – положительное заключение), причем циклы могут повторяться. В такой ситуации очевидна необходимость представления развернутого экспертного заключения на промежуточных этапах и однозначной оценки объекта на завершающем этапе.

Дополнительные цели экспертизы могут включать обучение экспертов, разработку методик проведения экспертизы типовых объектов, разработку моделей идеализированных объектов для последующего использования в аналогичных ситуациях. Метрологические и стандартизационные модели используют для решения частных задач экспертизы. При наличии «банка данных», включающего типовые задачи и методы их решения, существенно облегчается подготовка экспертизы.

После определения основных целей экспертизы очевидным этапом будет постановка конкретных задач экспертизы объекта. Задачи при их успешном решении должны обеспечивать достижение поставленных целей. Если результаты успешного решения задач не приводят к достижению целей, следует внести коррективы в поставленные задачи и/или в цели экспертизы.

В ходе подготовки уровни экспертизы определяют предполагаемый объем экспертных работ, необходимые ресурсы, желательный уровень проработки подробностей в постановке и решении экспертных задач.

Основные цели экспертизы теоретически должен определять ее заказчик. Однако в явном виде заказчик есть только тогда, когда эксперта приглашают «со стороны». Если экспертиза осуществляется в рамках производственного задания, то в роли заказчика выступает собственная организация в лице непосредственного руководителя подразделения. В любом случае заказчика следует привлекать к определению цели и постановке задач экспертизы. Если квалификация заказчика не позволяет корректно определить цели и задачи экспертизы, ему следует предложить один или несколько вариантов на выбор с указанием ориентировочного объема работы и сроков ее выполнения. При подготовке «внешней» экспертизы следует также определить примерную стоимость работ, что может повлиять на выбор варианта.

Экспертные методы являются объектом рассмотрения квалиметрии и используются, прежде всего, для получения оценки уровня качества объекта и оценки менее сложных его свойств. Экспертными методами также можно определять весомости (весовые коэффициенты) свойств, входящих в комплексный или интегральный показатель качества.

Экспертов привлекают для контроля качества и/или для составления экспертного заключения по результатам специального исследования объекта, которое должно ответить на ряд конкретных вопросов типа:

• Правильным ли было принятое техническое решение?

• Можно ли было избежать аварии за счет иных действий?

• Способен ли квалифицированный специалист выполнить некоторый набор действий в условиях ограниченных временных ресурсов?

Конкретные вопросы могут существенно облегчить экспертную работу, но в ряде случаев сама постановка таких вопросов (задач) требует проведения предварительной экспертизы.

Экспертная оценка получается путем выяснения мнений специалистов. Экспертные методы оценки качества применяют, когда применение более объективных методов невозможно или нецелесообразно. Оценки отличаются субъективностью и обусловлены квалификацией эксперта, его опытом, вкусом, состоянием здоровья, настроением и т.д. Поэтому для повышения объективности экспертного заключения разрабатывают особые приемы и методы проведения экспертных работ, в основе которых часто лежит привлечение к работе нескольких экспертов. Схема проведения экспертизы представлена на рисунке 13.1.

Экспертиза может быть индивидуальной или групповой (рисунок 13.2), причем и при участии группы можно организовать коллективную или автономную деятельность экспертов. В последнем случае эксперты, включенные в группу, работают независимо друг от друга. При групповой экспертизе с обсуждением или согласованием мнений в группе и при индивидуальной экспертизе, осуществляемой группой автономно работающих экспертов, конечную оценку можно получать усреднением индивидуальных экспертных оценок. Индивидуальные оценки экспертов при условии отсутствия значимых систематических различий могут рассматриваться как случайные величины. В таких случаях их числовые значения можно обрабатывать методами математической статистики.

Для подготовки групповой экспертизы, включая разработку методики опроса экспертов, их взаимодействия, обработки результатов и решения других задач могут создаваться специальные рабочие группы, которые состоят из специалистов в области организации экспертизы, а не из экспертов – специалистов в области экспертируемых объектов.

На стадии подготовки экспертизы решают следующие задачи:

• Формулирование цели экспертизы.

• Подбор экспертов.

• Выбор методики проведения экспертизы.

• Выбор методики обработки результатов и получения общей оценки.

• Подготовка материалов для оформления промежуточных результатов и общих итогов экспертизы.

• Представление результатов экспертизы.

Общая формулировка основной цели – получение экспертной оценки (ответов на вопросы, оценки уровня качества объекта, его элемента, оценки менее сложных свойств или весомости отдельных свойств).

Подбор экспертов обычно осуществляется для формирования однородной по уровню квалификации группы специалистов. Поскольку эксперт выступает в роли «средства измерения», точность, объективность и достоверность итоговой оценки зависит от квалификации эксперта и мотивации при оценивании. Подбор экспертов предполагает наличие значительных ресурсов как интеллектуальных (определенное число специалистов из которых можно составить экспертную группу), так и временных, поскольку работа группы намного медленнее работы одного эксперта. Кроме того, необходимы и значительные финансовые возможности (оплата работы экспертов и ее организации).

Способы оценки квалификации экспертов («определение уровня качества экспертов» или «квалиметрия квалиметрологов»):

• оценка экспертов членами рабочей группы;

• тестирование экспертов;

• самооценка и взаимная оценка экспертов;

• сравнение вынесенной экспертом оценки со средней оценкой группы экспертов;

• оценка эффективности действий эксперта по прогнозированию результатов испытаний экспертируемых объектов.

При определении квалификации экспертов включают оценки таких их свойств, как беспристрастность (объективность), интуиция, широта взглядов, независимость суждений («устойчивость к давлению авторитетов или чужих мнений», включая и мнение большинства экспертной группы). Члены рабочей группы могут оценивать экспертов по формальным признакам (наличие документов о квалификации, публикаций, участие в ранее проводившихся экспертизах и т.д.).

Для тестирования экспертов необходимо создание тестовых задач, являющихся аналогами решаемой. Основные сложности при создании тестов заключаются в разработке таких задач, которые были бы достаточно близки к реально решаемым, а также в невозможности получения объективных (эталонных) решений, с которыми можно было бы сравнивать экспертные оценки.

Самооценка и взаимная оценка экспертов обычно осуществляется в ходе работ по экспертизе объектов (самооценка всегда носит значительный оттенок субъективности).

Сравнение оценки эксперта со средней оценкой группы экспертов осуществляется обычно с применением аппарата математической статистики.

В ходе определения квалификации экспертов оценивают их систематические и случайные погрешности. Систематические принципиально устранимы и подлежат коррекции или элиминируются в результате исключения вызывающих их причин. Случайные погрешности квалифицированного эксперта должны иметь минимальное значение. Один из методов их оценки – проверка воспроизводимости оценок свойств одного и того же объекта во времени (желательно «слепым» методом).

Прогнозирование экспертом результатов испытаний объектов позволяет получить относительную оценку эффективности действий эксперта (отношение числа правильных прогнозов к общему числу прогнозов или экспертиз) и сравнительную относительную оценку эффективности действий эксперта (отношение эффективности действий эксперта к средней эффективности, определяемой для группы экспертов).

Для повышения качества экспертизы необходимо повышать не только узкопрофессиональную квалификацию экспертов (в области экспертируемых объектов), но и их специальную квалификацию (в области проведения экспертиз) путем соответствующего обучения, тренировок и ознакомления с возможно более обширной информацией по проблемам экспертизы.

При групповой экспертизе принято считать, что увеличение числа экспертов повышает объективность оценок. Однако доступное число экспертов бывает довольно ограниченным. Традиционно принято считать нижней границей желаемого числа экспертов семь человек. С другой стороны, экспертная группа более 15 участников трудно управляема и требует больших организационных усилий. Математики предлагают выбор числа экспертов на базе теории вероятностей и математической статистики, который основан на допущениях отсутствия значимых систематических погрешностей в оценках и равнорассеянности оценок всех экспертов. Такие допущения вряд ли можно считать правомерными.

Выбор методики проведения экспертизы в значительной мере зависит от цели экспертизы. Методика проведения экспертизы включает методы работы с группой и методы получения экспертных оценок. Работа с группой экспертов может быть организована как индивидуальный опрос, как групповое обсуждение и как комбинирование этих методов в разных соотношениях.

«Независимая экспертиза» основана на получении индивидуальных оценок, свободных от группового влияния («влияния массы») и индивидуального влияния («влияния авторитетов»). Ее можно проводить как письменный опрос каждого из членов экспертной группы без ознакомления с результатами опроса других экспертов, в том числе и заочно. «Независимая экспертиза» проводится для достижения основной цели при наличии высококвалифицированных экспертов и не предусматривает их обучения.

При «групповой экспертизе» возможно предварительное обсуждение, ориентирование всех экспертов группы. Далее идет получение индивидуальных оценок экспертов. Возможно повторение туров опроса с обсуждением полученных результатов. Проведение опроса в несколько туров приводит к сближению оценок и повышению квалификации экспертов, особенно если оценки обсуждаются и обосновываются.

«Групповая экспертиза» может преследовать кроме основной также дополнительные цели: обучение экспертов и получение оптимизированной экспертной оценки. Одна из разновидностей «групповой экспертизы» заключается в выработке общего мнения группы экспертов, принимаемого голосованием. В случае принятия экспертного решения голосованием, положительно проголосовать должны не менее 2/3 от общего числа экспертов. Поскольку наиболее интересные суждения возникают в ходе дискуссий, когда создается конфликтная ситуация, представляет определенный интерес искусственное создание таких ситуаций.

«Независимая экспертиза», проводимая с привлечением группы экспертов, также пригодна для получения оптимизированной экспертной оценки, и ее результаты можно использовать в целях обучения.

Метод оценки качества на базе «теории распознавания образов» включает «формирование образа» оцениваемого объекта, для снятия «налета субъективности» и основан на использовании возможности усреднения мнений множества экспертов. Результаты независимой работы экспертов служат основанием для создания «обучающей выборки», формируемой статистически с использованием компьютера. Один из возможных вариантов такого метода – моделирование эвристических процессов мышления экспертов: эксперты оценивают показатели качества и их весомости на всех ступенях иерархической структуры, вплоть до комплексной оценки уровня качества. Далее разрабатывается математическая модель комплексной оценки, реализуемая компьютером с применением специально разработанной программы. Методы оценки качества на базе «теории распознавания образов» могут применяться для обучения экспертов, получения оптимизированной экспертной оценки и для разработки модели оценки уровня качества объекта на основе «теории распознавания образов».

Организация экспертизы по «методу Делфи» («метод дельфийского оракула») была предложена в США в начале 50 годов прошлого столетия Т.Дж.Гордоном и О.Хелмером для решения крупных военных проблем. Характерными чертами метода Делфи являются следующие:

• работа эксперта осуществляется анонимно (индивидуально);

• ответы на поставленные перед экспертом вопросы обязательно содержат количественную (балльную) характеристику;

• проводится несколько туров опроса с математической обработкой результатов после каждого тура;

• осуществляется управление процессом экспертизы (после каждого тура все опрашиваемые эксперты знакомятся с ответами других участников опроса, которые представляются анонимно и сопровождаются обоснованием, тоже анонимным);

Метод преследует все ранее обозначенные цели, кроме разработки модели для оценки уровня качества объекта на основе «теории распознавания образов».

Для получения первичных экспертных оценок в квалиметрии разработаны специальные методы их формирования. Один из наиболее часто применяемых методов – метод предпочтения (ранжирования) свойств или факторов, который можно реализовать в разных вариантах:

• простое ранжирование объектов (расположение в порядке уменьшения или увеличения уровня качества);

• ранжирование с применением балльной оценки;

• ранжирование с применением балльной оценки и наложением дополнительных ограничений (например: градация балльной оценки равна 0,5 или 0,2 балла; сумма весомостей равна единице...);

• попарное сопоставление (ранжирование);

• полное попарное сопоставление (ранжирование).

Если от экспертов получают обоснования мнений и доводят их до сведения других участников экспертизы, это позволяет лучше учесть различные факторы.

Более подробно вопросы подготовки и проведения экспертизы рассматриваются в специальной литературе.

Особенности организации и проведения метрологической и стандартизационной экспертизы заключаются в том, что она выполняется индивидуально. Даже при работе группы специализированных нормоконтролеров каждый из них выполняет свою долю экспертизы, не вмешиваясь в чужую область. Что касается метрологической экспертизы, руководство практически всегда поручает работу одному эксперту, хотя групповая экспертиза (даже при минимальном составе группы – два человека) намного эффективнее.