Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Отбор молодежных научно-инновационных проектов. Требования, задачи, методы оценки
.pdf
111
часть индивидуальной работы эксперта. Это также
сложный и ответственный этап работы, особенно в том
случае, когда решение проблемы рассматривается с точки
зрения удовлетворения различным критериям и не
сводится к достижению какой-либо одной цели.
Полученные от экспертов решения используются
для обобщения и формирования результирующего
показателя – итоговой оценки явления, проблемы,
результата задачи. Этот процесс чрезвычайно трудоемкий,
поскольку в зависимости от поставленной цели
(определение степени согласованности мнений экспертов,
построение обобщенной оценки объекта, явления,
процесса на основе индивидуальных оценок экспертов и
др.) изменяется количество выполненных расчетных и
логических процедур, набор учитываемых показателей.
Особенности метода экспертных оценок:
обеспечение экспертов необходимой и
достаточной для оценки информацией;
аргументация экспертами выдаваемых оценок;
постановка вопросов, предлагаемых экспертам,
должна по возможности обеспечивать выход на
количественные оценки.
Проведение экспертных оценок требует решения
ряда проблем, относящихся к подготовке экспертизы, ее
проведению и обработке полученных результатов.
Подготовка экспертизы включает следующие задачи:
112
подбор экспертов;
разработку вопросников;
проведение экспертизы – организацию
проведения и реализацию опросов;
обработку получаемой от экспертов информации
– выбор методов измерений и т.д.
Качество получаемых экспертных оценок в
большой степени определяется подготовкой экспертизы и
применяемыми методами обработки получаемой от
экспертов информации. Изучение практики проведения
экспертных оценок и теоретических разработок по этой
проблеме показывает, что единых правил и моделей
проведения экспертизы нет. Тем не менее, во всех случаях
необходимо максимально формализовать этот процесс,
для чего целесообразно стандартизировать основные
этапы подготовки и проведения экспертизы, к которым
относятся:
формулирование цели экспертного анализа;
формирование группы организаторов прове-
дения экспертизы;
разработка процедур организации и проведения
экспертной оценки;
подбор экспертов;
проведение экспертизы;
обработка результатов опроса экспертов и
анализ полученных данных.
113
Каждый из названных этапов имеет свои
проблемы, трудности и требует выполнения
определенного комплекса работ, связанных с
организацией и реализацией данного этапа. Важное
значение имеет, в частности, правильная постановка цели,
которая определяет практически организацию и
проведение основных этапов. При выполнении этого
этапа необходимо охарактеризовать состояние проблемы,
выделить особенности ее решения, согласовать
достижение цели с возможностями экспертов (их
квалификацией, заинтересованностью в решаемой
проблеме и т.п.), полнотой, надежностью и
достоверностью используемых ими исходных данных.
Если экспертная оценка должна обеспечивать достижение
нескольких целей, то последние следует привести к цели
более высокого ранга. Рассматриваемый этап
заканчивается подготовкой руководящего документа, в
котором сформулированы следующие вопросы:
цель экспертизы и основные положения по ее
достижению;
обоснование необходимости проведения
экспертизы;
сроки проведения;
задачи;
права и обязанности группы организаторов
экспертизы;
114
финансовая и материальная база работ по
экспертному вопросу и оценке.
Этап подбора экспертов включает ряд работ по
определению областей деятельности, связанных с
решаемой проблемой, структурного (долевого) состава
экспертов-специалистов по соответствующей области
деятельности, общего количества экспертов, поименного
состава – списка экспертов.
Параллельно с этапом подбора и формирования
группы экспертов осуществляется разработка процедур
организации и проведения экспертной оценки. При этом
создается методика проведения опроса экспертов,
определяются место и время его проведения, состав
используемых документов, порядок фиксации экспертами
даваемых оценок, сбор результатов опроса.
Оценки, даваемые экспертами тому или иному
объекту или его элементу, представляют собой по
существу процедуру сравнения по выбранным признакам.
Этот процесс включает три элемента: объект, показатель
или признак и саму процедуру сравнения. Набор
оцениваемых при организации различных экспертиз
объектов и используемых при этом показателей признаков
может включать различные предметы, явления, решения,
процессы, организации и их подразделения, а также
физические пространственно-временные, технические,
социальные и другие характеристики и свойства объекта.
Процедура сравнения предполагает установление
115
определенных отношений между объектами экспертизы
на базе измерения интенсивности выражения тех или
иных присущих им признаков, поэтому нуждается в
определенной методической базе, регламентирующей
используемые способы сравнения.
При формировании экспертных оценок наиболее
часто используются следующие методы измерения:
ранжирование, парное сравнение, последовательное
сравнение, непосредственная оценка и др.
Ранжирование – это выполняемая экспертом
процедура упорядочения, реализуемая на основе опыта и
знаний эксперта по одному или комплексу показателей
сравнения. При этом возможны различные варианты
упорядочения оцениваемых объектов, получаемые в
зависимости от сложившихся между ними отношений.
Ранжирование позволяет из исследуемой совокупности
объектов, признаков и т.п. выбрать наиболее
существенный. Рассматриваемый метод характеризуется
тем, что при его использовании совсем не обязательно
давать количественную характеристику (оценку) объекту
или признаку (определять степень выраженности того или
иного качества, точно измерить его и т.д.). Достаточно
лишь установить их пространственное или временное
расположение. При ранжировании эксперт располагает
признаки, свойства, объекты в таком порядке убывания
или возрастания, который представляется ему наиболее
правильным.
116
Достоинством метода является простота
реализации составляющих его процедур, а недостатком –
ограничение возможности его использования. Практика
показывает, что при оценке числа объектов более 15-20
экспертам очень трудно строить ранжированный ряд,
поскольку приходится устанавливать и учитывать
множество сложных связей. Это может привести к
существенным ошибкам в экспертизе.
Метод ранжирования редко применяется в чистом
виде. Как правило, он используется в сочетании с другими
методами, такими, например, как метод непосредственной
оценки. Метод ранжирования может быть представлен
следующими модификациями: простое ранжирование,
ранжирование по сумме оценок, по сравнимой шкале,
комбинированным способом.
Парное сравнение – это установление
предпочтения объектов при сравнении всех возможных
пар. При этом методе не нужно, как при ранжировании,
упорядочивать все объекты. Однако сравнение признаков
или объектов во всех возможных парах еще не дает их
полного упорядочения, хотя позволяет выявить в каждой
из пар более значимую или установить их равенство. С
его помощью можно осуществить отбор признаков или
факторов, а затем продолжить их сравнивать попарно до
полного упорядочения выборки.
Особенностью этого метода является то, что
парное сравнение можно проводить не только при
большом числе объектов, но и в том случае, когда
117
различие между объектами столь незначительно, что
практически не выполнимы их ранжирование или
непосредственная оценка.
Непосредственная оценка представляет собой
присвоение объектам числовых значений в шкале
интервалов, например на непрерывной числовой оси, или
на регламентированных отрезках. В первом случае
эксперты должны располагать очень полной информацией
об объектах, в частности об их свойствах. Во втором
случае диапазон изменений характеристик (объекта)
разбивается на отдельные интервалы. Каждому из них
присваивается оценка (балл). Шкала оценок может
содержать не только положительные, но и отрицательные
оценки. Смысл метода заключается в том, что эксперт
должен каждый из рассматриваемых признаков
(факторов) поместить в строго определенный оценочный
материал. Измерителем при этом является степень
обладания объекта тем или иным свойством или
предположение эксперта о значимости последнего и т.д.
Последовательное сравнение – это комплексная
процедура, сочетающая и ранжирование, и
непосредственную оценку. При использовании данного
метода эксперт, прежде всего, ранжирует объекты, затем
оценивает их в установленном интервале баллов. Далее он
определяет, является ли первый в ранжированном ряду
объект более важным (значимым), чем комбинация
оставшихся. Если является, тогда эксперт присваивает
этому объекту оценку, большую, чем сумма всех
118
остальных объектов, в противном случае оценка
снижается и устанавливается меньшей, чем сумма
указанных ранее оценок. Такие же процедуры
выполняются со вторым и следующими, кроме
последнего, объектами ранжированного ряда. Этот метод
является наиболее трудоемким из четырех
рассмотренных.
На базе оценок экспертов получается обобщенная
информация об исследуемом явлении или процессе и
формируется, таким образом, решение проблемы,
задаваемое целью экспертизы. Ответы экспертов могут
содержать числовую и содержательную информацию,
поэтому в процессе обработки индивидуальных оценок
экспертов приходится использовать различные
количественные и качественные методы. Применяемые
методы зависят от ряда факторов, в частности от того,
имеет ли данная проблема аналоги в прошлом, есть ли по
ней необходимая информация, накоплен ли определенный
опыт решения. Наличие указанных условий обеспечивает
группировку оценок экспертов вокруг определенного
подсказанного опытом решения. Такие результаты
экспертных оценок можно обрабатывать, используя
методы математической статистики, базирующиеся на
усреднении данных. В том случае, когда по решению
рассматриваемой проблемы еще нет достаточного опыта,
а информационная база, предоставленная в распоряжение
экспертов, неполная, суждения экспертов могут серьезно
различаться. Использование в этих условиях методов
119
математической статистики, строящихся на применении
усредненных данных, может дать большие отклонения в
полученных результатах. Поэтому здесь более уместны
методы качественного анализа.
В соответствии с целью экспертизы при обработке
экспертных оценок решаются следующие задачи:
формирование обобщенной оценки;
определение надежности результатов обработки;
определение относительных весов объектов;
установление степени согласованности мнений
экспертов;
определение зависимостей между
ранжировками.
При формировании обобщенной оценки
необходимо иметь такие оценки объектов, их элементов и
явлений, которые бы позволили четко установить меру
предпочтительности одного объекта по сравнению с
другим. При этом могут использоваться рассмотренные
ранее методы.
120
9. Отбор научно-исследовательских
№
Критерий
Максимальная
оценка (баллов)
1.
Научно-техническая часть проекта
1.1.
Уровень научного результата,
который предполагается
коммерциализовать
5
1.2.
Насколько ясно показаны научнотехнические риски проекта
3
1.3.
Степень компетентности
заявителей
3
1.4.
Качество проверки новизны и
наличия аналогов
3
1.5.
Качество защиты представленных
в заявке прав на интеллектуальную
собственность
4
работ, выполняемых молодыми учеными
и творческой молодежью
Учитывая все вышесказанное целесообразно
предложить два варианта проведения экспертизы
молодежных проектов:
Расширенная оценка – рекомендуется для
проектов стоимостью более 1 000 000 рублей
Упрощенная оценка для проектов, стоимость
которых не превышает 1 000 000 рублей.
9.1 Расширенная оценка. Обобщенная анкета
эксперта
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]