3.9. Метод экспертной оценки (особое мнение)
Для меня слово мудреца ценнее золота.
Демокрит
Анкетирование, интервьюирование, почтовый и телефонный опрос предназначены прежде всего для массовых опросов. Цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования. Источником информации, дающей оценку тем или иным сторонам объекта исследования, выступают представители этого же объекта.
Однако в архитектурной практике могут возникнуть ситуации, когда для оценки какого-либо явления либо вообще невозможно выделить объект-носитель проблемы, тем более использовать его в качестве источника информации. Например, при попытке прогнозировать изменение того или иного социального или архитектурного объекта или явления (процесса); при необходимости представить состояние какого-то объекта (например, парка) через несколько лет; при необходимости дать оценку складывающимся в проектной практике тенденциям, которые по самооценке проектировщиков могут быть искаженными либо неоптимальными.
Подобная информация может исходить только от компетентных лиц – экспертов, имеющих глубокие знания о предмете или объекте исследования.
Как сформировать группу экспертов? На первом этапе в качестве критериев целесообразно использовать 2 признака:
– род занятий,
– стаж работы по интересующему нас профилю.
При необходимости учитываются уровень образования, возраст, личные интересы. Вначале круг экспертов может быть широким, однако в дальнейшем его надо «сузить». Главный среди всех критериев отбора – компетентность. Для ее определения применимы два метода:
– самооценка экспертов;
– коллективная оценка авторитетности экспертов.
Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». При этом первой позиции приписывается балл «1», второй – «0,5», третьей – «0». В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле:
,
где К1 – числовое значение самооценки экспертом уровня своих теоретических знаний,
К2 – числовое значение самооценки практического опыта,
К3 – числовое значение самооценки способности к прогнозу.
Обычно К колеблется от 1 (полная компетентность) до 0 (полная некомпетентность).
В группу экспертов принято включать тех, у кого индекс компетентности не ниже среднего (от 0,5 до 1,0). Получение первичных числовых значений самооценки (К1, К2, К3) для расчета индекса компетентности экспертов производится с помощью табл. 5.
Таблица 5
Самооценка экспертов
Критерии «приобщенности» |
Высокий 1 |
Средний 0,5 |
Низкий 0 |
Уровень теоретического знания проблемы (К1) |
+ |
|
|
Практический опыт (К2) |
|
+ |
|
Способность предвидеть логику событий (К3) |
|
+ |
|
Отсюда
,
т.е. уровень компетентности эксперта по исследуемому вопросу в данном случае выше среднего.
При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как показывает отечественный и зарубежный опыт, группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других.
Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Такая ситуация чаще всего характерна для ученых и педагогов. Оценка ведется в табличной форме (табл. 6).
Таблица 6
Взаимные оценки экспертов
Кого назвали |
Кто назвал |
Сколько раз назвали |
|||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
0 |
– |
– |
1 |
1 |
1 |
– |
1 |
– |
1 |
5 |
2 |
1 |
0 |
1 |
1 |
– |
1 |
1 |
1 |
1 |
1 |
8 |
3 |
– |
1 |
0 |
– |
1 |
– |
– |
– |
– |
– |
2 |
4 |
1 |
1 |
– |
0 |
– |
– |
1 |
1 |
– |
1 |
5 |
Продолжение таблицы 6 |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
5 |
1 |
1 |
1 |
1 |
0 |
1 |
1 |
– |
1 |
– |
7 |
|
|
|
|
|
|
|
|
|
|
|
|
6 |
– |
– |
1 |
– |
1 |
0 |
1 |
1 |
1 |
– |
5 |
7 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
– |
1 |
1 |
8 |
8 |
– |
– |
– |
1 |
– |
– |
– |
0 |
– |
1 |
2 |
9 |
– |
1 |
1 |
– |
1 |
1 |
1 |
– |
0 |
1 |
5 |
10 |
1 |
– |
– |
– |
– |
– |
– |
1 |
1 |
0 |
3 |
Итого |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
50 |
Примечания: 1. Таблица строится на основании ответов экспертов.
2. «1» – означает выбор,
«–» – отсутствие выбора,
«0» - означает, что никто сам себя не назвал.
3. Последняя графа – это сумма голосов, которые получил соответствующий эксперт.
Этими числами (последняя графа) потом заменяются «единицы» в таблице (по столбцам), в результате чего получится ранжированный ряд оценок уровня компетентности всех десяти экспертов (табл. 7).
Таблица 7
Уточненные взаимные оценки экспертов
Кого назвали |
Кто назвал |
Сум-марная оценка |
Ранговая оценка компетентности |
|||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|||
1 |
– |
– |
– |
5 |
7 |
5 |
– |
2 |
– |
3 |
22 |
7 |
2 |
5 |
– |
2 |
5 |
– |
5 |
8 |
2 |
5 |
3 |
35 |
3 |
3 |
– |
8 |
– |
– |
7 |
– |
– |
– |
– |
– |
15 |
8 |
4 |
5 |
8 |
– |
– |
– |
– |
8 |
2 |
– |
3 |
26 |
5 |
5 |
5 |
8 |
2 |
5 |
– |
5 |
8 |
– |
5 |
– |
38 |
2 |
6 |
– |
– |
2 |
– |
7 |
– |
8 |
2 |
5 |
– |
24 |
6 |
7 |
5 |
8 |
2 |
5 |
7 |
5 |
– |
– |
5 |
3 |
40 |
1 |
8 |
– |
– |
– |
5 |
– |
– |
– |
– |
– |
3 |
8 |
10 |
9 |
– |
8 |
2 |
– |
7 |
5 |
8 |
– |
– |
– |
30 |
4 |
10 |
5 |
– |
– |
– |
– |
– |
– |
2 |
5 |
– |
12 |
9 |
Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных экспертов, то, судя по оценкам в последнем столбце и соотнеся их с номерами экспертов в первом столбце, мы зачислим в эту группу экспертов под номерами 7, 5, 2, 9 и 4.
Опросы компетентных лиц именуются экспертными, а результаты опросов – экспертными оценками.
Метод экспертной оценки чаще всего используется в 3-х ситуациях:
– прогноз тенденций развития различных тенденций и процессов действительности;
– оценка степени достоверности данных массовых опросов;
– аттестация коллектива или его членов по различным параметрам (готовность к эксперименту, творческая активность и пр.).
Основной инструментарий экспертных опросов – анкета или бланк-интервью, разработанный по специальной программе. В соответствии с этим процедура опроса может заключаться либо в неанонимном анкетировании, либо в интервьюировании экспертов.
В отличие от массового опроса (чаще всего анонимного), программа опроса экспертов не столь детализуется и носит преимущественно концептуальный характер.
Одна из наиболее простых форм экспертного прогноза – обмен мнениями.
При оценке степени достоверности данных массовых опросов в случае большого рассеивания ответов респондентов можно использовать экспертную оценку по форме (табл. 8).
Таблица 8
Оценка достоверности собранной информации
Суть методики |
Методика эффективна |
Методика малоэффективна |
Методика неэффективна |
Методика позволяет выявить креативность проекта |
1 |
2 |
3 |
Методика частично позволяет выявить креативность |
1 |
2 |
3 |
Методика не позволяет выявить креативность проекта |
1 |
2 |
3 |
Для экспертной оценки иногда используются и неспециалисты. Например, магистрант Т.А. Шамардина изучала проблему ландшафтного дизайна заповедной части Таганрога в сентябре-октябре 2010 года. В качестве экспертов (хотя и не узких специалистов по дизайну) были привлечены различные социальные группы, ведь речь шла о родном городе (а Таганрог ведь не случайно называют городом влюбленных… Влюбленных в свой город): работники предприятия «Зеленый город», работники металлургического и электроремонтного заводов, педагоги СШ № 24, подростки-ученики в возрасте 14-17 лет, пенсионеры.
Выявлено, что 67,4% горожан устраивает ассортимент деревьев и кустарников на улицах и скверах, 23,3% – не устраивает по разным причинам. Лишь 9,3% таганрожцев не имеют своего мнения о зеленом наряде города.
В предложениях по улучшению ландшафтного дизайна города 21,3% горожан предлагают каждому кварталу или улице дать свой тип озеленения; 87,3% – при озеленении улиц учитывать степень загазованности выхлопными газами автомобилей; 64,7% – необходимо учитывать наличие в кварталах памятников истории и архитектуры; 8% – на месте сносимых малоценных зданий в исторической части города не возводить силикатные «шедевры», а устраивать курдоньеры, т.е. зеленые уголки для отдыха разных возрастных групп;
В предпочтениях, отдаваемых тем или иным древесным породам, тоже выявилась большая пестрота:
40% горожан хотели бы видеть на улицах акацию белую,
24% – тополь пирамидальный или туркестанский,
9% – каштан конский.
Клен остролистный по популярности превзошел все породы: он нравится 89% таганрожцев.
Магистрант О.Н. Теперик, пользуясь той же методикой, установила не менее важный в социальном плане факт: 40% жителей Таганрога желают участвовать в мероприятиях по озеленению города на общественных началах.
Отсюда можно формировать стратегию по совершенствованию ландшафтного дизайна среднестатистического города России.