2.2.3 Практическое занятие: анкетирование и оценка компетентности экспертов

Подвергнем те методы привлечения покупателей/клиентов, которые были сформулированы в п. 1.4, дальнейшей экспертизе. На втором этапе исследования осуществим ее методом анкетирования. Всем экспертам (каждому студенту) предлагается заполнить следующую анкету:

1 Фамилия И.О.

2 Имеете ли Вы опыт работы в сфере рекламы и сбыта?

• не имею

• имею, на предприятии другого профиля

• имею, на предприятии данного профиля

3 С деятельностью скольких предприятий данного профиля Вы знакомы (перечислите их, пожалуйста)?

4 Каков тираж рекламной газеты «Метро»?

• менее 100 тыс. экз.

• от 100 до 500 тыс. экз.

• от 500 до 1 000 тыс. экз.

• более 1 млн. экз.

5 Сколько стоит в месяц размещение рекламного баннера крупного формата (100х100 пикселей) в верхней части главной страницы сайта «Торговая сеть Петербурга»?

• до 500 руб.

• от 500 до 2000 руб.

• от 2000 до 5000 руб.

• дороже 5000 руб.

6 Оцените собственную компетентность и компетентность других специалистов из Вашей команды по 3-балльной шкале (1 – низкий уровень компетентности, 2 – средний, 3 – высокий).

7 Отнесите каждый из сформулированных методов привлечения клиентов к одному из трех множеств: «методы, которые не следует использовать», «традиционные методы, конкретизацию которых в рамках выделенного бюджета можно оставить на усмотрение исполнителей – менеджеров по сбыту и рекламе», «оригинальные методы, подлежащие дальнейшей экспертизе» (составьте, пожалуйста, три списка).

В предложенной анкете к сути исследуемой проблемы относится лишь последний вопрос, ответ на который послужит основой для продолжения экспертизы (часть методов будет отброшена в силу нецелесообразности их использования; часть передана для исполнения, как не нуждающаяся в дополнительном исследовании; а часть будет исследована дальше).

Первый вопрос анкеты используется для идентификации эксперта. Все остальные служат для оценки его компетентности, при чем будет использована комбинированная оценка – априорная и тестовая. Априорная оценка, в свою очередь, в данном случае включает как самооценку, так и взаимную оценку.

Для получения тестовой оценки используются вопросы №№ 2-5 (при этом вопрос № 2 несет в себе элементы метода объективных оценок).

За ответ на вопрос № 2 эксперт получает 1, 2 или 3 балла в соответствии с номером ответа.

Чтобы оценить ответ на вопрос № 3, необходимо сравнить его с ответами других экспертов из той же команды. Самое большое число названных предприятий делится на 3, и если эксперт смог назвать меньше этого количества предприятий, он получает 1 балл, если больше, но меньше чем вдвое больше, то 2 балла, и если более чем вдвое больше, то 3 балла. Например, если максимально было названо 7 предприятий (7/3 = 2 1/3), то назвавшие 0-2 предприятия получают 1 балл, 3-4 (больше, чем 2 1/3, но меньше, чем 2 * 2 1/3 = 4 2/3) – 2 балла, 5-7 – 3 балла. Если максимальное число кратно трем, прибавим к нему 1.

Правильный ответ на вопрос № 4 - 400 000 экз., а на вопрос № 5 - 3000 руб. или 99 USD^*. Если эксперт ответил на оба вопроса правильно, он получает 3 балла, если на один – 2 балла, если ни на один – 1 балл.

Полученные три оценки усредняются для получения результативной тестовой оценки. Например, если эксперт получил 2 балла за вопрос № 2, 3 балла за вопрос № 3 и 2 балла за вопросы №№ 4-5, то его тестовая оценка (2+3+2)/3 = 2.33.

Вопрос № 6 предназначен для получения групповой взаимной оценки. Взаимные оценки всех экспертов одной команды сводятся в таблицу, и подсчитываются коэффициенты компетентности первого, второго и т.д. порядка с точностью до сотых долей до тех пор, пока процесс не сойдется (см. п. 2.1.2). При этом величины в числителе каждой формулы при подсчете последних коэффициентов будут представлять собой групповые взаимные оценки экспертов по 3-балльной шкале.

Кроме того, ответ на вопрос № 6 содержит также самооценку эксперта по трехбалльной шкале. Эта оценка уже учитывалась при расчете взаимных оценок, тем не менее, учтем ее еще раз.

Итоговую оценку компетентности эксперта подсчитаем как агрегированный показатель, в котором вес взаимной оценки составит 0.3, тестовой - 0.5, а вес самооценки – 0.2 (хотя самооценка уже учитывалась при получении взаимной оценки, учтем ее еще раз).

Например, пусть путем взаимной оценки эксперт получил оценку 2.01, его самооценка равна 3, а при ответе на вопросы теста он получил 2.33 балла. Тогда его агрегированная оценка составит 2.01*0.3 + 3*0.2 + 2.33*0.5 = 2.37.

После того, как получены оценки для всех экспертов, предлагается их нормировать для расчета весовых коэффициентов (т.е. суммируют, и каждую из них делят на полученную сумму, с точностью до сотых). Сумма полученных коэффициентов должна равняться 1.

Обработка ответов на вопрос № 7 будет рассмотрена далее (см. п. 2.3.2).