7.3.5. Проверка гипотез

В математической статистике принято расценивать результаты исследований выборки на соответствие или несоответствие статистическому ансамблю. При управлении или проектировании не возникает необходимости в таких процедурах, поскольку накапливается профессиональный опыт работы в пределах приемлемого риска. Многократно испытанные выборки, ''укладывались'' в рассчитанные границы, как правило, а исключения были не чаще допустимого. Когда сообщают о гибели самолета, непременно напоминают об остальных, успешно летающих, что доказывает исключительную безопасность полетов.

В отчетах и договорах не может быть аргументом опыт исследований. Заказчик вправе настаивать на ''гарантиях'' качества выполненной работы. Доверительные интервалы и вероятности являются характеристикой качества статистических исследований для заказчика и для читателей.

Проверка гипотезы состоит из пяти этапов:

1. Делается некоторое предположение относительно какой-либо характеристики совокупности, например, среднего значения.

2. Формируется выборка, определяются её статистические меры.

3. Сравниваются эмпирические и теоретические значения исследуемой характеристики.

4. Оценивается адекватность выборочных данных выбранной гипотезе.

5. При несоответствии гипотезе выбирается другая и проверка повторяется

Для проверки гипотез о средних значениях применяется формула:

,

где: – выборочное среднее значение;

M(x) – теоретическое значение, математическое ожидание;

_x – среднее квадратическое отклонение x;

n – объем выборки.

Например, готовя рекламу видеокамеры, определяется выборочное среднее – 1750 у.е., а среднее теоретическое - 1800 у.е. Выборка 100 единиц и среднее квадратическое отклонение _x = 350 у.е.

где: Z - нормированное отклонение.

Для него среднее квадратическое отклонение выборочной средней = 35 у.е., найденное значение 1,43 меньше, к примеру, чем 1,96 соответствующее уровню доверительности 0,95.

При наличии нескольких выборок проверяется нуль-гипотеза о существенности различия средних

где: x₁ и x₂ – средние для двух выборок;

и - средние квадратические отклонения;

n₁ и n₂ - объемы первой и второй выборки

Приведенные примеры точечных оценок демонстрируют основные подходы к общеизвестным расчетам в маркетинге. Их достоверность для многих задач недостаточна. В методических материалах обычно подчеркивается, что суть маркетинговых задач такова, что они в принципе малодоступны моделированию, все решения эмоционально-качественные, а количественные оценки фрагментарны и ориентировочны. У многих маркетологов доминируют в работе опыт и интуиция, т.е. эвристические методы. Особенно часто используются методы экспертных оценок.

7.4. Экспертные оценки

Экспертные оценки используют в двух вариантах: количественном и качественном.

Примером традиционных эвристических процедур являются экспертизы, консилиумы, совещания и т.п. Их алгоритмы обычно следуют из традиций. Итоги их работы подводятся в качественной форме. Часть задач, типа формирования маркетинговой стратегии, несомненно решаются в качественной форме.

Количественные методы нередко подвергаются критике. Общий смысл критических замечаний иллюстрируется высказыванием классика: ''Если выразить математически глупость, то получится глупость, но еще большая ''.

Корректность моделирования – необходимое условие для всех методов, безотносительно к маркетингу, и адекватность модели непременно подлежит проверке.

Выбор методов экспертных оценок диктуется необходимостью, поскольку их используют, когда нет других, более достоверных источников информации для принятия решений. Предполагается, что опыт эксперта является преобразованной информацией, первичные источники которой недоступны. Преобразование информации, накопленной ранее экспертами, по методике, обеспечивающей селекцию наиболее близкого к истине или оптимуму результата, является целевой функцией экспертных оценок.

Обычно в качестве экспертов маркетологи выбирают менеджеров и работников сбытовых подразделений. Статистические данные недоступны, особенно о фирмах-конкурентах, и эксперты используют оценки качественные: ''ниже'', на ''прекрасном уровне'' и т.п.

Главный недостаток всех экспертных оценок – их недоступность проверкам достоверности. Гипотеза об извечной правоте большинства, далеко не всегда срабатывает. Бывало, что все эксперты были за анафему генетике и кибернетике.

Экспертов тщательно отбирают в соответствии со спецификой рассматриваемых вопросов. Достоверность оценок проверяют в тех задачах, которые содержат оперативно осуществляющиеся события, ранее прогнозируемые экспертами. Ошибки прогнозирования классифицируются для последующих оценок. При наличии, в частности, систематических погрешностей, вводят корректирующий коэффициент.

Одним из показателей, характеризующих эксперта, является его надежность. Оценивается частота случаев, когда он делал верный прогноз.

Группа экспертов организуется в очной или заочной формах. В очной форме работа экспертов проходит как деловая игра. В заочной форме эксперт заполняет анкету.

1. Выбор численности группы экспертов.

Выбирают число экспертов, исходя из следующих соображений. Если искомое число уменьшать, то оценки становятся субъективными, так что теряется смысл группы. При чрезмерном числе, достоверность меняется несущественно, но растет доля малоквалифицированных оценок. Группа превращается в толпу. Учитывается также число оцениваемых событий. Стремятся к равному числу экспертов по каждому событию.

2. Формирование вопросов и составление анкет.

Работа экспертов регламентируется общими правилами:

• независимость мнения каждого эксперта;

• удобство работы с анкетой;

• удовлетворительное для экспертов время для ответов и уровень сложности;

• анонимность ответов для членов группы;

• коллективное обсуждение оцениваемых событий;

• представление экспертам нужной информации.

Экспертам предлагается шкала оценок: от 0 до 1 или от 0 до 10. Необходимо учитывать, что рост числа баллов вовсе не увеличивает точность оценок для сложных объектов. Иллюстрацией этому являются оценки членов комиссии на защите дипломных проектов. Оценки всегда различаются на один или даже два балла. Фактически действует четырех бальная система, причем погрешности оценок перекрывают всю шкалу. Увеличение числа баллов в такой ситуации бессмысленно – оценки будут напоминать генератор случайных чисел.

Для субъективной оценки неизмеримых признаков наиболее рациональна – пятибалльная оценка. Учитывают естественную неточность субъективных оценок и школьную привычку к пяти баллам. Для особо нешкалируемых объектов, три балла, выраженных в градациях ''за'' , ''против'', ''ни то, ни сё''.

Расчеты упрощаются, если признается равная квалификация экспертов, в этом случае оценки можно суммировать:

,

где: p – число экспертов;

a_i – оценки.

Во многих методиках введены степени компетентности экспертов. Ситуация напоминает акционерное собрание – вклад в решение определяется числом акций у каждого участника. Массы бедных акционеров попросту не участвуют в собраниях, не видя смысла в своих голосах. И эксперты в группе не должны быть слишком разными по опыту.

Научно-технические семинары гораздо демократичнее - все голоса равны: и маститого академика, и молодого специалиста.

Самая главная в стране группа - это Государственная Дума. Там у депутатов равные голоса и неизвестны идеи насчет селекции депутатов по степени компетентности. Хотя что-то в этом есть.

Оценивают экспертов по десятибалльной шкале – это уровень теоретической подготовки, практический опыт, кругозор – h_j.

Кто именно оценивает экспертов, обычно не уточняется, возможно, есть высшая инстанция как в судах.

Кроме того, сами эксперты самооцениваются – это субъективный показатель h_i.

По этой оценке эксперт сам себе ставит баллы:

10 – специализация по данному вопросу, наличие законченных разработок – научные или практические, совпадение со служебной работой;

8 – в практических работах по теме участвует, но с узкой специализацией не совпадает;

5 – смежная область деятельности;

3 – знакомство с вопросом только по литературе.

Итак предполагается, что отсутствие специалиста, имеющего достаточный опыт и знания по рассматриваемому вопросу, компенсируется тремя читателями специальной литературы.

Все баллы делят на сто, после чего 0 h_j1 трактуется как вероятность достоверной оценки экспертов.

Иногда применяют оценки экспертами друг друга. В отличие от кумушек у подъездов они выставляет баллы.

Считается, что наличие нескольких ''оценщиков'' повышает достоверность оценки.

На первом этапе с экспертами обсуждается индивидуально модель объекта, её показатели, уточняются формулировки и терминология в анкетах, форма таблиц с экспертными оценками и состав группы.

На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором приведены цели работы, структура анкет и порядок их заполнения с примерами.

При возможности личного контакта экспертов возможны устные обсуждения всех вопросов. Однако самостоятельное заполнение анкет обязательно при соблюдении всех правил анкетирования. На третьем этапе производится сбор анкет, обработка данных и анализ полученных результатов. Наличие неких рангов для экспертов, очевидно, повышает достоверность оценок в некоторых задачах. Однако нужно учесть, что эксперты, отнесенные к ''низким'' кастам могут не воспринимать всерьёз заполнение таблиц, смысл группы исчезает.

Можно вообразить выборы, скажем, мэра, в которых пенсионер с уровнем 0,1, а политолог с 1. Мэр, возможно, найдется самый удачный, но основная часть избирателей не пойдет на выборы.

Важно уточнить особенности субъективных оценок в качестве измерительного средства. Это средство неточное, например, ±20%, как уже отмечалось. Но оно может быть чувствительным, если проявляется при сравнении идентичных объектов. Сравнивая, к примеру, два утюга, эксперт может уловить самое малое преимущество одного, но баллы одному утюгу содержат неизбежные, значительные погрешности.