7.4 Вариации альтернативного признака. Энтропия распределения
В ряде случаев возникает необходимость в измерении дисперсии так называемых альтернативных признаков, тех, которыми обладают одни единицы совокупности и не обладают другие. Примером таких признаков являются: бракованная продукция, ученая степень преподавателя вуза, работа по полученной специальности и т.д. Вариация альтернативного признака количественно проявляется в значении нуля у единицы, которая этим признаком не обладает, или единицы у той, которая данный признак имеет.
Пусть
- доля единиц в совокупности, обладающих
данным признаком
;
- доля единиц, не обладающих данным
признаком, причем
.
Альтернативный признак принимает всего
два значения - 0 и 1 с весами соответственно
и
.
Исчислим среднее значение альтернативного
признака по формуле средней арифметической:
|
|
(7.30) |
Дисперсия альтернативного признака определяется по формуле:
|
|
(7.31) |
Таким образом, дисперсия альтернативного
признака равна произведению доли на
число, дополняющее эту долю до единицы.
Корень квадратный из этого показателя,
т.е.
,
соответствует среднему квадратическому
отклонению альтернативного признака.
Предельное значение дисперсии
альтернативного признака равно 0,25 при
.
Показатели вариации альтернативных признаков широко используются в статистике, в частности, при проектировании выборочного наблюдения, обработке данных социологических обследований, статистическом контроле качества продукции, в ряде других случаев.
Обобщенной характеристикой различий внутри ряда может служить энтропия распределения. Применительно к статистике энтропия - это мера неопределенности данных наблюдения, которая может иметь различные результаты. Энтропия зависит от числа градаций признака и от вероятности каждой из них. Энтропия показывает, имеется ли закономерность в концентрации отдельных градаций у наименьшего числа позиций или, напротив, заполненность распределения одинаковая. При этом сумма вероятностей всех возможных исходов равна единице. Энтропия измеряется в битах.
Показатель энтропии
представляет собой отрицательную
сумму произведения вероятностей
различных значений случайной величины
(
)
на логарифмы (при основании два) этих
вероятностей:
|
|
(7.32) |
Если все варианты равновероятны, то энтропия максимальна. Если же все варианты, за исключением одного, равны нулю, то энтропия равна нулю.
Энтропия альтернативного признака (
)
при равновероятном распределении (
)
равна единице:
|
|
(7.33) |
Энтропия сложной системы вычисляется следующим образом:
|
|
(7.34) |
где
- вероятность любого возможного состояния
сложной системы.
Показатель энтропии позволяет также
измерять количество информации. Чем
больше информации о случайном событии,
тем определеннее его состояние. Чем
больше вероятность случайного события
,
тем меньше информации несет его
осуществление. В случае
.
|
|
(7.35) |
Следовательно, данное испытание не
содержит никакой информации. Аналогично
и при
.
Энтропия распределения интерпретируется как мера рассредоточенности вариантов случайной переменной по ее возможным значениям, или как мера неопределенности значения реализации. Неопределенность значений реализации случайной переменной предусматривает наличие некоторого наблюдателя, находящегося в том или ином отношении к источнику неопределенности. Очевидно, можно представить ситуацию, когда для двух наблюдений степени неопределенности результата одного и того же наблюдения со случайными исходами существенно различаются. Например, различны результаты голосования при экспертных опросах для наблюдателя - участника голосования и наблюдателя, не участвующего в голосовании.
В связи с тем что верхнего предела энтропия распределения не имеет, целесообразно вычислить наряду с абсолютной и относительную величину неопределенности.
Относительная энтропия определяется как отношение ее фактической величины к максимальной, т.е.
|
|
(7.36) |
Это отношение изменяется от 0 до 1 и может быть интерпретировано. Чем меньше относительная энтропия, тем меньше неопределенность и выше однородность.